分享

hadoop集群的节点之间需要ssh的免密码登录吗

albert7288 发表于 2016-3-17 15:32:45 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 5 28823
各位大神好!
     使用hadoop以来,一般是配置master和slave节点之间的免密码登录,hadoop能正常运行,slave之间没有免密码登录,疑问,就是slave(datanode)之间的数据传输是怎么传输的,配置了ssh的免密码登录会不会速度提高点?

已有(5)人评论

跳转到指定楼层
s060403072 发表于 2016-3-17 17:12:50
ssh主要的目的是免登陆,所谓的免密码就是在启用子节点进程的时候,不需要输入密码的,也就是说ssh不是必须的,但是如果不配置,可能会每次都输入,浪费了时间
回复

使用道具 举报

albert7288 发表于 2016-3-17 17:20:37
s060403072 发表于 2016-3-17 17:12
ssh主要的目的是免登陆,所谓的免密码就是在启用子节点进程的时候,不需要输入密码的,也就是说ssh不是必须 ...

恩,这个了解了,多谢!

另外想知道,hadoop命令在执行期间,datanode之间是互相传输数据的,两个节点之间没有免密码登录,节点之间是怎么互相访问,数据如何传输


回复

使用道具 举报

s060403072 发表于 2016-3-17 17:31:45
albert7288 发表于 2016-3-17 17:20
恩,这个了解了,多谢!

另外想知道,hadoop命令在执行期间,datanode之间是互相传输数据的,两个节点 ...

传输数据应该配置ssh的,楼主可以试试远程复制,这个肯定是需要输入密码的。

回复

使用道具 举报

albert7288 发表于 2016-3-18 17:56:51
s060403072 发表于 2016-3-17 17:31
传输数据应该配置ssh的,楼主可以试试远程复制,这个肯定是需要输入密码的。

远程复制scp是要输入密码
hadoop不知是怎么操作的,
如果A节点要传输数据到B节点,之间又没配置免密码登录,难道数据要经过master才能传输吗
或者采用其他协议,例如socket就不用密码了吗
回复

使用道具 举报

acevsace 发表于 2016-5-17 15:18:58
搞搞ssh方便
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条