hadoop完全分布式集群搭建全部流程之四:ssh和脚本补充
SSH无密码登录
1)配置ssh:配置ssh无密码登录主要
是为了方便集群之间进行通信,方便运算。
(1)基本语法
ssh
另一台电脑的ip地址
(2)ssh连接时出现Host
key verification failed的解决方法
[[email protected] opt]# ssh 192.168.1.103
The authenticity of host '192.168.1.103 (192.168.1.103)' can't be established.
RSA key fingerprint is cf:1e:de:d7:d0:4c:2d:98:60:b4:fd:ae:b1:2d:ad:06.
Are you sure you want to continue connecting (yes/no)?
Host key verification failed.
(3)解决方案如下:直接输入yes
2)无**配置
(1)进入到我的home目录
cd
~/.ssh 注意:如果没有.ssh目录,需要重新建立.ssh目录,然后将所有权限改成当前用户,不是root,否则无法继续下面的操作
(2)生成公钥和私钥:
ssh-****** -t rsa
然后敲(三个回车),就会生成两个文件id_rsa(私钥)、id_rsa.pub(公钥)
(3)将公钥拷贝到要免密登录的目标机器上
ssh-copy-id 192.168.1.102
3).ssh文件夹下的文件功能解释
(1)~/.ssh/known_hosts :记录ssh访问过计算机的公钥(public
key)
(2)id_rsa :生成的私钥
(3)id_rsa.pub :生成的公钥
(4)authorized_keys :存放授权过得无秘登录服务器公钥
rsync:基于rsync可以写一些集群分发用的脚本,功能更加强大。
rsync远程同步工具,主要用于备份和镜像。具有速度快、避免复制相同内容和支持符号链接的优点。
(1)查看rsync使用说明
man rsync | more
(2)基本语法
rsync -rvl $pdir/$fname [email protected]$host:$pdir
命令
命令参数
要拷贝的文件路径/名称
目的用户@主机:目的路径
选项
-r
递归
-v
显示复制过程
-l
拷贝符号连接
(3)案例实操
把本机/opt/tmp目录同步到hadoop103服务器的root用户下的/opt/tmp目录
rsync -rvl /opt/tmp/* [email protected]:/op t/tmp
scp
1)scp可以实现服务器与服务器之间的数据拷贝。
2)案例实操
(1)将hadoop101中/opt/module和/opt/software文件拷贝到hadoop102、hadoop103和hadoop104上。
[[email protected] /]# scp -r /opt/module/ [email protected]:/opt
[[email protected] /]# scp -r /opt/software/ [email protected]:/opt
[[email protected] /]# scp -r /opt/module/ [email protected]:/opt
[[email protected] /]# scp -r /opt/software/ [email protected]:/opt
[[email protected] /]# scp -r /opt/module/ [email protected]:/opt
[[email protected] /]# scp -r /opt/software/ [email protected]:/opt
(2)将192.168.1.102服务器上的文件拷贝到当前用户下。
[[email protected] opt]# scp [email protected]:/etc/profile /opt/tmp/
(3)实现两台远程机器之间的文件传输(hadoop103主机文件拷贝到hadoop104主机上)
[robot@hadoop102 test]$ scp robot@hadoop103:/opt/test/haha robot@hadoop104:/opt/test/