hadoop完全分布式集群搭建全部流程之四:ssh和脚本补充

SSH无密码登录

1)配置ssh:配置ssh无密码登录主要 是为了方便集群之间进行通信,方便运算。
1)基本语法
ssh 另一台电脑的ip地址
2ssh连接时出现Host key verification failed的解决方法
[[email protected] opt]# ssh 192.168.1.103
The authenticity of host '192.168.1.103 (192.168.1.103)' can't be established.
RSA key fingerprint is cf:1e:de:d7:d0:4c:2d:98:60:b4:fd:ae:b1:2d:ad:06.
Are you sure you want to continue connecting (yes/no)?
Host key verification failed.
3)解决方案如下:直接输入yes
2)无**配置
1)进入到我的home目录
              cd  ~/.ssh    注意:如果没有.ssh目录,需要重新建立.ssh目录,然后将所有权限改成当前用户,不是root,否则无法继续下面的操作
2)生成公钥和私钥:
ssh-****** -t rsa
然后敲(三个回车),就会生成两个文件id_rsa(私钥)、id_rsa.pub(公钥)
3)将公钥拷贝到要免密登录的目标机器上
ssh-copy-id 192.168.1.102
3.ssh文件夹下的文件功能解释
       1~/.ssh/known_hosts     :记录ssh访问过计算机的公钥(public key)
       2id_rsa    :生成的私钥
       3id_rsa.pub     :生成的公钥
       4authorized_keys    :存放授权过得无秘登录服务器公钥
hadoop完全分布式集群搭建全部流程之四:ssh和脚本补充
rsync:基于rsync可以写一些集群分发用的脚本,功能更加强大。

rsync远程同步工具,主要用于备份和镜像。具有速度快、避免复制相同内容和支持符号链接的优点。

1)查看rsync使用说明

man rsync | more
       2)基本语法
rsync -rvl     $pdir/$fname         [email protected]$host:$pdir
              命令 命令参数 要拷贝的文件路径/名称   目的用户@主机:目的路径
              选项
-r 递归
-v 显示复制过程
-l 拷贝符号连接
       3)案例实操
              把本机/opt/tmp目录同步到hadoop103服务器的root用户下的/opt/tmp目录
              rsync -rvl /opt/tmp/*  [email protected]:/op  t/tmp


scp
1scp可以实现服务器与服务器之间的数据拷贝。
2)案例实操
1)将hadoop101/opt/module/opt/software文件拷贝到hadoop102hadoop103hadoop104上。
[[email protected] /]# scp -r /opt/module/  [email protected]:/opt
[[email protected] /]# scp -r /opt/software/  [email protected]:/opt
[[email protected] /]# scp -r /opt/module/  [email protected]:/opt
[[email protected] /]# scp -r /opt/software/  [email protected]:/opt
[[email protected] /]# scp -r /opt/module/  [email protected]:/opt
[[email protected] /]# scp -r /opt/software/  [email protected]:/opt
2)将192.168.1.102服务器上的文件拷贝到当前用户下。
[[email protected] opt]# scp  [email protected]:/etc/profile  /opt/tmp/
       3)实现两台远程机器之间的文件传输(hadoop103主机文件拷贝到hadoop104主机上)
              [robot@hadoop102 test]$ scp robot@hadoop103:/opt/test/haha robot@hadoop104:/opt/test/