redis分布式爬虫

首先部署redis主从关系

• 修改配置文件(找到redis下的redis.windows.conf)

1.  修改主的配置文件：搜索bind，将后面的ip改成当前服务器ip
2.  修改从的配置文件：搜索slaveof，将该代码解注释，然后添加 ip和端口号。注意：端口号必须写
3. 重启主和从的redis服务  

• 进入文件夹路径下:shift 右键 在此处打开命令窗口

• 在cmd终端输入：redis-server redis.windows.conf

• 如果输入报错：bind:no error   

• 重开一个终端输入redis-cli 回车 输入shutdown 回车 输入 exit退出

• 然后再重新输入输入redis-server.exe redis.windows.conf运行服务器    

• 通过redis-cli重新链接

1. 主开启redis服务器， 通过redis-cli -h 主的ip -p 6379从开启redis服务器，通过redis-cli链接
2. 主设置set name zhangsan ,从能获取到 get name 返回zhangsan 说明连接成功
3. 查看从的个数,主输入info,确认是否连接成功
4. 设置redis访问远程的redis服务器，需要解除保护模式

      做法：

          在远程服务器登录redis-cli

          输入命令 config set protected-mode "no"  回车

主从服务器连接

1. 主服务器启动redis

• 副服务器连接

部署分布式爬虫文件

• 更改主爬虫文件

头

 

• 配置文件

• 数据存储

运行爬虫

启动redis服务

运行爬虫：注意由于爬虫文件没有起始地址需要输入redis输入起始地址才能运行