负载均衡集群企业及应用实战--LVS

负载均衡集群企业及应用实战-Lvs

LVS是Linux Virtual Server的简称:

    也就是Linux虚拟服务器, 是一个由章文嵩博士发起的*软件项目，它的官方站点是www.linuxvirtualserver.org。

现在LVS已经是 Linux标准内核的一部分，在Linux2.4内核以前，使用LVS时必须要重新编译内核以支持LVS功能模块，但是从Linux2.4内核以后，已经完全内置了LVS的各个功能模块，

无需给内核打任何补丁，可以直接使用LVS提供的各种功能。

LVS自从1998年开始，发展到现在已经是一个比较成熟的技术项目了。可以利用LVS技术实现高可伸缩的、高可用的网络服务，

例如WWW服务、Cache服务、DNS服务、FTP服务、MAIL服务、视频/音频点播服务等等，有许多比较著名网站和组织都在使用LVS架设的集群系统，

例如：Linux的门户网站（www.linux.com）、向RealPlayer提供音频视频服务而闻名的Real公司（www.real.com）、全球最大的开源网站（sourceforge.net）等。

LVS软件作用：通过LVS提供的负载均衡技术和Linux操作系统实现一个高性能、高可用的服务器群集，它具有良好可靠性、可扩展性和可操作性。从而以低廉的成本实现最优的服务性能。

高并发连接：LVS基于内核网络层面工作，有超强的承载能力和并发处理能力。

            单台LVS负载均衡器，可支持上万并发连接。

稳定性强：是工作在网络4层之上仅作分发之用，这个特点也决定了它在负载均衡软件里的性能最强，稳定性最好，对内存和cpu资源消耗极低。

成本低廉：硬件负载均衡器少则十几万，多则几十万上百万，LVS只需一台服务器和就能免费部署使用，性价比极高。

配置简单：LVS配置非常简单，仅需几行命令即可完成配置，也可写成脚本进行管理。

支持多种算法：支持多种论调算法，可根据业务场景灵活调配进行使用

支持多种工作模型：可根据业务场景，使用不同的工作模式来解决生产环境请求处理问题。

应用范围广：因为LVS工作在4层，所以它几乎可以对所有应用做负载均衡，包括http、数据库、DNS、ftp服务等等

缺点：工作在4层，不支持7层规则修改，机制过于庞大，不适合小规模应用。

Lvs核心组件和专业术语：

  LVS的管理工具和内核模块ipvsadm/ipvs 

  ipvsadm：用户空间的命令行工具，用于管理集群服务及集群服务上的RS等；

  

ipvs：工作于内核上的netfilter INPUT钩子之上的程序，可根据用户定义的集群实现请求转发；

  

VS：Virtual Server   #虚拟服务

  

Director, Balancer    #负载均衡器、分发器

  

RS：Real Server   #后端请求处理服务器

  

CIP: Client IP    #用户端

  IP

Director Virtual IP: VIP  #负载均衡器虚拟IP

  

Director IP: DIP   #负载均衡器IP

  

Real Server IP: RIP #后端请求处理服务器IP

Lvs负载均衡工作模式：

  Virtual Server via NAT(VS-NAT):用地址翻译实现虚拟服务器?地址转换器有能被外界访问到的合法IP地址,它修改来自专有网络的流出包的地址?外界看起来包是来自地址转换器本身,当外界包送到转换器时,

  它能判断出应该将包送到内部网的哪个节点?优点是节省IP 地址,能对内部进行伪装;缺点是效率低,因为返回给请求方的流量经过转换器?

 

Lvs负载均衡NAT工作模式：

 

  (a). 当用户请求到达Director Server，此时请求的数据报文会先到内核空间的PREROUTING链。 此时报文的源IP为CIP，目标IP为VIP 

  

(b). PREROUTING检查发现数据包的目标IP是本机，将数据包送至INPUT链

  

(c). IPVS比对数据包请求的服务是否为集群服务，若是，修改数据包的目标IP地址为后端服务器IP，然后将数据包发至POSTROUTING链。 此时报文的源IP为CIP，目标IP为RIP

  

(d). POSTROUTING链通过选路，将数据包发送给Real Server

  (e). Real Server比对发现目标为自己的IP，开始构建响应报文发回给Director Server。 此时报文的源IP为RIP，目标IP为CIP 

  

(f). Director Server在响应客户端前，此时会将源IP地址修改为自己的VIP地址，然后响应给客户端。 此时报文的源IP为VIP，目标IP为CIP

Lvs负载均衡DR工作模式

  (2)Virtual Server via Direct Routing(VS-DR):用直接路由技术实现虚拟服务器?当参与集群的计算机和作为控制管理的计算机在同一个网段时可以用此方法,控制管理的计算机接收到请求包时直接送到参与集群的节点?

     直接路由模式比较特别，很难说和什么方面相似，前种模式基本上都是工作在网络层上（三层），而直接路由模式则应该是工作在数据链路层上（二层）。

 工作原理 ：DR和REAL SERVER都使用同一个IP对外服务。但只有DR对ARP请求进行响应，所有REAL SERVER对本身这个IP的ARP请求保持静默。也就是说，网关会把对这个服务IP的请求全部定向给DR，而DR收到数据包后根据调度算法，

            找出对应的 REAL SERVER，把目的MAC地址改为REAL SERVER的MAC并发给这台REAL SERVER。这时REAL SERVER收到这个数据包，则等于直接从客户端收到这个数据包无异，处理后直接返回给客户端。由于DR要对二层包头进行改换，

            所以DR和REAL SERVER之间必须在一个广播域，也可以简单的理解为在同一台交换机上。

Lvs负载均衡NAT工作流程：

  (a) 当用户请求到达Director Server，此时请求的数据报文会先到内核空间的PREROUTING链。 此时报文的源IP为CIP，目标IP为VIP

  

(b) PREROUTING检查发现数据包的目标IP是本机，将数据包送至INPUT链

  

(c) IPVS比对数据包请求的服务是否为集群服务，若是，将请求报文中的源MAC地址修改为DIP的MAC地址，将目标MAC地址修改RIP的MAC地址，然后将数据包发至POSTROUTING链。 此时的源IP和目的IP均未修改，仅修改了源MAC地址为DIP的MAC地址，目标MAC地址为RIP的MAC地址

  

(d) 由于DS和RS在同一个网络中，所以是通过二层来传输。POSTROUTING链检查目标MAC地址为RIP的MAC地址，那么此时数据包将会发至Real Server。

  

(e) RS发现请求报文的MAC地址是自己的MAC地址，就接收此报文。处理完成之后，将响应报文通过lo接口传送给eth0网卡然后向外发出。 此时的源IP地址为VIP，目标IP为CIP

  

(f) 响应报文最终送达至客户端

Lvs负载均衡NAT工作流程特点：

  1、保证前端路由将目标地址为VIP报文统统发给Director Server，而不是RS

  

2、RS可以使用私有地址；也可以是公网地址，如果使用公网地址，此时可以通过互联网对RIP进行直接访问

  

3、RS跟Director Server必须在同一个物理网络中

  

4、所有的请求报文经由Director Server，但响应报文必须不能进过Director Server

  

5、不支持地址转换，也不支持端口映射

  

6、RS可以是大多数常见的操作系统

  7、RS的网关绝不允许指向DIP(因为我们不允许他经过director)

  

8、RS上的lo接口配置VIP的IP地址

Lvs负载均衡TUN工作模式：

  1.客户端将请求发往前端的负载均衡器，请求报文源地址是CIP，目标地址为VIP。

  

2.负载均衡器收到报文后，发现请求的是在规则里面存在的地址，那么它将在客户端请求报文的首部再封装一层IP报文,将源地址改为DIP，目标地址改为RIP,并将此包发送给RS。

  

3.RS收到请求报文后，会首先拆开第一层封装,然后发现里面还有一层IP首部的目标地址是自己lo接口上的VIP，所以会处理次请求报文，并将响应报文通过lo接口送给eth0网卡直接发送给客户端。注意：需要设置lo接口的VIP不能在共网上出现。

Lvs负载均衡full-nat工作模式：

lvs-fullnat（双向转换）

    通过请求报文的源地址为DIP，目标为RIP来实现转发：对于响应报文而言，修改源地址为VIP，目标地址为CIP来实现转发：

          CIP --> DIP           VIP --> RIP 

    

架构特点：这是一种对nat模型的改进，是一个扩展，使得RS与Director可以处于不同网络。

        

         （1）RIP，DIP可以使用私有地址；

        

         （2）RIP和DIP可以不再同一个网络中，且RIP的网关未必需要指向DIP；

        

         （3）支持端口映射；

        

         （4）RS的OS可以使用任意类型；

        

         （5）请求报文经由Director，响应报文也经由Director

Lvs负载均衡常见工作模式总结：

  lvs-nat与lvs-fullnat：请求和响应报文都经由Director

  

  lvs-nat：RIP的网关要指向DIP

   

  lvs-fullnat：RIP和DIP未必在同一IP网络，但要能通信

  lvs-dr与lvs-tun：请求报文要经由Director，但响应报文由RS直接发往Client

  

  lvs-dr：通过封装新的MAC首部实现，通过MAC网络转发

  

  lvs-tun：通过在原IP报文外封装新IP头实现转发，支持远距离通信

Lvs负载均衡调度算法（静态）：

  1.RR：轮叫调度（Round Robin）

　 调度器通过”轮叫”调度算法将外部请求按顺序轮流分配到集群中的真实服务器上，它均等地对待每一台服务器，而不管服务器上实际的连接数和系统负载?

  

2.WRR：加权轮叫（Weight RR）

　 调度器通过“加权轮叫”调度算法根据真实服务器的不同处理能力来调度访问请求。这样可以保证处理能力强的服务器处理更多的访问流量。调度器可以自动问询真实服务器的负载情况,并动态地调整其权值。

  

3.DH：目标地址散列调度（Destination Hash ）

　 根据请求的目标IP地址，作为散列键(HashKey)从静态分配的散列表找出对应的服务器，若该服务器是可用的且未超载，将请求发送到该服务器，否则返回空。

  

4.SH：源地址 hash（Source Hash）

　 源地址散列”调度算法根据请求的源IP地址，作为散列键(HashKey)从静态分配的散列表找出对应的服务器，若该服务器是可用的且未超载，将请求发送到该服务器，否则返回空?

Lvs负载均衡调度算法（动态)：

  1.LC：最少链接（Least Connections）

　 调度器通过”最少连接”调度算法动态地将网络请求调度到已建立的链接数最少的服务器上。如果集群系统的真实服务器具有相近的系统性能，采用”最小连接”调度算法可以较好地均衡负载。

  

2.WLC：加权最少连接(默认采用的就是这种)（Weighted Least Connections）

　 在集群系统中的服务器性能差异较大的情况下，调度器采用“加权最少链接”调度算法优化负载均衡性能，具有较高权值的服务器将承受较大比例的活动连接负载?调度器可以自动问询真实服务器的负载情况,并动态地调整其权值。

  

3.SED：最短延迟调度（Shortest Expected Delay ）

　 在WLC基础上改进，Overhead = （ACTIVE+1）*256/加权，不再考虑非活动状态，把当前处于活动状态的数目+1来实现，数目最小的，接受下次请求，+1的目的是为了考虑加权的时候，非活动连接过多缺陷：当权限过大的时候，会倒置空闲服务器一直处于无连接状态。

  

4.NQ永不排队/最少队列调度（Never Queue Scheduling NQ）

　 无需队列。如果有台 realserver的连接数＝0就直接分配过去，不需要再进行sed运算，保证不会有一个主机很空间。在SED基础上无论+几，第二次一定给下一个，保证不会有一个主机不会很空闲着，不考虑非活动连接，才用NQ，SED要考虑活动状态连接，对于DNS的UDP不需要考虑非活动连接，而httpd的处于保持状态的服务就需要考虑非活动连接给服务器的压力。

Lvs软件包的组成：

  ipvsadm：

程序包：ipvsadm（LVS管理工具）

  

Unit File: ipvsadm.service

  主程序：/usr/sbin/ipvsadm

  

规则保存工具：/usr/sbin/ipvsadm-save

  

规则重载工具：/usr/sbin/ipvsadm-restore

  

配置文件：/etc/sysconfig/ipvsadm-config

  

grep -i -C 10 "ipvs" /boot/config-VERSION-RELEASE.x86_64

  

#查看内核是否支持IPVS

 

Lvs安装方式：

  LVS安装常用两种方式，yum安装和源码包安装

  

yum 安装：通常是在线安装，好处是安装方式简单，不易出错；常用的安装yum源为epel（推荐，因为管理工具没有太多定制型）

  

源码包安装：是先将ipvsadm的×××下来，在自己的系统里编译生成可执行文件，然后执行。

Lvs命令使用:

  -A --add-service在服务器列表中新添加一条新的虚拟服务器记录

  -t 表示为tcp服务

  

-u 表示为udp服务

  

-s --scheduler 使用的调度算法， rr | wrr | lc | wlc | lblb | lblcr | dh | sh | sed | nq 默认调度算法是 wlc

  ipvsadm -A -t 192.168.1.2:80 -s wlc

  

-a --add-server   #在服务器表中添加一条新的真实主机记录

  

-t --tcp-service 说明虚拟服务器提供tcp服务

  

-u --udp-service 说明虚拟服务器提供udp服务

  

-r --real-server 真实服务器地址

  

-m --masquerading 指定LVS工作模式为NAT模式

  

-w --weight 真实服务器的权值

  -g --gatewaying 指定LVS工作模式为直接路由器模式（也是LVS默认的模式）

  

-i --ip 指定LVS的工作模式为隧道模式

  

-p 会话保持时间，定义流量呗转到同一个realserver的会话存留时间

  

ipvsadm -a -t 192.168.1.2:80 -r 192.168.2.10:80 -m -w 1

  -E –edit-service 编辑内核虚拟服务器表中的一条虚拟服务器记录。 

  

-D –delete-service 删除内核虚拟服务器表中的一条虚拟服务器记录。

  

-C –clear 清除内核虚拟服务器表中的所有记录。

  

-R –restore 恢复虚拟服务器规则 

  

-S –save 保存虚拟服务器规则，输出为-R 选项可读的格式 

  -e –edit-server 编辑一条虚拟服务器记录中的某条真实服务器记录 

  -d –delete-server 删除一条虚拟服务器记录中的某条真实服务器记录 

  

-L|-l –list 显示内核虚拟服务器表 

         --numeric, -n：以数字形式输出地址和端口号 

         --exact：扩展信息，精确值

         --connection，-c：当前IPVS连接输出

         --stats：统计信息

         --rate ：输出速率信息

                             

    参数也可以从/proc/net/ip_vs*映射文件中查看

  -Z –zero 虚拟服务表计数器清零（清空当前的连接数量等）

Lvs命令使用举例：

  

ipvsadm -A|E -t|u|f virutal-service-address:port [-s scheduler] [-p [timeout]] [-M netmask]

  修改VIP为192.168.1.2的LVS中 http服务的调度算法为Round Robin 

  ipvsadm –E –t 192.168.1.2:80 –s 

  

ipvsadm -D -t|u|f virtual-service-address

  

删除VIP为192.168.1.2的Service 

  

ipvsadm -D -t 192.168.1.2:80 

ipvsadm -a|e -t|u|f service-address:port -r real-server-address:port [-g|i|m] [-w weight]

  

修改RS权重为3 ipvsadm -e -t 192.168.1.2:80 -r 192.168.1.3 –g -w 3

ipvsadm -d -t|u|f service-address -r server-address

  删除一个RS：ipvsadm -d -t 192.168.1.2:80 -r 192.168.1.3:80

  

ipvsadm -L|l [options]

  

ipvsadm -Z [-t|u|f service-address]

  ipvsadm -C

  

ipvsadm -R

ipvsadm -S [-n]

Lvs规则保存和加载：

  保存：建议保存至/etc/sysconfig/ipvsadm

        ipvsadm-save > /PATH/TO/IPVSADM_FILE

        ipvsadm -S > /PATH/TO/IPVSADM_FILE

        systemctl stop ipvsadm.service

  

重载：ipvsadm-restore < /PATH/FROM/IPVSADM_FILE

        ipvsadm -R < /PATH/FROM/IPVSADM_FILE

        systemctl restart ipvsadm.service 

LVS是Linux Virtual Server的简称:

    也就是Linux虚拟服务器, 是一个由章文嵩博士发起的*软件项目，它的官方站点是www.linuxvirtualserver.org。

现在LVS已经是 Linux标准内核的一部分，在Linux2.4内核以前，使用LVS时必须要重新编译内核以支持LVS功能模块，但是从Linux2.4内核以后，已经完全内置了LVS的各个功能模块，

无需给内核打任何补丁，可以直接使用LVS提供的各种功能。

LVS自从1998年开始，发展到现在已经是一个比较成熟的技术项目了。可以利用LVS技术实现高可伸缩的、高可用的网络服务，

例如WWW服务、Cache服务、DNS服务、FTP服务、MAIL服务、视频/音频点播服务等等，有许多比较著名网站和组织都在使用LVS架设的集群系统，

例如：Linux的门户网站（www.linux.com）、向RealPlayer提供音频视频服务而闻名的Real公司（www.real.com）、全球最大的开源网站（sourceforge.net）等。

LVS软件作用：通过LVS提供的负载均衡技术和Linux操作系统实现一个高性能、高可用的服务器群集，它具有良好可靠性、可扩展性和可操作性。从而以低廉的成本实现最优的服务性能。

高并发连接：LVS基于内核网络层面工作，有超强的承载能力和并发处理能力。

            单台LVS负载均衡器，可支持上万并发连接。

稳定性强：是工作在网络4层之上仅作分发之用，这个特点也决定了它在负载均衡软件里的性能最强，稳定性最好，对内存和cpu资源消耗极低。

成本低廉：硬件负载均衡器少则十几万，多则几十万上百万，LVS只需一台服务器和就能免费部署使用，性价比极高。

配置简单：LVS配置非常简单，仅需几行命令即可完成配置，也可写成脚本进行管理。

支持多种算法：支持多种论调算法，可根据业务场景灵活调配进行使用

支持多种工作模型：可根据业务场景，使用不同的工作模式来解决生产环境请求处理问题。

应用范围广：因为LVS工作在4层，所以它几乎可以对所有应用做负载均衡，包括http、数据库、DNS、ftp服务等等

缺点：工作在4层，不支持7层规则修改，机制过于庞大，不适合小规模应用。

Lvs核心组件和专业术语：

  LVS的管理工具和内核模块ipvsadm/ipvs 

  ipvsadm：用户空间的命令行工具，用于管理集群服务及集群服务上的RS等；

  

ipvs：工作于内核上的netfilter INPUT钩子之上的程序，可根据用户定义的集群实现请求转发；

  

VS：Virtual Server   #虚拟服务

  

Director, Balancer    #负载均衡器、分发器

  

RS：Real Server   #后端请求处理服务器

  

CIP: Client IP    #用户端

  IP

Director Virtual IP: VIP  #负载均衡器虚拟IP

  

Director IP: DIP   #负载均衡器IP

  

Real Server IP: RIP #后端请求处理服务器IP

Lvs负载均衡工作模式：

  Virtual Server via NAT(VS-NAT):用地址翻译实现虚拟服务器?地址转换器有能被外界访问到的合法IP地址,它修改来自专有网络的流出包的地址?外界看起来包是来自地址转换器本身,当外界包送到转换器时,

  它能判断出应该将包送到内部网的哪个节点?优点是节省IP 地址,能对内部进行伪装;缺点是效率低,因为返回给请求方的流量经过转换器?

 

Lvs负载均衡NAT工作模式：

 

  (a). 当用户请求到达Director Server，此时请求的数据报文会先到内核空间的PREROUTING链。 此时报文的源IP为CIP，目标IP为VIP 

  

(b). PREROUTING检查发现数据包的目标IP是本机，将数据包送至INPUT链

  

(c). IPVS比对数据包请求的服务是否为集群服务，若是，修改数据包的目标IP地址为后端服务器IP，然后将数据包发至POSTROUTING链。 此时报文的源IP为CIP，目标IP为RIP

  

(d). POSTROUTING链通过选路，将数据包发送给Real Server

  (e). Real Server比对发现目标为自己的IP，开始构建响应报文发回给Director Server。 此时报文的源IP为RIP，目标IP为CIP 

  

(f). Director Server在响应客户端前，此时会将源IP地址修改为自己的VIP地址，然后响应给客户端。 此时报文的源IP为VIP，目标IP为CIP

Lvs负载均衡DR工作模式

：

  (2)Virtual Server via Direct Routing(VS-DR):用直接路由技术实现虚拟服务器?当参与集群的计算机和作为控制管理的计算机在同一个网段时可以用此方法,控制管理的计算机接收到请求包时直接送到参与集群的节点?

     直接路由模式比较特别，很难说和什么方面相似，前种模式基本上都是工作在网络层上（三层），而直接路由模式则应该是工作在数据链路层上（二层）。

 工作原理 ：DR和REAL SERVER都使用同一个IP对外服务。但只有DR对ARP请求进行响应，所有REAL SERVER对本身这个IP的ARP请求保持静默。也就是说，网关会把对这个服务IP的请求全部定向给DR，而DR收到数据包后根据调度算法，

            找出对应的 REAL SERVER，把目的MAC地址改为REAL SERVER的MAC并发给这台REAL SERVER。这时REAL SERVER收到这个数据包，则等于直接从客户端收到这个数据包无异，处理后直接返回给客户端。由于DR要对二层包头进行改换，

            所以DR和REAL SERVER之间必须在一个广播域，也可以简单的理解为在同一台交换机上。

Lvs负载均衡NAT工作流程：

  (a) 当用户请求到达Director Server，此时请求的数据报文会先到内核空间的PREROUTING链。 此时报文的源IP为CIP，目标IP为VIP

  

(b) PREROUTING检查发现数据包的目标IP是本机，将数据包送至INPUT链

  

(c) IPVS比对数据包请求的服务是否为集群服务，若是，将请求报文中的源MAC地址修改为DIP的MAC地址，将目标MAC地址修改RIP的MAC地址，然后将数据包发至POSTROUTING链。 此时的源IP和目的IP均未修改，仅修改了源MAC地址为DIP的MAC地址，目标MAC地址为RIP的MAC地址

  

(d) 由于DS和RS在同一个网络中，所以是通过二层来传输。POSTROUTING链检查目标MAC地址为RIP的MAC地址，那么此时数据包将会发至Real Server。

  

(e) RS发现请求报文的MAC地址是自己的MAC地址，就接收此报文。处理完成之后，将响应报文通过lo接口传送给eth0网卡然后向外发出。 此时的源IP地址为VIP，目标IP为CIP

  

(f) 响应报文最终送达至客户端

Lvs负载均衡NAT工作流程特点：

  1、保证前端路由将目标地址为VIP报文统统发给Director Server，而不是RS

  

2、RS可以使用私有地址；也可以是公网地址，如果使用公网地址，此时可以通过互联网对RIP进行直接访问

  

3、RS跟Director Server必须在同一个物理网络中

  

4、所有的请求报文经由Director Server，但响应报文必须不能进过Director Server

  

5、不支持地址转换，也不支持端口映射

  

6、RS可以是大多数常见的操作系统

  7、RS的网关绝不允许指向DIP(因为我们不允许他经过director)

  

8、RS上的lo接口配置VIP的IP地址

Lvs负载均衡TUN工作模式：

  1.客户端将请求发往前端的负载均衡器，请求报文源地址是CIP，目标地址为VIP。

  

2.负载均衡器收到报文后，发现请求的是在规则里面存在的地址，那么它将在客户端请求报文的首部再封装一层IP报文,将源地址改为DIP，目标地址改为RIP,并将此包发送给RS。

  

3.RS收到请求报文后，会首先拆开第一层封装,然后发现里面还有一层IP首部的目标地址是自己lo接口上的VIP，所以会处理次请求报文，并将响应报文通过lo接口送给eth0网卡直接发送给客户端。注意：需要设置lo接口的VIP不能在共网上出现。

Lvs负载均衡full-nat工作模式：

lvs-fullnat（双向转换）

    通过请求报文的源地址为DIP，目标为RIP来实现转发：对于响应报文而言，修改源地址为VIP，目标地址为CIP来实现转发：

          CIP --> DIP           VIP --> RIP 

    

架构特点：这是一种对nat模型的改进，是一个扩展，使得RS与Director可以处于不同网络。

        

         （1）RIP，DIP可以使用私有地址；

        

         （2）RIP和DIP可以不再同一个网络中，且RIP的网关未必需要指向DIP；

        

         （3）支持端口映射；

        

         （4）RS的OS可以使用任意类型；

        

         （5）请求报文经由Director，响应报文也经由Director

Lvs负载均衡常见工作模式总结：

  lvs-nat与lvs-fullnat：请求和响应报文都经由Director

  

  lvs-nat：RIP的网关要指向DIP

   

  lvs-fullnat：RIP和DIP未必在同一IP网络，但要能通信

  lvs-dr与lvs-tun：请求报文要经由Director，但响应报文由RS直接发往Client

  

  lvs-dr：通过封装新的MAC首部实现，通过MAC网络转发

  

  lvs-tun：通过在原IP报文外封装新IP头实现转发，支持远距离通信

Lvs负载均衡调度算法（静态）：

  1.RR：轮叫调度（Round Robin）

　 调度器通过”轮叫”调度算法将外部请求按顺序轮流分配到集群中的真实服务器上，它均等地对待每一台服务器，而不管服务器上实际的连接数和系统负载?

  

2.WRR：加权轮叫（Weight RR）

　 调度器通过“加权轮叫”调度算法根据真实服务器的不同处理能力来调度访问请求。这样可以保证处理能力强的服务器处理更多的访问流量。调度器可以自动问询真实服务器的负载情况,并动态地调整其权值。

  

3.DH：目标地址散列调度（Destination Hash ）

　 根据请求的目标IP地址，作为散列键(HashKey)从静态分配的散列表找出对应的服务器，若该服务器是可用的且未超载，将请求发送到该服务器，否则返回空。

  

4.SH：源地址 hash（Source Hash）

　 源地址散列”调度算法根据请求的源IP地址，作为散列键(HashKey)从静态分配的散列表找出对应的服务器，若该服务器是可用的且未超载，将请求发送到该服务器，否则返回空?

Lvs负载均衡调度算法（动态)：

  1.LC：最少链接（Least Connections）

　 调度器通过”最少连接”调度算法动态地将网络请求调度到已建立的链接数最少的服务器上。如果集群系统的真实服务器具有相近的系统性能，采用”最小连接”调度算法可以较好地均衡负载。

  

2.WLC：加权最少连接(默认采用的就是这种)（Weighted Least Connections）

　 在集群系统中的服务器性能差异较大的情况下，调度器采用“加权最少链接”调度算法优化负载均衡性能，具有较高权值的服务器将承受较大比例的活动连接负载?调度器可以自动问询真实服务器的负载情况,并动态地调整其权值。

  

3.SED：最短延迟调度（Shortest Expected Delay ）

　 在WLC基础上改进，Overhead = （ACTIVE+1）*256/加权，不再考虑非活动状态，把当前处于活动状态的数目+1来实现，数目最小的，接受下次请求，+1的目的是为了考虑加权的时候，非活动连接过多缺陷：当权限过大的时候，会倒置空闲服务器一直处于无连接状态。

  

4.NQ永不排队/最少队列调度（Never Queue Scheduling NQ）

　 无需队列。如果有台 realserver的连接数＝0就直接分配过去，不需要再进行sed运算，保证不会有一个主机很空间。在SED基础上无论+几，第二次一定给下一个，保证不会有一个主机不会很空闲着，不考虑非活动连接，才用NQ，SED要考虑活动状态连接，对于DNS的UDP不需要考虑非活动连接，而httpd的处于保持状态的服务就需要考虑非活动连接给服务器的压力。

Lvs软件包的组成：

  ipvsadm：

程序包：ipvsadm（LVS管理工具）

  

Unit File: ipvsadm.service

  主程序：/usr/sbin/ipvsadm

  

规则保存工具：/usr/sbin/ipvsadm-save

  

规则重载工具：/usr/sbin/ipvsadm-restore

  

配置文件：/etc/sysconfig/ipvsadm-config

  

grep -i -C 10 "ipvs" /boot/config-VERSION-RELEASE.x86_64

  

#查看内核是否支持IPVS

 

Lvs安装方式：

  LVS安装常用两种方式，yum安装和源码包安装

  

yum 安装：通常是在线安装，好处是安装方式简单，不易出错；常用的安装yum源为epel（推荐，因为管理工具没有太多定制型）

  

源码包安装：是先将ipvsadm的×××下来，在自己的系统里编译生成可执行文件，然后执行。

Lvs命令使用:

  -A --add-service在服务器列表中新添加一条新的虚拟服务器记录

  -t 表示为tcp服务

  

-u 表示为udp服务

  

-s --scheduler 使用的调度算法， rr | wrr | lc | wlc | lblb | lblcr | dh | sh | sed | nq 默认调度算法是 wlc

  ipvsadm -A -t 192.168.1.2:80 -s wlc

  

-a --add-server   #在服务器表中添加一条新的真实主机记录

  

-t --tcp-service 说明虚拟服务器提供tcp服务

  

-u --udp-service 说明虚拟服务器提供udp服务

  

-r --real-server 真实服务器地址

  

-m --masquerading 指定LVS工作模式为NAT模式

  

-w --weight 真实服务器的权值

  -g --gatewaying 指定LVS工作模式为直接路由器模式（也是LVS默认的模式）

  

-i --ip 指定LVS的工作模式为隧道模式

  

-p 会话保持时间，定义流量呗转到同一个realserver的会话存留时间

  

ipvsadm -a -t 192.168.1.2:80 -r 192.168.2.10:80 -m -w 1

  -E –edit-service 编辑内核虚拟服务器表中的一条虚拟服务器记录。 

  

-D –delete-service 删除内核虚拟服务器表中的一条虚拟服务器记录。

  

-C –clear 清除内核虚拟服务器表中的所有记录。

  

-R –restore 恢复虚拟服务器规则 

  

-S –save 保存虚拟服务器规则，输出为-R 选项可读的格式 

  -e –edit-server 编辑一条虚拟服务器记录中的某条真实服务器记录 

  -d –delete-server 删除一条虚拟服务器记录中的某条真实服务器记录 

  

-L|-l –list 显示内核虚拟服务器表 

         --numeric, -n：以数字形式输出地址和端口号 

         --exact：扩展信息，精确值

         --connection，-c：当前IPVS连接输出

         --stats：统计信息

         --rate ：输出速率信息

                             

    参数也可以从/proc/net/ip_vs*映射文件中查看

  -Z –zero 虚拟服务表计数器清零（清空当前的连接数量等）

Lvs命令使用举例：

  

ipvsadm -A|E -t|u|f virutal-service-address:port [-s scheduler] [-p [timeout]] [-M netmask]

  修改VIP为192.168.1.2的LVS中 http服务的调度算法为Round Robin 

  ipvsadm –E –t 192.168.1.2:80 –s 

  

ipvsadm -D -t|u|f virtual-service-address

  

删除VIP为192.168.1.2的Service 

  

ipvsadm -D -t 192.168.1.2:80 

ipvsadm -a|e -t|u|f service-address:port -r real-server-address:port [-g|i|m] [-w weight]

  

修改RS权重为3 ipvsadm -e -t 192.168.1.2:80 -r 192.168.1.3 –g -w 3

ipvsadm -d -t|u|f service-address -r server-address

  删除一个RS：ipvsadm -d -t 192.168.1.2:80 -r 192.168.1.3:80

  

ipvsadm -L|l [options]

  

ipvsadm -Z [-t|u|f service-address]

  ipvsadm -C

  

ipvsadm -R

ipvsadm -S [-n]

Lvs规则保存和加载：

  保存：建议保存至/etc/sysconfig/ipvsadm

        ipvsadm-save > /PATH/TO/IPVSADM_FILE

        ipvsadm -S > /PATH/TO/IPVSADM_FILE

        systemctl stop ipvsadm.service

  

重载：ipvsadm-restore < /PATH/FROM/IPVSADM_FILE

        ipvsadm -R < /PATH/FROM/IPVSADM_FILE

        systemctl restart ipvsadm.service