您的位置: 首页  >  文章  >  Linux Virtual Server 基础

Linux Virtual Server 基础

分类: 文章 • 2023-11-09 22:49:28

集群概念

Cluster概念

  • 系统扩展方式:
    • Scale UP:向上扩展,增强
    • Scale Out:向外扩展,增加设备，调度分配问题，Cluster
  • Cluster:集群,为解决某个特定问题将多台计算机组合起来形成的单个系统
  • Linux Cluster类型:
    • LB:Load Balancing，负载均衡
    • HA:High Availiablity，高可用，SPOF(single Point Of failure)
      • MTBF:Mean Time Between Failure 平均无故障时间
      • MTTR:Mean Time To Restoration( repair)平均恢复前时间 A=MTBF/(MTBF+MTTR) (0,1):99%, 99.5%, 99.9%, 99.99%, 99.999%, 99.9999%
    • HPC:High-performance computing，高性能 www.top500.org
  • 分布式系统:
    • 分布式存储:云盘
    • 分布式计算:hadoop，Spark

Cluster分类

  • LB Cluster的实现

  • 硬件

    • F5 Big-IP
    • Citrix Netscaler
    • A10 A10

  • 软件

    • lvs:Linux Virtual Server
    • nginx:支持四层调度
    • haproxy:支持四层调度
    • ats:apache traffic server，yahoo捐助
    • perlbal:Perl 编写
    • pound

  • 基于工作的协议层次划分:

  • 传输层(通用):DPORT

    • LVS: nginx:stream
    • haproxy:mode tcp

  • 应用层(专用):针对特定协议，自定义的请求模型分类

    • proxy server:
      • http:nginx, httpd, haproxy(mode http), …
      • fastcgi:nginx, httpd, …
      • mysql:mysql-proxy, …

Cluster相关

  • 会话保持:负载均衡
    • (1) session sticky:同一用户调度固定服务器
      • Source IP:LVS sh算法(对某一特定服务而言)
      • Cookie
    • (2) session replication:每台服务器拥有全部session
      • session multicast cluster
    • (3) session server:专门的session服务器
      • Memcached，Redis
  • HA集群实现方案
    • keepalived:vrrp协议
    • ais:应用接口规范
      • heartbeat
      • cman+rgmanager(RHCS)
      • coresync_pacemaker

#LVS介绍

LVS介绍

  • LVS:Linux Virtual Server，负载调度器，集成内核 章文嵩 阿里
    • 官网:http://www.linuxvirtualserver.org/
    • VS: Virtual Server，负责调度
    • RS: Real Server，负责真正提供服务
    • L4:四层路由器或交换机
  • 工作原理:VS根据请求报文的目标IP和目标协议及端口将其调度转 发至某RS，根据调度算法来挑选RS
  • iptables/netfilter:
    • iptables:用户空间的管理工具
    • netfilter:内核空间上的框架
    • 流入:PREROUTING --> INPUT
    • 流出:OUTPUT --> POSTROUTING
    • 转发:PREROUTING --> FORWARD --> POSTROUTING
    • DNAT:目标地址转换; PREROUTING

LVS集群体系结构

Linux Virtual Server 基础

LVS概念

  • lvs集群类型中的术语:
    • VS:Virtual Server，Director Server(DS) Dispatcher(调度器)，Load Balancer
    • RS:Real Server(lvs), upstream server(nginx) backend server(haproxy)
    • CIP:Client IP
    • VIP: Virtual serve IP VS外网的IP
    • DIP: Director IP VS内网的IP
    • RIP: Real server IP
    • 访问流程:CIP <–> VIP == DIP <–> RIP

lvs集群的类型

  • lvs: ipvsadm/ipvs
    • ipvsadm:用户空间的命令行工具，规则管理器 用于管理集群服务及RealServer
    • ipvs:工作于内核空间netfilter的INPUT钩子上的框架
  • lvs集群的类型:
    • lvs-nat:修改请求报文的目标IP,多目标IP的DNAT
    • lvs-dr:操纵封装新的MAC地址
    • lvs-tun:在原请求IP报文之外新加一个IP首部
    • lvs-fullnat:修改请求报文的源和目标IP

LVS实现

lvs-nat模式

  • lvs-nat: 本质是多目标IP的DNAT，通过将请求报文中的目标地址和目标端口修改为某挑出的RS的RIP和PORT实现转发
    • (1)RIP和DIP建议在同一个IP网络，且应使用私网地址;RS的 网关要指向DIP
    • (2)请求报文和响应报文都必须经由Director转发，Director 易于成为系统瓶颈
    • (3)支持端口映射，可修改请求报文的目标PORT
    • (4)VS必须是Linux系统，RS可以是任意OS系统

VS/NAT的体系结构

Linux Virtual Server 基础

NAT模式IP包调度过程

Linux Virtual Server 基础

NAT模式

Linux Virtual Server 基础

首先，我们需要明白的是，NAT模式是在网络层来进行IP的转换以及端口转发的，它可以实现把前端调度器的IP地址和端口转换为后端服务器端IP和端口，后端服务器提供相应后再回到调度器，再一次把IP和端口转换为调度器的IP和端口，只要这一点明白了，我就可以接着来看看一这个图。
当客户端发起请求到时候，通过网络中的路由器，在到达与服务器内部局域网与外界进行交互的路由器的时候，路由器上的原地址是客户端IP(CIP)，目标地址是调度器(Director Server)的IP(VIP)，这个时候，调度器接受到了请求，它在数据到了INPUT链之前，强制进行修改路径，并且进行修改目标IP为服务器IP(RIP)不再让数据流入内核进程，(因为调度器本身没有可以提供服务的进程，这样只会白白消耗资源)，而是把它发往POSTROUTING，在这期间，IP，端口已经都完成转换，服务器真正接受到的原IP是客户端IP，目标IP是他自己，在进行处理之后，他要回复相应，便在数据出来的时候，原IP变成了自己的IP，目标IP是调度器IP，然后进入调度器，调度器再进行处理，把发向客户端的数据原IP变成自己，目标IP标记上客户端的IP，再发给路由器，之个时候变完成了一次通讯交流，不过与之前防火墙iptables不同的是，调度器可以根据调度算法，来实现负载均衡，对于不同的后端服务器(RS)，分发不同的请求，提高整体集群的性能，有一点美中不足的是对于调度器来说，响应报文的数据量大大增加，因为来回都要经过调度器，他的负载就要大大增加，成为了系统瓶颈，于是便有了DR模型。

LVS-DR模式

  • LVS-DR:Direct Routing，直接路由，LVS默认模式,应用最广泛 ,通过为请求报文重新封装一个MAC首部进行转发，源MAC是DIP 所在的接口的MAC，目标MAC是某挑选出的RS的RIP所在接口的 MAC地址;源IP/PORT，以及目标IP/PORT均保持不变
    • (1) Director和各RS都配置有VIP
    • (2) 确保前端路由器将目标IP为VIP的请求报文发往Director
      • 在前端网关做静态绑定VIP和Director的MAC地址
      • 在RS上使用arptables工具
        • arptables -A IN -d $VIP -j DROP
        • arptables -A OUT -s $VIP -j mangle --mangle-ip-s $RIP
      • 在RS上修改内核参数以限制arp通告及应答级别
        • /proc/sys/net/ipv4/conf/all/arp_ignore
        • /proc/sys/net/ipv4/conf/all/arp_announce
    • (3)RS的RIP可以使用私网地址，也可以是公网地址;RIP与 DIP在同一IP网络;RIP的网关不能指向DIP，以确保响应报文不会经由Director
    • (4)RS和Director要在同一个物理网络
    • (5)请求报文要经由Director，但响应报文不经由Director，而由RS直接发往Client
    • (6)不支持端口映射(端口不能修败)
    • (7)RS可使用大多数OS系统

VS/DR体系结构

Linux Virtual Server 基础

DR模式IP包调度过程

Linux Virtual Server 基础

DR模式

Linux Virtual Server 基础

我们再来看DR模型，首先DR模式是基于MAC进行转发，在数据链路层实现，所以不能转换端口和IP，我们接着来看看一这个图。当客户端发起请求到时候，原IP是自己的IP(CIP)，目标IP是调度器IP(VIP)，而原MAC地址是自己的MAC，目标MAC是下一跳路由器的MAC，通过网络中的路由器，在到达与服务器内部局域网与外界进行交互的路由器的时候，路由器上的原地址是客户端IP(CIP)，目标地址是调度器(Director Server)的IP(VIP)，接着进入交换机，但是这个时候原MAC变为了上一跳路由器的MAC，目标MAC变为调度器的MAC，众所周知，在网络传播当中，IP地址不会变，但是MAC地址在每两个路由器之间的网断中都会改变，所以造成了这样的结果。这个时候，调度器接受到了请求，它在数据到了INPUT链之前，强制进行修改路径，并且进行修改目标IP为服务器IP(RIP)不再让数据流入内核进程，(因为调度器本身没有可以提供服务的进程，这样只会白白消耗资源)，而是把它发往POSTROUTING，在这期间，原IP和目标IP都没有改变，这是因为在服务器(RS)上也有和调度器相同的IP(VIP)，**为什么可以在一个局域网内有相同IP的很多主机，但是还可以通讯呢？**这就涉及到了ARP协议，众所周知，在每个主角刚拿到IP的时候，他会在局域网中发送ARP广播来进行测试，看有没有和自己冲突的IP，但是，如果我们不让主机发送ARP广播，而且在别人的ARP广播发送过来的时候也不进行回应，这样是不是就没有冲突的可能了呢？于是，我们有不同的方式在办到这件事情，上面也有说，通过arptables和修改内核参数的方式来进行控制。自此，我们完成了最重要的部分，接下来就是调度器根据调度算法来进行不同负载的调度了。众所周知，交换机根据MAC地址进行转发，这一点交换机是很轻松就可以办到的。在进入调度器的数据在出来的时候，原MAC是自己，目标MAC变成了服务器的lo回环网卡上的MAC，我们把VIP绑定在回环网卡上是因为更加稳定，主要服务器不down，地址就不会丢。数据出来以后，再一次经过交换机，来到了后端服务器，在进行响应之后，原MAC变成了后端服务器自己的MAC(RS-lo-MAC)，目标MAC是出去的路由器的MAC，这样我们在出去的时候是不再经过调度器的，调度器的负载也大大减小。

lvs-tun模式

  • lvs-tun:
    • 转发方式:不修改请求报文的IP首部(源IP为CIP，目标IP为 VIP)，而在原IP报文之外再封装一个IP首部(源IP是DIP，目 标IP是RIP)，将报文发往挑选出的目标RS;RS直接响应给客 户端(源IP是VIP，目标IP是CIP)
      • (1) DIP, VIP, RIP都应该是公网地址
      • (2) RS的网关一般不能指向DIP
      • (3) 请求报文要经由Director，但响应不能经由Director
      • (4) 不支持端口映射
      • (5) RS的OS须支持隧道功能

VS/TUN体系结构

Linux Virtual Server 基础

TUN模式IP包调度过程

Linux Virtual Server 基础

lvs-fullnat模式

  • lvs-fullnat:通过同时修改请求报文的源IP地址和目标IP地
    • 址进行转发
      • CIP --> DIP
      • VIP --> RIP
    • (1) VIP是公网地址，RIP和DIP是私网地址，且通常不在同一IP网络;因此，RIP的网关一般不会指向DIP
    • (2) RS收到的请求报文源地址是DIP，因此，只需响应给DIP;但Director还要将其发往Client
    • (3) 请求和响应报文都经由Director
    • (4) 支持端口映射 注意:此类型kernel默认不支持

LVS工作模式总结

* VS/NAT VS/TUN VS/DR
Server any Tunneling Non-arp device
server network private LAN/WAN LAN
server number low (10~20) High (100) High (100)
server gateway load balancer own router Own router
  • lvs-nat与lvs-fullnat:请求和响应报文都经由Director
  • lvs-nat:RIP的网关要指向DIP
  • lvs-fullnat:RIP和DIP未必在同一IP网络，但要能通信
  • lvs-dr与lvs-tun:请求报文要经由Director，但响应报文由RS直接 发往Client
  • lvs-dr:通过封装新的MAC首部实现，通过MAC网络转发
  • lvs-tun:通过在原IP报文外封装新IP头实现转发，支持远距离通信

ipvs scheduler

  • ipvs scheduler:根据其调度时是否考虑各RS当前的负载状态 两种:静态方法和动态方法
  • 静态方法:仅根据算法本身进行调度
    • 1、RR:roundrobin，轮询
    • 2、WRR:Weighted RR，加权轮询
    • 3、SH:Source Hashing，实现session sticky，源IP地址 hash;将来自于同一个IP地址的请求始终发往第一次挑中的 RS，从而实现会话绑定
    • 4、DH:Destination Hashing;目标地址哈希，将发往同一 个目标地址的请求始终转发至第一次挑中的RS，典型使用场景 是正向代理缓存场景中的负载均衡，如:宽带运营商
  • 动态方法:主要根据每RS当前的负载状态及调度算法进行调度 Overhead=value 较小的RS将被调度
    • 1、LC:least connections 适用于长连接应用 Overhead=activeconns*256+inactiveconns
    • 2、WLC:Weighted LC，默认调度方法 Overhead=(activeconns*256+inactiveconns)/weight
    • 3、SED:Shortest Expection Delay,初始连接高权重优先 Overhead=(activeconns+1)*256/weight
    • 4、NQ:Never Queue，第一轮均匀分配，后续SED
    • 5、LBLC:Locality-Based LC，动态的DH算法，使用场景: 根据负载状态实现正向代理
    • 6、LBLCR:LBLC with Replication，带复制功能的LBLC 解决LBLC负载不均衡问题，从负载重的复制到负载轻的RS

ipvs

  • ipvsadm/ipvs:
  • ipvs:
    • grep -i -C 10 “ipvs” /boot/config-VERSION- RELEASE.x86_64
    • 支持的协议:TCP， UDP， AH， ESP， AH_ESP, SCTP
  • ipvs集群:
    • 管理集群服务
    • 管理服务上的RS

ipvsadm包构成

  • ipvsadm:
  • 程序包:ipvsadm
    • Unit File: ipvsadm.service
    • 主程序:/usr/sbin/ipvsadm
    • 规则保存工具:/usr/sbin/ipvsadm-save
    • 规则重载工具:/usr/sbin/ipvsadm-restore
    • 配置文件:/etc/sysconfig/ipvsadm-config

ipvsadm命令

  • ipvsadm命令:

  • 核心功能:

    • 集群服务管理:增、删、改
    • 集群服务的RS管理:增、删、改
    • 查看
    • ipvsadm -A|E -t|u|f service-address -s scheduler [-p [timeout]] [-M netmask] [–pe persistence_engine] [-b sched-flags]
    • ipvsadm -D -t|u|f service-address 删除 ipvsadm –C 清空
    • ipvsadm –R 重载
    • ipvsadm -S [-n] 保存
    • ipvsadm -a|e -t|u|f service-address -r server-address [options]
    • ipvsadm -d -t|u|f service-address -r server-address
    • ipvsadm -L|l [options]
    • ipvsadm -Z [-t|u|f service-address]

  • 管理集群服务:增、改、删

    • 增、改:
      • ipvsadm -A|E -t|u|f service-address -s scheduler [-p [timeout]]
    • 删除:
      • ipvsadm -D -t|u|f service-address
    • service-address:
      • -t|u|f:
        • -t: TCP协议的端口，VIP:TCP_PORT
        • -u: UDP协议的端口，VIP:UDP_PORT
        • -f:firewall MARK，标记，一个数字

  • 管理集群上的RS:增、改、删

    • 增、改:
      • ipvsadm -a|e -t|u|f service-address -r server-address [-g|i|m] [-w weight]
    • 删:ipvsadm -d -t|u|f service-address -r server-address
    • server-address:
      • rip[:port] 如省略port，不作端口映射
    • 选项:
      • lvs类型:
        • -g: gateway, dr类型，默认
        • -i: ipip, tun类型
        • -m: masquerade, nat类型
        • -w weight:权重

  • 清空定义的所有内容:ipvsadm –C

  • 清空计数器:ipvsadm -Z [-t|u|f service-address]

  • 查看:ipvsadm -L|l [options]

    • –numeric, -n:以数字形式输出地址和端口号
    • –exact:扩展信息，精确值
    • –connection，-c:当前IPVS连接输出
    • –stats:统计信息
    • –rate :输出速率信息 /proc/net/ip_vs

  • ipvs规则:/proc/net/ip_vs

  • ipvs连接:/proc/net/ip_vs_conn

保存及重载规则

  • 保存:建议保存至/etc/sysconfig/ipvsadm
    • ipvsadm-save > /PATH/TO/IPVSADM_FILE
    • ipvsadm -S > /PATH/TO/IPVSADM_FILE
    • systemctl stop ipvsadm.service
  • 重载:
    • ipvsadm-restore < /PATH/FROM/IPVSADM_FILE
    • ipvsadm -R < /PATH/FROM/IPVSADM_FILE
    • systemctl restart ipvsadm.service

LVS

  • 负载均衡集群设计时要注意的问题
    • (1) 是否需要会话保持
    • (2) 是否需要共享存储
      • 共享存储:NAS， SAN， DS(分布式存储)
      • 数据同步:
  • lvs-nat:
    • 设计要点:
      • (1) RIP与DIP在同一IP网络, RIP的网关要指向DIP
      • (2) 支持端口映射
      • (3) Director要打开核心转发功能

LVS-DR

  • DR模型中各主机上均需要配置VIP，解决地址冲突的方式有三种:
    • (1) 在前端网关做静态绑定
    • (2) 在各RS使用arptables
    • (3) 在各RS修改内核参数，来限制arp响应和通告的级别
  • 限制响应级别:arp_ignore
    • 0:默认值，表示可使用本地任意接口上配置的任意地址进行响应
    • 1: 仅在请求的目标IP配置在本地主机的接收到请求报文的接口上时 ，才给予响应
  • 限制通告级别:arp_announce
    • 0:默认值，把本机所有接口的所有信息向每个接口的网络进行通告
    • 1:尽量避免将接口信息向非直接连接网络进行通告
    • 2:必须避免将接口信息向非本网络进行通告

RS的预配置脚本

#!/bin/bash
vip=192.168.0.100
mask='255.255.255.255‘
dev=lo:1
case $1 in
start)
echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore
echo 1 > /proc/sys/net/ipv4/conf/lo/arp_ignore
echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce
echo 2 > /proc/sys/net/ipv4/conf/lo/arp_announce
ifconfig $dev $vip netmask $mask
;;
stop)
ifconfig $dev down
echo 0 > /proc/sys/net/ipv4/conf/all/arp_ignore
echo 0 > /proc/sys/net/ipv4/conf/lo/arp_ignore
echo 0 > /proc/sys/net/ipv4/conf/all/arp_announce
echo 0 > /proc/sys/net/ipv4/conf/lo/arp_announce
;;
*)
echo “Usage: $(basename $0) start|stop”
exit 1
;;
esac

VS的配置脚本

#!/bin/bash
vip=‘192.168.0.100’
iface=‘eth0:1’
mask=‘255.255.255.255’
port=‘80’
rs1=‘192.168.0.101’
rs2=‘192.168.0.102’
scheduler=‘wrr’
type=’-g’
case $1 in
start)
ifconfig $iface $vip netmask $mask
iptables -F
ipvsadm -A -t vip:{vip}:{port} -s $scheduler
ipvsadm -a -t vip:{vip}:{port} -r ${rs1} $type -w 1
ipvsadm -a -t vip:{vip}:{port} -r ${rs2} $type -w 1
;;

stop)
ipvsadm -C
ifconfig $iface down
;;
*)
echo "Usage $(basename $0) start|stop”
exit 1
;;
esac

FireWall Mark

  • FWM:FireWall Mark
  • MARK target 可用于给特定的报文打标记
    • –set-mark value
    • 其中:value 为十六进制数字
  • 借助于防火墙标记来分类报文，而后基于标记定义集群服务; 可将多个不同的应用使用同一个集群服务进行调度
  • 实现方法:
    • 在Director主机打标记:
      • iptables -t mangle -A PREROUTING -d $vip -p $proto -m multiport --dports port1,port1,port2,… -j MARK --set-mark NUMBER
    • 在Director主机基于标记定义集群服务: ipvsadm -A -f NUMBER [options]

持久连接

  • session 绑定:对共享同一组RS的多个集群服务，需要统一进行绑 定，lvs sh算法无法实现
  • 持久连接( lvs persistence )模板:实现无论使用任何调度算法， 在一段时间内(默认360s )，能够实现将来自同一个地址的请求始 终发往同一个RS
    • ipvsadm -A|E -t|u|f service-address -s scheduler [-p [timeout]]
  • 持久连接实现方式:
    • 每端口持久(PPC):每个端口对应定义为一个集群服务，每集群服务单独调度
    • 每防火墙标记持久(PFWMC):基于防火墙标记定义集群服务;
      可实现将多个端口上的应用统一调度，即所谓的port Affinity
    • 每客户端持久(PCC):基于0端口(表示所有服务)定义集群服 务，即将客户端对所有应用的请求都调度至后端主机，必须定义 为持久模式

#ldirectord

LVS高可用性

  • 1 Director不可用，整个系统将不可用;SPoF Single Point of Failure
    • 解决方案:高可用
      • keepalived
      • heartbeat/corosync
  • 2 某RS不可用时，Director依然会调度请求至此RS
    • 解决方案: 由Director对各RS健康状态进行检查，失败时禁用，成功时启用 keepalived heartbeat/corosync ldirectord
    • 检测方式:
      • (a) 网络层检测，icmp
      • (b) 传输层检测，端口探测
      • © 应用层检测，请求某关键资源
      • RS全不用时:backup server, sorry server

ldirectord

  • ldirectord:监控和控制LVS守护进程，可管理LVS规则
  • 包名:ldirectord-3.9.6-0rc1.1.1.x86_64.rpm
  • 文件:
    • /etc/ha.d/ldirectord.cf 主配置文件
    • /usr/share/doc/ldirectord-3.9.6/ldirectord.cf 配置模版
    • /usr/lib/systemd/system/ldirectord.service 服务
    • /usr/sbin/ldirectord 主程序
    • /var/log/ldirectord.log 日志
    • /var/run/ldirectord.ldirectord.pid pid文件

Ldirectord配置文件示例

checktimeout=3
checkinterval=1
autoreload=yes
logfile=“/var/log/ldirectord.log“ #日志文件
quiescent=no #down时yes权重为0，no为删除
virtual=5 #指定VS的FWM或IP:port
real=172.16.0.7:80 gate 2
real=172.16.0.8:80 gate 1
fallback=127.0.0.1:80 gate #sorry server
service=http
scheduler=wrr
checktype=negotiate
checkport=80
request=“index.html”
receive=“Test Ldirectord"

相关推荐