LVS负载调度

一、LVS全称 Linux Virtual Server四种模式十三种算法二、什么是集群集群Cluster是指将多台独立的计算机服务器通过网络连接在一起协同工作对外表现为一个统一的系统。同一个业务系统部署在多台服务器上集群中每一台服务器实现的功能没有差别数据 和代码都是一样的三、集群分类1、高可用集群HA Cluster服务永不中断。当某个节点故障时自动把服务迁移到其他健康节点多节点服务器随时代替。2、负载均衡集群LB Cluster横向扩展处理能力。把大量并发请求分摊到多个节点并行处理提升整体吞吐量。3、高性能计算集群HPC Cluster极致算力。将一个大任务拆分成无数小任务分发给成百上千个节点并行计算最后汇总结果。分布式一个业务被拆成多个子业务或者本身就是不同的业务部署在多台服务器上。分布式 中每一台服务器实现的功能是有差别的数据和代码也是不一样的分布式每台服务器功能加起 来才是完整的业务分布式是以缩短单个任务的执行时间来提升效率的而集群则是通过提高单位时间内执行的任务数 来提升效率四、LVS 的作用LVS 全称 Linux Virtual Server是 Linux 内核层实现的高性能、高可用 的负载均衡集群技术由章文嵩博士开发目前是 Linux 内核的标准模块 之一。它的核心作用是将前端的请求流量分发到后端多台真实服务器 Real Server上从而提升服务的并发处理能力和可用性。五、lvs的4种模式及原理1、NAT 模式1.客户端发送访问请求请求数据包中含有请求来源cip访问目标地址VIP访问目标端口 9000port2.VS服务器接收到访问请求做DNAT把请求数据包中的目的地由VIP换成RS的RIP和相应端口3.RS1相应请求发送响应数据包包中的相应保温为数据来源RIP1响应目标CIP相应端口 9000port4.VS服务器接收到响应数据包改变包中的数据来源RIP1--VIP,响应目标端口9000--805.VS服务器把修改过报文的响应数据包回传给客户端 6.lvs的NAT模式接收和返回客户端数据包时都要经过lvs的调度机所以lvs的调度机容易阻塞2、DR 模式调度器只修改数据包的目标 MAC 地址IP 层不变。Real Server 收到后因为目标 IP 就是自己的 VIPlo 接口上配了 VIP直接处理。响应包由 Real Server 直接发给 Client不经过 Director。3、TUN 模式转发方式不修改请求报文的IP首部源IP为CIP目标IP为VIP而在原IP报文之外再封装一个IP首部 源IP是DIP目标IP是RIP将报文发往挑选出的目标RSRS直接响应给客户端源IP是VIP目标IP 是CIP4、Full-NAT 模式fullnat通过同时修改请求报文的源IP地址和目标IP地址进行转发 CIP -- DIP VIP -- RIP1.VIP是公网地址RIP和DIP是私网地址且通常不在同一IP网络因此RIP的网关一般不会指向DIP2.RS收到的请求报文源地址是DIP因此只需响应给DIP但Director还要将其发往Client3.请求和响应报文都经由Director4.支持端口映射 Warning 注意此类型kernel默认不支持四、lvs13种算法静态1、RRroundrobin 轮询 RS分别被调度当RS配置有差别时不推荐2、WRRWeighted RR加权轮询根据RS的配置进行加权调度性能差的RS被调度的次数少3、SHSource Hashing实现session sticky源IP地址hash将来自于同一个IP地址的请求始终发往第一次挑中的RS从而实现会话绑定4、DHDestination Hashing目标地址哈希第一次轮询调度至RS后续将发往同一个目标地址的请求始终转发至第一次挑中的RS典型使用场景是正向代理缓存场景中的负载均衡如宽带运营商动态1、LCleast connections最少链接发适用于长连接应用Overhead负载值activeconns活动链接数 x 256inactiveconns非活动链接数2、WLCWeighted LC权重最少链接默认调度方法Overhead(activeconns x 256inactiveconns)/weight3、SEDShortest Expection Delay,初始连接高权重优先Overhead(activeconns1inactiveconns) x 256/weight但是当node1的权重为1node2的权重为10经过运算前几次的调度都会被node2承接4、NQNever Queue第一轮均匀分配后续SED5、LBLCLocality-Based LC动态的DH算法使用场景根据负载状态实现正向代理6、LBLCRLBLC with Replication带复制功能的LBLC解决LBLC负载不均衡问题从负载重的复制到负载轻的RS新增1.FO(Weighted Fai Over)调度算法常用作灰度发布在此FO算法中遍历虚拟服务所关联的真实服务器链表找到还未过载(未设置IP_VS_DEST_F OVERLOAD标志)的且权重最高的真实服务器进行调度当服务器承接大量链接我们可以对此服务器进行过载标记IP_VS_DEST_F OVERLOAD那么vs调度器就不会把链接调度到有过载标记的主机中。2.OVF(Overflow-connection)调度算法基于真实服务器的活动连接数量和权重值实现。将新连接调度到权重值最高的真实服务器直到其活动连接数量超过权重值之后调度到下一个权重值最高的真实服务器,在此OVF算法中遍历虚拟服务相关联的真实服务器链表找到权重值最高的可用真实服务器。一个可用的真实服务器需要同时满足以下条件:未过载(未设置IP_VS_DEST_F OVERLOAD标志)真实服务器当前的活动连接数量小于其权重值其权重值不为零五、防火墙标签解决轮询错误以http和https为例当我们在RS中同时开放80和443端口那么默认控制是分开轮询的这样我们就出 现了一个轮询错乱的问题 当我第一次访问80被轮询到RS1后下次访问443仍然可能会被轮询到RS1上问题复现RS1RS2#在RS1和RS2中开启https[rootRS1RS2 ~]# dnf install mod_ssl -y[rootRS1RS2 ~]# systemctl restart httpdLobster AIcpp运行在vsnode中添加https的轮询策略[rootvs1 ~]# ipvsadm -A -t 192.168.0.100:443 -s rr[rootvs1 ~]# ipvsadm -a -t 192.168.0.100:443 -r 192.168.0.10:443 -g[rootvs1 ~]# ipvsadm -a -t 192.168.0.100:443 -r 192.168.0.20:443 -g[rootvs1 ~]# ipvsadm -LnIP Virtual Server version 1.2.1 (size4096)Prot LocalAddress:Port Scheduler Flags- RemoteAddress:Port Forward Weight ActiveConn InActConnTCP 192.168.0.100:80 rr- 192.168.0.10:80 Route 1 0 0- 192.168.0.20:80 Route 1 0 0TCP 192.168.0.100:443 rr- 192.168.0.10:443 Route 1 0 0- 192.168.0.20:443 Route 1 0 0Lobster AIcpp运行轮询错误展示解决方案使用火墙标记访问vip的80和443的所有数据包设定标记为6666然后对此标记进行负载运行六、lvs持久链接lvs的会话粘滞解决方案在我们客户上网过程中有很多情况下需要和服务器进行交互客户需要提交响应信息给服务器如果单 纯的进行调度会导致客户填写的表单丢失为了解决这个问题我们可以用sh算法但是sh算法比较简单 粗暴可能会导致调度失衡解决方案在进行调度时不管用什么算法只要相同源过来的数据包我们就把他的访问记录在内存中也就是把 这个源的主机调度到了那个RS上如果在短期默认360S内同源再来访问我仍然按照内存中记录的调度信息把这个源的访问还调度到 同一台RS上。如果过了比较长的时间默认最长时间360s同源访问再次来访那么就会被调度到其他的RS上设定ipvs调度策略