一.高可用集群1.集群类型LBLoad Balance 负载均衡 LVS/HAProxy/nginxhttp/upstream, stream/upstream HAHigh Availability 高可用集群 数据库、Redis SPoF: Single Point of Failure解决单点故障 HPCHigh Performance Computing 高性能集群2.系统可用性SLAService-Level Agreement 服务等级协议提供服务的企业与客户之间就服务的品质、水准、性能 等方面所达成的双方共同认可的协议或契约 A MTBF / (MTBFMTTR99.95%:(60*24*30)*(1-0.9995)21.6分钟 一般按一个月停机时间统计指标 99.9%, 99.99%, 99.999%,99.9999%3.实现高可用提升系统高用性的解决方案降低MTTR- Mean Time To Repair(平均故障时间) 解决方案建立冗余机制active/passive 主/备 active/active 双主 active -- HEARTBEAT -- passive active -- HEARTBEAT -- active4.VRRPVirtual Router Redundancy Protocol虚拟路由冗余协议,解决静态网关单点风险物理层:路由器、三层交换机软件层:keepalived5.VRRP 相关术语虚拟路由器Virtual Router 虚拟路由器标识VRID(0-255)唯一标识虚拟路由器 VIPVirtual IP VMACVirutal MAC (00-00-5e-00-01-VRID) 物理路由器 master主设备 backup备用设备 priority优先级6.VRRP 相关技术通告心跳优先级等周期性 工作方式抢占式非抢占式 安全认证 无认证 简单字符认证预共享密钥 MD5 工作模式 主/备单虚拟路由器 主/主主/备虚拟路由器1备/主虚拟路由器2二、Keepalived 部署1.keepalived 简介vrrp 协议的软件实现原生设计目的为了高可用 ipvs服务官网http://keepalived.org/功能 基于vrrp协议完成地址流动 为vip地址所在的节点生成ipvs规则(在配置文件中预先定义) 为ipvs集群的各RS做健康状态检测 基于脚本调用接口完成脚本中定义的功能进而影响集群事务以此支持nginx、haproxy等服务2.Keepalived 架构官方文档https://keepalived.org/doc/http://keepalived.org/documentation.html用户空间核心组件 vrrp stackVIP消息通告 checkers监测real server system call实现 vrrp 协议状态转换时调用脚本的功能 SMTP邮件组件 IPVS wrapper生成IPVS规则 Netlink Reflector网络接口 WatchDog监控进程 控制组件提供keepalived.conf 的解析器完成Keepalived配置。 IO复用器针对网络目的而优化的自己的线程抽象。 内存管理组件为某些通用的内存管理功能例如分配重新分配发布等提供访问权限。3.Keepalived 环境准备各节点时间必须同步ntp, chrony 关闭防火墙及SELinux 各节点之间可通过主机名互相通信非必须 建议使用/etc/hosts文件实现非必须 各节点之间的root用户可以基于密钥认证的ssh服务完成互相通信非必须准备四台主机两keepalived两后端服务器RS全部关闭火墙和selinux时间同步IP主机IP软件KA1172.25.254.50/24keepalivedKA2172.25.254.60/24keepalivedRS1172.25.254.10/24nginx、mysql-serverRS2172.25.254.20/24nginx、mysql-server时间同步4.Keepalived 相关文件软件包名keepalived 主程序文件/usr/sbin/keepalived 主配置文件/etc/keepalived/keepalived.conf 配置文件示例/usr/share/doc/keepalived/ Unit File/lib/systemd/system/keepalived.service Unit File的环境配置文件/etc/sysconfig/keepalived5.Keepalived 安装如果启动不了先修改配置文件再启动6.KeepAlived 配置说明配置文件组成部分配置文件/etc/keepalived/keepalived.conf配置文件组成 GLOBAL CONFIGURATION Global definitions 定义邮件配置route_idvrrp配置多播地址等 VRRP CONFIGURATION VRRP instance(s) 定义每个vrrp虚拟路由器 LVS CONFIGURATION Virtual server group(s) Virtual server(s) LVS集群的VS和RS全局配置配置虚拟路由器示例KA1配置文件语法检测重启服务KA2两KA启用keepalived日志功能两KA实现独立子配置文件当生产环境复杂时 /etc/keepalived/keepalived.conf 文件中内容过多不易管理将不同集群的配置比如不同集群的VIP配置放在独立的子配置文件中利用include 指令可以实现包含子配置文件三.Keepalived 企业应用示例1.单主架构上面配置的即单主架构一个master一个backup抓包观察2.抢占模式和非抢占模式非抢占模式 nopreempt默认为抢占模式preempt即当高优先级的主机恢复在线后会抢占低先级的主机的master角色这样会使vip在KA主机中来回漂移造成网络抖动建议设置为非抢占模式 nopreempt 即高优先级主机恢复后并不会抢占低优先级主机的master角色直到现役主机挂了后才恢复高优先级主机master。注意要关闭 VIP抢占必须将各 keepalived 服务器state配置为BACKUP配置KA1KA2抢占延迟模式 preempt_delay抢占延迟模式即优先级高的主机恢复后不会立即抢回VIP而是延迟一段时间默认300s再抢回 VIP注意需要各keepalived服务器state为BACKUP,并且不要启用 vrrp_strictKA1preempt_delay 后面跟秒KA23.VIP单播配置默认keepalived主机之间利用多播相互通告消息会造成网络拥塞可以替换成单播减少网络流量注意启用 vrrp_strict 时不能启用单播KA1KA2抓包查看单播效果四、邮件配置1.邮箱配置↓password填授权码安装软件发送测试邮件2.实现 Keepalived 状态切换的通知脚本在所有 keepalived节点配置如下测试#模拟master故障[rootka1-centos8 ~]#killall keepalived在浏览器中观察邮件即可五、实现 master/master 的 Keepalived 双主架构master/slave的单主架构同一时间只有一个Keepalived对外提供服务此主机繁忙而另一台主机却 很空闲利用率低下可以使用master/master的双主架构解决此问题。master/master 的双主架构即将两个或以上VIP分别运行在不同的keepalived服务器以实现服务器并行提供web访问的目的提高 服务器资源利用率KA1KA2测试查看六、实现IPVS的高可用性virtual server 虚拟服务器的定义格式:virtual_server IP port #定义虚拟主机IP地址及其端口 virtual_server fwmark int #ipvs的防火墙打标实现基于防火墙的负载均衡集群 virtual_server group string #使用虚拟服务器组虚拟服务器配置:virtual_server IP port { #VIP和PORT delay_loop INT #检查后端服务器的时间间隔 lb_algo rr|wrr|lc|wlc|lblc|sh|dh #定义调度方法 lb_kind NAT|DR|TUN #集群的类型,注意要大写 persistence_timeout INT #持久连接时长 protocol TCP|UDP|SCTP #指定服务协议,一般为TCP sorry_server IPADDR PORT #所有RS故障时备用服务器地址 real_server IPADDR PORT { #RS的IP和PORT weight INT #RS权重 notify_up STRING|QUOTED-STRING #RS上线通知脚本 notify_down STRING|QUOTED-STRING #RS下线通知脚本 HTTP_GET|SSL_GET|TCP_CHECK|SMTP_CHECK|MISC_CHECK { ... } #定义当前主机健康状 态检测方法 } } #注意:括号必须分行写,两个括号写在同一行,如: }} 会出错应用层监测:HTTP_GET|SSL_GET { url { path URL_PATH #定义要监控的URL status_code INT #判断上述检测机制为健康状态的响应码一般为 200 } connect_timeout INTEGER #客户端请求的超时时长, 相当于haproxy的timeout server nb_get_retry INT #重试次数 delay_before_retry INT #重试之前的延迟时长 connect_ip IP ADDRESS #向当前RS哪个IP地址发起健康状态检测请求 connect_port PORT #向当前RS的哪个PORT发起健康状态检测请求 bindto IP ADDRESS #向当前RS发出健康状态检测请求时使用的源地址 bind_port PORT #向当前RS发出健康状态检测请求时使用的源端口 }TCP监测:TCP_CHECK { connect_ip IP ADDRESS #向当前RS的哪个IP地址发起健康状态检测请求 connect_port PORT #向当前RS的哪个PORT发起健康状态检测请求 bindto IP ADDRESS #发出健康状态检测请求时使用的源地址 bind_port PORT #发出健康状态检测请求时使用的源端口 connect_timeout INTEGER #客户端请求的超时时长 #等于haproxy的timeout server }实战案例实现单主的 LVS-DR 模式两RS添加环回接口IP↑此方法为临时添加两RS阻止内网穿透然后两RS安装nginx和配置默认发布文件两KA主机安装ipvsadm两KA配置keepalived两KA可查到LVS策略访问测试模拟故障恢复RS1后KA1故障自动切换至KA2实战案例双主分别实现httpd和mysql服务的调度在RS1和RS2中准备nginx(上题已配)和mysql环境:配置两KA双主模式查看测试实战案例利用脚本实现主从角色切换vrrp_script SCRIPT_NAME { #定义一个检测脚本在global_defs 之外配置 script STRING|QUOTED-STRING #shell命令或脚本路径 interval INTEGER #间隔时间单位为秒默认1秒 timeout INTEGER #超时时间 weight INTEGER:-254..254 #默认为0,如果设置此值为负数 #当上面脚本返回值为非0时 #会将此值与本节点权重相加可以降低本节点权重 #即表示fall. #如果是正数当脚本返回值为0 #会将此值与本节点权重相加可以提高本节点权重 #即表示 rise.通常使用负值 fall INTEGER #执行脚本连续几次都失败,则转换为失败建议设为2以上 rise INTEGER #执行脚本连续几次都成功把服务器从失败标记为成功 user USERNAME [GROUPNAME] #执行监测脚本的用户或组 init_fail #设置默认标记为失败状态监测成功之后再转换为成功状态 }建立脚本编辑keepalived配置只做一台KA即可实现测试实战案例实现HAProxy高可用两KA安装haproxy在两个ka1和ka2先实现haproxy的配置在两个ka1和ka2两个节点启用内核参数设置内核参数net.ipv4.ip_nonlocal_bind1后即使IP不在本机上也能监听然后要在两KA中编写检测脚本来检测自己的haproxy程序有没有挂如果挂了的话就要降低keepalived优先级把MASTER转移配置keepalived配置文件注vrrp_script要写在global_defs下weight为负数时——脚本结果为1假时生效weight为正数时——脚本结果为0真时生效测试