目录
一.Keepalived 双机热备基础知识
Keepalived 起初是专门针对 LVS 设计的一款强大的辅助工具,主要用来提供故障切换(Failover)和健康检査(Health Checking)功能--判断 LVS 负载调度器、节点服务器的可用性,当master 主机出现故障及时切换到 backup节点保证业务正常,当 master 故障主机恢复后将其重新加入群集并且业务重新切换回 master 节点。
1.Keepalived 概述及安装
Keepalived 的官方网站位于 http://www.keepalived.org/,本章将以 YUM方式讲解 Keepalived 的安装、配置和使用过程。在非 LVS 群集环境中使用时,Keepalived 也可以作为热备软件使用。
(1).Keepalived 的热备方式
通过共用的虚拟IP地址对外提供服务:每个热备组内同一时刻只有一台主路由器提供服务,其他路由器处于冗余状态。若当前在线的路由器失效,则其他路由器会自动接替(优先级决定接替顺序)虚拟IP地址,以继续提供服务,如图所示。
热备组内的每台路由器都可能成为主路由器,虚拟路由器的IP地址(VIP)可以在热备组内的路由器之间进行转移,所以也称为漂移IP地址。使用Keepalived 时,漂移地址的实现不需要手动建立虚接口配置文件(如 ens33 :0),而是由 Keepalived 根据配置文件自动管理。
操作系统 | 配置 | IP | 服务 |
---|---|---|---|
OpenEuler24 | 2C4G | 192.168.10.101 | Keepalived/ipvsadm |
OpenEuler24 | 2C4G | 192.168.10.102 | Keepalived/ipvsadm |
OpenEuler24 | 2C4G | 192.168.10.103 | httpd |
OpenEuler24 | 2C4G | 192.168.10.104 | httpd |
OpenEuler24 | 2C4G | 192.168.10.105 | nfs-utils/rpcbind |
(2).安装Keepalived
在0penEuler24系统中,使用DF方式安装keepalived.x86642.2.8-1.oe2403sp1,会自动安装 Keepalived 所需的软件包。除此之外,在 LVS群集环境中应用时,也需要用到 ipvsadm 管理工具。
(3).控制 Keepalived 服务
DNF 安装 keepalived 后,执行以下命令将 keepalived 服务设置为开机启动。
2. 使用Keepalived 实现双机热备
基于 VRRP的热备方式,Keepalived 可以用作服务器的故障切换,每个热备组可以有 多台服务器–当然,最常用的就是双机热备了。在这种双机热备方案中,故障切换主要针对虚拟IP地址的漂移来实现,因此能够适用于各种应用服务器(不管是 Web、FTP、Mail,还是 SSH、DNS·)
本小节将通过一个简单的案例来说明 Keepalived 双机热备的配置方法。其中,主、备服务器的IP地址分别为192.168.10.101和 192.168.10.102,基于漂移地址 192.168.10.100 提供 Web 服务主、备服务器中都需要安装 Keepalived,使用 YUM 方式安装 httpd 提供Web 服务。下面仅讲解与 Keepalived 相关的配置及测试过程
(1).主服务器的配置
Keepalived 服务的配置目录位于/etc/keepalived/。其中keepalived.conf 是主配置文件。另外包括一个子目录 samples/,提供了许多配置样例作为参考
在 Keepalived 的配置文件中,使用“global defs {…}”区段指定全局参数,使用“vrrp instance 实例名称{…}”区段指定 VRRP 热备参数,注释文字以“!”符号开头
确认上述配置无误,然后启动Keepalived 服务。实际状态为 MASTER 的主服务器将为 ens160接口自动添加 VIP 地址,通过 ip 命令可以查看。注意:ifconfig 命令看不到。
(2).备用服务器的配置
在同一个 Keepalived 热备组内,所有服务器的 Keepalived 配置文件基本相同,包括虚拟路由器的 ID 号、认证信息、漂移地址、心跳频率等。不同之处主要在于路由器名称、热备状态、优先级。
- 路由器名称(router id):建议为每个参与热备的服务器指定不同的名称
- 热备状态(state):至少应有一台主服务器,将状态设为MASTER;可以有多台备用的服务器,将状态设为BACKUP
- 优先级(priority):数值越大则取得 VIP控制权的优先级越高,因此主服务器的优先级应设为最高;其他备用服务器的优先级可依次递减,但不要相同,以免在争夺 VIP 控制权时发生冲突
配置备用服务器(可以有多台)时,可以参考主服务器的keepalived.conf配置文件内容,只需修改路由器名称、热备状态、优先级
确认配置无误,一样需要启动Keepalived 服务。此时主服务器仍然在线,VIP地址实际上仍然由主服务器控制,其他服务器处于备用状态。因此,在备用服务器中将不会为 ens33 接口添加 VIP 地址
(3).测试双机热备功能
Keepalived 的日志消息保存在/var/log/messages 文件中,在测试主、备故障自动切换功能时,可以跟踪此日志文件来观察热备状态的变化。以针对连通性和web 服务的测试为例
(1).连通性测试
在客户机中执行“ping -t 192.168.10.100”命令,能够正常、持续 ping 通,根据以下操作继续观察测试结果
① 停止启用主服务器的 Keepalived 服务,发现 ping 测试只中断了 1或2个包即恢复正常,说明已有其他服务器接替 VIP地址,并及时响应客户机请求
② 重新启用主服务器的 Keepalived 服务,发现 ping 测试再次中断1或2个包即恢复正常,说明主服务器已恢复正常,并夺回VIP地址的控制权
(2).Web访问测试
在 keepalived 运行的主机上启动 nginx 服务并写入不通的测试页面内容
在客户机中访问 http://192.168.10.100/,将看到由主服务器 192.168.10.101提供的网页文档。
安装两台测试网站
为两台网站创建测试文件
关闭Keepalived,测试环游地址测试文件为web2
① 停止启用主服务器的 Keepalived 服务,再次访问上述 Web 服务,将看到由备用服务器 192.168.10.102 提供的网页文档,说明 VIP 地址已切换至备用服务器
② 重新启用主服务器的 Keepalived 服务,再次访问上述 Web 服务,将看到重新由主服
务器 192.168.10.101 提供的网页文档,说明主服务器已重新夺取 VIP 地址
(3).查看日志记录
在执行主、备服务器故障切换的过程中,分别观察各自的/var/log/messages日志文件,可以看到 MASTER、SLAVE 状态的迁移记录
① 主服务器中,Keepalived 服务状态先变为“stop”,移除 VIP 地址,恢复后重新变为 MASTER
② 备用服务器中,状态先切换为MASTER,待主服务器恢复后再交回控制权
通过上述测试过程,可以发现双机热备已经正常。客户机只要通过VIP地址就可以访问服务器所提供的 Web 等应用。其中,任何一台服务器失效,另一台服务器将会立即接替服务,从而实现高可用性。实际应用时,注意主、备服务器所提供的 Web 服务内容要保持一致
二:使用Keepalived 实现双机热备
Keepalived 的设计目标是构建高可用的 LVS 负载均衡群集,可以调用ipvsadm 工具来创建虚拟服务器、管理服务器池,而不仅仅用作双机热备。使用Keepalived 构建 LVS 群集更加简便易用,主要优势体现在:对 LVS 负载调度器实现热备切换,提高可用性;对服务器池中的节点进行健康检查,自动移除失效节点,恢复后再重新加入。
在基于 LVS+Keepalived 实现的 LVS 群集结构中,至少包括两台热备的负载调度器,三台以上的节点服务器。本节将以 DR 模式的 LVS 群集为基础,增加一台从负载调度器,使用 Keepalived 来实现主、从调度器的热备,从而构建兼有负载均衡、高可用两种能力的 LVS 网站群集平台,如图所示。
使用 Keepalived 构建 LVS 群集时,也需要用到 ipvsadm 管理工具。但大部分工作会由Keepalived 自动完成,不需要手动执行 ipvsadm(除了查看和监控群集以外)。下面主要讲解 Keepalived 的服务器池设置,关于 NFS 共享服务的配置、Keepalived 的热备配置等在此不再详细阐述。
资源列表
操作系统 | 配置 | 主机名 | IP地址 | 服务 | 角色说明 |
---|---|---|---|---|---|
OpenEuler24 | 2C4G | 1b01 | 192.168.10.101 | Keepalived / ipvsadm | 主备节点1(高可用负载均衡) |
OpenEuler24 | 2C4G | 1b02 | 192.168.10.102 | Keepalived / ipvsadm | 主备节点2(高可用负载均衡) |
OpenEuler24 | 2C4G | web01 | 192.168.10.103 | Nginx | Web服务器节点1 |
OpenEuler24 | 2C4G | web02 | 192.168.10.104 | Nginx | Web服务器节点2 |
OpenEuler24 | 2C4G | nfs-server | 192.168.10.105 | nfs-utils / rpcbind | 共享存储服务器 |
1.基础环境配置
关闭防火墙和安全机制
安装服务并备份模板配置文件
2.配置主调度器
配置主调度器步骤如下:
(1).全局配置、热备配置
首先为主、从调度器实现热备功能,漂移地址使用LVS 群集的 VIP 地址。
配置项 | 参数值/示例 | 说明 |
---|---|---|
global_defs | 全局配置块,定义路由器的全局参数。 | |
router_id | LVS_HA_R1 | 当前服务器在Keepalived中的唯一标识,建议与主机名一致。 |
vrrp_instance | VI_1 | 定义一个VRRP实例,名称可自定义(如VI_1 )。 |
state | MASTER | 当前服务器的角色: - MASTER :主节点,默认持有VIP。- BACKUP :备用节点。 |
interface | ens33 | 绑定VIP的网络接口名称(需根据实际网卡名修改)。 |
virtual_router_id | 1 | 虚拟路由器的ID,必须相同(主备节点需一致,范围1-255)。 |
priority | 100 | 节点优先级(1-254),主节点应高于备用节点(如备节点设为99 )。 |
advert_int | 1 | VRRP通告间隔(秒),默认为1秒。 |
authentication | 主备节点间的认证配置,需保持一致。 | |
auth_type | PASS | 认证类型,仅支持PASS (明文密码)。 |
auth_pass | 123456 | 认证密码(最多8位),主备节点需相同。 |
virtual_ipaddress | 192.168.10.100 | 虚拟IP(VIP),客户端访问的地址,需与物理IP同子网。 |
(2).web 服务器池配置
在 Keepalieved 的热备配置基础上添加“virtual_server VIP 端口[...}”区段来 配置虚拟服务器,主要包括对负载调度算法、群集工作模式、健康检查间隔、真实服务器地址等参数的设置。
配置项 | 参数值/示例 | 说明 |
---|---|---|
virtual_server | 192.168.10.100 80 | 定义虚拟服务器(VIP)及其服务端口。 |
delay_loop | 15 | 健康检查的时间间隔(秒),每隔15秒检查一次后端服务器状态。 |
lb_algo | rr | 负载均衡调度算法: - rr :轮询(Round Robin)。- 其他可选: wrr (加权轮询)、lc (最少连接)等。 |
lb_kind | DR | 集群工作模式: - DR :直接路由(高性能,服务器直接响应客户端)。- 其他可选: NAT 、TUN 。 |
persistence | 60 (注释状态) | 会话保持时间(秒),启用需去掉! 。用于保持客户端与同一后端服务器的连接。 |
protocol | TCP | 后端服务使用的协议(如TCP 、UDP )。 |
real_server | 192.168.10.103 80 | 定义后端真实服务器(Real Server)的IP和端口。 |
weight | 1 | 服务器的权重,数值越高分配的请求越多(仅对wrr 等加权算法有效)。 |
TCP_CHECK | 基于TCP的健康检查配置块。 | |
connect_port | 80 | 健康检查的目标端口。 |
connect_timeout | 3 | 连接超时时间(秒),超过则认为检查失败。 |
nb_get_retry | 3 | 健康检查失败后的重试次数。 |
delay_before_retry | 4 | 每次重试的间隔时间(秒)。 |
(3).重新启动 Keepalived 服务
重新启动 Keepalived 服务的命令如下:
3.配置从调度器
从调度器的配置与主调度器基本相同,也包括全局配置、热备配置、服务器池配置,只需要调整 router id、state、priority 参数即可,其余内容完全相同。配置完成以后重启 Keepalived 服务。
[root@localhost ~]# cd /etc/keepalived/
[root@localhost keepalived]# ls
keepalived.conf.sample
[root@localhost keepalived]# cp keepalived.conf.sample keepalived.conf
[root@localhost keepalived]# vim keepalived.conf
全局配置、热备配置
Web 服务器池配置
重启服务,测试环游地址
4. 配置 Web 节点服务器
安装web服务器
为网站制作测试网页
为网站设置VIP地址
添加ARP参数
检测环回地址
5. 测试 LVS+keepalived 高可用群集
打开客户端测试
挂起keepalived01和103网站,测试高可用