本文详述了Linux环境中ARP广播问题、Keepalived热备实现、LVS与HAProxy负载均衡配置，以及相关软件的运行原理和性能衡量因素。通过实际案例展示了Keepalived在解决负载均衡器单点故障中的作用，以及HAProxy作为代理服务器的部署和验证过程。
Day40
ARP广播的问题
当客户端发起访问VIP对应的域名请求时，根据网络通信原理会产生ARP广播
因为负载均衡器和真实服务器在同一网络并且VIP设置在集群中的每个节点上
此时集群内的真实服务器会尝试回答来自客户端的ARP广播，这就会产生问题，大家都说我是VIP
内核参数说明
arp_ignore(定义回复ARP广播的方式)
0（默认值）
回应所有本地地址ARP广播，本地地址可以配置在任意网络接口上
1
回应配置在入站网卡接口上的任意IP地址的ARP广播
arp——announce
0（默认）
使用配置在任意网卡接口上的本地IP地址
2
对查询目标使用最适当的本地地址。在此模式下忽略这个IP数据包的源地址并尝试选择与能与该地址通信的本地地址。如果没有合适的地址被发现，将选择当前发送网络接口或其他的有可能接受到该ARP回应的网络接口来进行发送。
ARP防火墙
使用ARP防火墙也可以禁止对VIP的ARP请求
此方案为备选方案，非必须操作
yum -y install arptables_if
arptables -A IN -d <virtual_ip> -p DROP
arptables -A OUT -s <virtual_ip> -j mangle > --mangle-ip-s <real_ip>
Keepalived热备
Keeoalived概述
Keepalived实现了高可用集群
KeepaLived最初是为了LVS设计的
专门监控各个服务器节点的状态
Keepalived后来加入了VRRP功能，防止单点故障
Keepalived运行原理
keepalived检测每个服务器节点状态
服务器节点异常或者工作出现故障，Keepalived再将其加入到集群系统中
所有工作自动完成，无需人工干预
Keepalived安装
yum install -y keepalived
配置文件解析
/etc/keepalived/keepalived.conf
global_defs {
notification_email {
admin@tarena.com.cn //设置报警收件人邮箱
}
notification_email_from Alexandre.Cassen@firewall.loc //设置发件人
smtp_server 192.168.200.1 //定义邮箱服务器
smtp_connect_timeout 30
router_id web1 //设置路由ID号
}
vrrp_instance VI_1 {
state MASTER //主服务器设置为MASTER辅助为BACKUP
interface ens37 //定义网络接口
virtual_router_id 51 //主辅VRID号必须一致
priority 100 //服务器优先级
advert_int 1
authentication {
auth_type PASS
auth_pass 1111 //主辅服务器的密码必须一致
}
virtual_ipaddress {
192.168.4.80/24
}
}
环境准备
准备三台Linux服务器，两台做Web服务器，并部署Keepalived高可用软件，一台作为客户端主机，实现如下功能
拓扑图
案例
配置网络环境
1）设置Web1服务器网络参数、配置Web服务（不能照抄网卡名称）
[root@web1 ~]# nmcli connection modify eth0 ipv4.method manual ipv4.addresses 192.168.4.100/24 connection.autoconnect yes
[root@web1 ~]# nmcli connection up eth0
[root@web1 ~]# yum -y install httpd #安装软件
[root@web1 ~]# echo "192.168.4.100" > /var/www/html/index.html #创建网页文件
[root@web1 ~]# systemctl restart httpd #启动服务器
2）设置Web2服务器网络参数、配置Web服务（不能照抄网卡名称）
[root@web2 ~]# nmcli connection modify eth0 ipv4.method manual ipv4.addresses 192.168.4.200/24 connection.autoconnect yes[root@web2 ~]# nmcli connection up eth0[root@web2 ~]# yum -y install httpd #安装软件[root@web2 ~]# echo "192.168.4.200" > /var/www/html/index.html #创建网页文件[root@web2 ~]# systemctl restart httpd #启动服务器
3）配置proxy主机的网络参数（如果已经设置，可以忽略此步骤）
备注：这个实验，我们使用proxy当作客户端主机，网卡名称不能照抄。
[root@proxy ~]# nmcli connection modify eth0 ipv4.method manual ipv4.addresses 192.168.4.5/24 connection.autoconnect yes[root@proxy ~]# nmcli connection up eth0
安装Keepalived软件
注意：两台Web服务器做相同的操作。
[root@web1 ~]# yum install -y keepalived
[root@web2 ~]# yum install -y keepalived
部署Keepalived服务
1）修改web1服务器Keepalived配置文件
[root@web1 ~]# vim /etc/keepalived/keepalived.conf
global_defs {
router_id web1 #12行，设置路由ID号（实验需要修改）
vrrp_iptables #13行，清除防火墙的拦截规则（实验需要修改，手动添加该行）
}
vrrp_instance VI_1 {
state MASTER #21行，主服务器为MASTER（备服务器需要修改为BACKUP）
interface eth0 #22行，VIP配在哪个网卡（实验需要修改，不能照抄网卡名）
virtual_router_id 51 #23行，主备服务器VRID号必须一致
priority 100 #24行，服务器优先级,优先级高优先获取VIP
advert_int 1
authentication {
auth_type pass
auth_pass 1111
}
virtual_ipaddress { #30~32行，谁是主服务器谁获得该VIP（实验需要修改）
192.168.4.80/24
}
}
2）修改web2服务器Keepalived配置文件
[root@web2 ~]# vim /etc/keepalived/keepalived.conf
global_defs {
router_id web2 #12行，设置路由ID号（实验需要修改）
vrrp_iptables #13行，清除防火墙的拦截规则（实验需要修改，手动添加该行）
}
vrrp_instance VI_1 {
state BACKUP #21行，备服务器为BACKUP（实验需要修改）
interface eth0 #22行，VIP配在哪个网卡（实验需要修改，不能照抄网卡名）
virtual_router_id 51 #23行，主辅VRID号必须一致
priority 50 #24行，服务器优先级（实验需要修改）
advert_int 1
authentication {
auth_type pass
auth_pass 1111
}
virtual_ipaddress { #30~32行，谁是主服务器谁配置VIP（实验需要修改）
192.168.4.80/24
}
}
3）启动服务
[root@web1 ~]# systemctl start keepalived
[root@web2 ~]# systemctl start keepalived
4）配置防火墙和SELinux
[root@web1 ~]# firewall-cmd --set-default-zone=trusted
[root@web1 ~]# sed -i '/SELINUX/s/enforcing/permissive/' /etc/selinux/config
[root@web1 ~]# setenforce 0
[root@web2 ~]# firewall-cmd --set-default-zone=trusted
[root@web2 ~]# sed -i '/SELINUX/s/enforcing/permissive/' /etc/selinux/config
[root@web2 ~]# setenforce 0
步骤四：测试
1）登录两台Web服务器查看VIP信息
[root@web1 ~]# ip addr show
[root@web2 ~]# ip addr show
- 客户端访问
客户端使用curl命令连接http://192.168.4.80，查看Web页面；给Web1关机，客户端再次访问http://192.168.4.80，验证是否可以正常访问服务。
高可用调度器
Keepalived+LVS拓扑
使用Keepalived高可用解决调度器单点失败问题
主、备调度器上配置LVS
主调度器异常时，keepalived启用备用调度器
拓扑图
案例
配置网络环境
1）关闭服务
[root@web1 ~]# systemctl stop keepalived
[root@web2 ~]# systemctl stop keepalived
2）设置Web1服务器的网络参数（不能照抄网卡名称）
[root@web1 ~]# nmcli connection modify eth0 ipv4.method manual \ipv4.addresses 192.168.4.100/24 connection.autoconnect yes
[root@web1 ~]# nmcli connection up eth0
接下来给web1配置VIP地址
注意：这里的子网掩码必须是32（也就是全255），网络地址与IP地址一样，广播地址与IP地址也一样。
[root@web1 ~]# cd /etc/sysconfig/network-scripts/
[root@web1 ~]# cp ifcfg-lo ifcfg-lo:0
[root@web1 ~]# vim ifcfg-lo:0
DEVICE=lo:0
#设备名称
IPADDR=192.168.4.15
#IP地址
NETMASK=255.255.255.255
#子网掩码
NETWORK=192.168.4.15
#网络地址
BROADCAST=192.168.4.15
#广播地址
ONBOOT=yes
#开机是否激活该网卡
NAME=lo:0
#网卡名称
注意：这里因为web1也配置与调度器一样的VIP地址，默认肯定会出现地址冲突。
写入下面这四行的主要目的就是访问192.168.4.15的数据包，只有调度器会响应，其他主机都不做任何响应。
[root@web1 ~]# vim /etc/sysctl.conf
#手动写入如下4行内容，英语词汇：ignore（忽略、忽视），announce（宣告、广播通知）
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.lo.arp_ignore = 1
net.ipv4.conf.lo.arp_announce = 2
net.ipv4.conf.all.arp_announce = 2
#arp_ignore(防止进站冲突)
#arp_announce(防出站冲突)
[root@web1 ~]# sysctl -p #刷新，让配置文件立刻生效
重启网络服务
[root@web1 ~]# systemctl restart network #重启网络服务[root@web1 ~]# ip a s #查看IP地址
3）设置Web2服务器的网络参数（不能照抄网卡名称）
[root@web2 ~]# nmcli connection modify eth0 ipv4.method manual \ipv4.addresses 192.168.4.200/24 connection.autoconnect yes
[root@web2 ~]# nmcli connection up eth0
接下来给web2配置VIP地址
注意：这里的子网掩码必须是32（也就是全255），网络地址与IP地址一样，广播地址与IP地址也一样。
[root@web2 ~]# cd /etc/sysconfig/network-scripts/
[root@web2 ~]# cp ifcfg-lo ifcfg-lo:0
[root@web2 ~]# vim ifcfg-lo:0
DEVICE=lo:0
IPADDR=192.168.4.15
NETMASK=255.255.255.255
NETWORK=192.168.4.15
BROADCAST=192.168.4.15
ONBOOT=yes
NAME=lo:0
注意：这里因为web2也配置与代理一样的VIP地址，默认肯定会出现地址冲突。
写入这四行的主要目的就是访问192.168.4.15的数据包，只有调度器会响应，其他主机都不做任何响应。
[root@web2 ~]# vim /etc/sysctl.conf
#手动写入如下4行内容，英语词汇：ignore（忽略、忽视），announce（宣告、广播通知）
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.lo.arp_ignore = 1
net.ipv4.conf.lo.arp_announce = 2
net.ipv4.conf.all.arp_announce = 2
#arp_ignore(防止进站冲突)
#arp_announce(防出站冲突)
[root@web2 ~]# sysctl -p #刷新，让配置文件立刻生效
重启网络服务
[root@web2 ~]# systemctl restart network #重启网络服务[root@web2 ~]# ip a s #查看IP地址
4）配置proxy主机的网络参数(不配置VIP，VIP由keepalvied自动配置)
把前面课程创建VIP的网卡配置文件直接删除。
备注：不能照抄网卡名称。
[root@proxy ~]# nmcli connection modify eth0 ipv4.method manual \ipv4.addresses 192.168.4.5/24 connection.autoconnect yes
[root@proxy ~]# nmcli connection up eth0
5）配置proxy2主机的网络参数(不配置VIP，VIP由keepalvied自动配置)
注意：按照前面的课程环境，默认没有该虚拟机，需要重新建一台虚拟机proxy2。
备注：不能照抄网卡名称。
[root@proxy2 ~]# nmcli connection modify eth0 ipv4.method manual \ipv4.addresses 192.168.4.6/24 connection.autoconnect yes
[root@proxy2 ~]# nmcli connection up eth0
配置后台web服务
1）安装软件，自定义Web页面（web1和web2主机）
[root@web1 ~]# yum -y install httpd
[root@web1 ~]# echo "192.168.4.100" > /var/www/html/index.html
[root@web2 ~]# yum -y install httpd
[root@web2 ~]# echo "192.168.4.200" > /var/www/html/index.html
2）启动Web服务器软件(web1和web2主机)
[root@web1 ~]# systemctl start httpd ; systemctl enable httpd
[root@web2 ~]# systemctl start httpd ; systemctl enable httpd
调度器安装Keepalived与ipvsadm软件
注意：两台LVS调度器执行相同的操作（如何已经安装软件，可忽略此步骤）。
安装软件
[root@proxy ~]# yum install -y keepalived
[root@proxy ~]# systemctl enable keepalived
[root@proxy ~]# yum install -y ipvsadm
[root@proxy ~]# ipvsadm -C
[root@proxy2 ~]# yum install -y keepalived
[root@proxy2 ~]# systemctl enable keepalived
[root@proxy2 ~]# yum install -y ipvsadm
[root@proxy2 ~]# ipvsadm -C
部署Keepalived实现LVS-DR模式调度器的高可用
1）LVS1调度器设置Keepalived，并启动服务（在192.168.4.5主机操作）
[root@proxy ~]# vim /etc/keepalived/keepalived.conf
global_defs {
router_id lvs1 #12行，设置路由ID号(实验需要修改)
vrrp_iptables #13行，清除防火墙的拦截规则（实验需要修改，手动添加）
}
vrrp_instance VI_1 {
state MASTER #21行，主服务器为MASTER
interface eth0 #22行，定义网络接口（不能照抄网卡名）
virtual_router_id 51 #23行，主辅VRID号必须一致
priority 100 #24行，服务器优先级
advert_int 1
authentication {
auth_type pass
auth_pass 1111
}
virtual_ipaddress { #30~32行，配置VIP（实验需要修改）
192.168.4.15/24
}
}
virtual_server 192.168.4.15 80 { #设置ipvsadm的VIP规则（实验需要修改）
delay_loop 6 #默认健康检查延迟6秒
lb_algo rr #设置LVS调度算法为RR
lb_kind DR #设置LVS的模式为DR（实验需要修改）
#persistence_timeout 50 #（实验需要删除）
#注意persistence_timeout的作用是保持连接
#开启后，客户端在一定时间内(50秒)始终访问相同服务器
protocol TCP #TCP协议
real_server 192.168.4.100 80 { #设置后端web服务器真实IP（实验需要修改）
weight 1 #设置权重为1
TCP_CHECK { #对后台real_server做健康检查（实验需要修改）
connect_timeout 3 #健康检查的超时时间3秒
nb_get_retry 3 #健康检查的重试次数3次
delay_before_retry 3 #健康检查的间隔时间3秒
}
}
real_server 192.168.4.200 80 { #设置后端web服务器真实IP（实验需要修改）
weight 2 #设置权重为2
TCP_CHECK { #对后台real_server做健康检查（实验需要修改）
connect_timeout 3 #健康检查的超时时间3秒
nb_get_retry 3 #健康检查的重试次数3次
delay_before_retry 3 #健康检查的间隔时间3秒
}
}
}
[root@proxy1 ~]# systemctl start keepalived
[root@proxy1 ~]# ipvsadm -Ln #查看LVS规则
[root@proxy1 ~]# ip a s #查看VIP配置
2）LVS2调度器设置Keepalived（在192.168.4.6主机操作）
[root@proxy2 ~]# vim /etc/keepalived/keepalived.conf
global_defs {
router_id lvs2 #12行，设置路由ID号（实验需要修改）
vrrp_iptables #13行，清除防火墙的拦截规则（实验需要修改，手动添加）
}
vrrp_instance VI_1 {
state BACKUP #21行，从服务器为BACKUP（实验需要修改）
interface eth0 #22行，定义网络接口（不能照抄网卡名）
virtual_router_id 51 #23行，主辅VRID号必须一致
priority 50 #24行，服务器优先级（实验需要修改）
advert_int 1
authentication {
auth_type pass
auth_pass 1111
}
virtual_ipaddress { #30~32行，设置VIP（实验需要修改）
192.168.4.15/24
}
}
virtual_server 192.168.4.15 80 { #自动设置LVS规则（实验需要修改）
delay_loop 6
lb_algo rr #设置LVS调度算法为RR
lb_kind DR #设置LVS的模式为DR（实验需要修改）
# persistence_timeout 50 #（实验需要删除该行）
#注意persistence_timeout的作用是保持连接
#开启后，客户端在一定时间内(50秒)始终访问相同服务器
protocol TCP #TCP协议
real_server 192.168.4.100 80 { #设置后端web服务器的真实IP（实验需要修改）
weight 1 #设置权重为1
TCP_CHECK { #对后台real_server做健康检查（实验需要修改）
connect_timeout 3 #健康检查的超时时间3秒
nb_get_retry 3 #健康检查的重试次数3次
delay_before_retry 3 #健康检查的间隔时间3秒
}
}
real_server 192.168.4.200 80 { #设置后端web服务器的真实IP（实验需要修改）
weight 1 #设置权重为1，权重可以根据需要修改
TCP_CHECK { #对后台real_server做健康检查（实验需要修改）
connect_timeout 3 #健康检查的超时时间3秒
nb_get_retry 3 #健康检查的重试次数3次
delay_before_retry 3 #健康检查的间隔时间3秒
}
}
[root@proxy2 ~]# systemctl start keepalived
[root@proxy2 ~]# ipvsadm -Ln #查看LVS规则
[root@proxy2 ~]# ip a s #查看VIP设置
客户端测试
客户端使用curl命令反复连接http://192.168.4.15，查看访问的页面是否会轮询到不同的后端真实服务器。
HAProxy服务器
HAProxy简介
它是免费、快速并且可靠的一种解决方案
适用于那些负载特大的web站点，这些站点通常又需要会话保持或七层处理
能提供高可用性、负载均衡以及基于TCP和HTTP应用的代理
衡量负责均衡器性能的因素
Session rate 会话率
每秒产生的会话数
Session concurrency 并发会话数
服务器处理会话的时间越长，并发会话数会越多
Date rete 数据速率
以MB/s或Mbpa衡量
HAProxy工作模式
mode http
客户端请求被深度分析后再发往服务器
mode tcp
4层调度，不检查第七层信息
mode health
仅做健康状态检查，已经不建议使用
环境准备
拓扑图
案例
实现效果：客户端访问HAProxy，HAProxy分发请求到后端Real Server
开启HAProxy监控页面，及时查看调度器状态
设置HAProxy为开机启动
为什么Haproxy的实验不需要开启路由，不需要给web服务器配置网关？
Hapoxy是代理服务器（帮你干活的人或物就是你的代理），通讯流程如所示。
网络准备
web1配置本地真实IP地址（不能照抄网卡名）
[root@web1 ~]# nmcli connection modify eth1 ipv4.method manual \
ipv4.addresses 192.168.2.100/24 connection.autoconnect yes
[root@web1 ~]# nmcli connection up eth1
Web2配置本地真实IP地址（不能照抄网卡名）
[root@web2 ~]# nmcli connection modify eth1 ipv4.method manual \
ipv4.addresses 192.168.2.200/24 connection.autoconnect yes
[root@web2 ~]# nmcli connection up eth1
proxy关闭keepalived服务，清理LVS规则，不能照抄网卡名。
[root@proxy ~]# systemctl stop keepalived
[root@proxy ~]# systemctl disable keepalived
[root@proxy ~]# ipvsadm -C
[root@proxy ~]# nmcli connection modify eth0 ipv4.method manual \
ipv4.addresses 192.168.4.5/24 connection.autoconnect yes
[root@proxy ~]# nmcli connection up eth0
[root@proxy ~]# nmcli connection modify eth1 ipv4.method manual \
ipv4.addresses 192.168.2.5/24 connection.autoconnect yes
[root@proxy ~]# nmcli connection up eth1
配置后端Web服务器
设置两台后端Web服务（如果已经配置完成，可忽略此步骤）
[root@web1 ~]# yum -y install httpd
[root@web1 ~]# systemctl start httpd
[root@web1 ~]# echo "192.168.2.100" > /var/www/html/index.html
[root@web2 ~]# yum -y install httpd
[root@web2 ~]# systemctl start httpd
[root@web2 ~]# echo "192.168.2.200" > /var/www/html/index.html
部署HAProxy服务器
1）配置网络，安装软件
[root@proxy ~]# yum -y install haproxy
2）修改配置文件
[root@proxy ~]# vim /etc/haproxy/haproxy.cfg
global
log 127.0.0.1 local2 ##[err warning info debug]
pidfile /var/run/haproxy.pid ##haproxy的pid存放路径
user haproxy
group haproxy
daemon ##以后台进程的方式启动服务
defaults
mode http ##默认的模式mode { tcp|http|health }
option dontlognull ##不记录健康检查的日志信息
option httpclose ##每次请求完毕后主动关闭http通道
option httplog ##日志类别http日志格式
option redispatch ##当某个服务器挂掉后强制定向到其他健康服务器
timeout client 300000 ##客户端连接超时，默认毫秒，也可以加时间单位
timeout server 300000 ##服务器连接超时
maxconn 3000 ##最大连接数
retries 3 ##3次连接失败就认为服务不可用，也可以通过后面设置
listen websrv-rewrite 0.0.0.0:80
balance roundrobin
server web1 192.168.2.100:80 check inter 2000 rise 2 fall 5
server web2 192.168.2.200:80 check inter 2000 rise 2 fall 5
#定义集群,listen后面的名称任意，端口为80
#balance指定调度算法为轮询（不能用简写的rr）
#server指定后端真实服务器，web1和web2的名称可以任意
#check代表健康检查，inter设定健康检查的时间间隔，rise定义成功次数，fall定义失败次数
listen stats *:1080 #监听端口
stats refresh 30s #统计页面自动刷新时间
stats uri /stats #统计页面url
stats realm Haproxy Manager #进入管理解面查看状态信息
stats auth admin:admin #统计页面用户名和密码设置
3）启动服务器并设置开机启动
[root@proxy ~]# systemctl restart haproxy
[root@proxy ~]# systemctl enable haproxy
客户端验证
客户端配置与HAProxy相同网络的IP地址，并使用火狐浏览器访问http://192.168.4.5，测试调度器是否正常工作，客户端访问http://192.168.4.5:1080/stats测试状态监控页面是否正常。访问状态监控页的内容，参考图所示。
备注：
Queue队列数据的信息（当前队列数量，最大值，队列限制数量）；
Session rate每秒会话率（当前值，最大值，限制数量）；
Sessions总会话量（当前值，最大值，总量，Lbtot: total number of times a server was selected选中一台服务器所用的总时间）；
Bytes（入站、出站流量）；
Denied（拒绝请求、拒绝回应）；
Errors（错误请求、错误连接、错误回应）；
Warnings（重新尝试警告retry、重新连接redispatches）；
Server(状态、最后检查的时间（多久前执行的最后一次检查）、权重、备份服务器数量、down机服务器数量、down机时长)。
集群调度软件对比
思维导图
扫一扫
244
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
