CentOS下LVS DR模式详细搭建过程

1、LVS环境组网 由于是使用的VM环境,自己PC当作客户机(即公网地址),调度器与服务器都是VM中虚拟机,所以客户和所有服务器之间都是物理直接相连网络,逻辑拓扑图如下: 2、ipvsadm安装前准备 外部IP地址 内部IP地址 角色 10.211.55.16/24 192.168.1.3/24 LV

1、LVS环境组网

由于是使用的VM环境,自己PC当作客户机(即公网地址),调度器与服务器都是VM中虚拟机,所以客户和所有服务器之间都是物理直接相连网络,逻辑拓扑图如下:

2、ipvsadm安装前准备

外部IP地址 内部IP地址 角色

10.211.55.16/24 192.168.1.3/24 LVS调度器(虚拟机)

10.211.55.15/24 192.168.1.4/24 RS1(虚拟机)

10.211.55.14/24 192.168.1.5/24 RS2(虚拟机)

10.211.55.19/24 无 客户机(自己电脑)

注:实际应用中RS1 RS2没有外部地址,当前环境中,没有物理双网卡环境,都采用一个网卡配置多个IP地址。 例:

[root@LVS1~]#cp/etc/sysconfig/network-scripts/ifcfg-eth0/etc/sysconfig/network-scripts/ifcfg-eth0:0
[root@LVS1~]#vi/etc/sysconfig/network-scripts/ifcfg-eth0:0#修改后保存退出
DEVICE=eth0:0
ONBOOT=yes
BOOTPROTO=static
IPADDR=192.168.1.3
NETMASK=255.255.255.0
[root@LVS1~]#/etc/init.d/networkrestart

3、httpd与ipvsadm下载

1)在各服务器上关闭防火墙和修改主机名:

[root@LVS1~]#serviceiptablesstop
[root@LVS1~]#hostnameLVS1
[root@RS1~]#serviceiptablesstop
[root@RS1~]#hostnameRS1
[root@RS2~]#serviceiptablesstop
[root@RS2~]#hostnameRS2

2)在RS1 RS2上安装httpd服务

[root@RS2~]#yuminstallhttpd–y
[root@RS2~]#/etc/init.d/httpdstart
[root@RS2~#ps-ef|grephttpd

[root@RS1~]#yuminstallhttpd–y
[root@RS1~]#/etc/init.d/httpdstart
[root@RS1~#ps-ef|grephttpd<==查看httpd服务是否起来


[root@RS1~]#cat/etc/httpd/conf/httpd.conf|grepDocumentRoot<==查找系统站点目录路径
#DocumentRoot:Thedirectoryoutofwhichyouwillserveyour
DocumentRoot"/var/www/html"
#ThisshouldbechangedtowhateveryousetDocumentRootto.
#DocumentRoot/www/docs/dummy-host.example.com

[root@RS1~]#echo"RS1">/var/www/html/index.html
[root@RS2src]#echo"RS2">/var/www/html/index.html

Httpd服务测试:

3)下载ipvsadm

wgethttp://www.linuxvirtualserver.org/software/kernel-2.6/ipvsadm-1.24.tar.gz

ln 我所使用的源包下载目录/usr/local/src

我的LVS环境:

[root@LVS1~]#yum-yinstallkernel-develgccc++
[root@RS1src]#cat/etc/redhat-release
CentOSrelease5.8(Final)
[root@RS1src]#uname-rm
2.6.18-308.el5x86_64

ipvsadm-1.26对内核有要求,要求内核版本在2.6.28及以后的版本,如果符合了系统环境,还要安装依赖包yum install libnlpopt-y。 我的内核版本不满足,使用ipvsadm-1.24。

[root@LVS1src]#tar-zxfipvsadm-1.24.tar.gz
[root@LVS1src]#ln-s/usr/src/kernels/2.6.18-348.12.1.el5-x86_64/usr/src/linux<==编译有使用的路径为/usr/src/linux,可在Makefile中查看,如果不做链接,会编译失败
[root@LVS1src]#ll/usr/src/
total16
drwxr-xr-x2rootroot4096May112011debug
drwxr-xr-x3rootroot4096Aug503:53kernels
lrwxrwxrwx1rootroot43Aug503:56linux->/usr/src/kernels/2.6.18-348.12.1.el5-x86_64<==要使用ll/usr/src/查看,如果软链接一闪一闪的,代表链接失败

[root@LVS1src]#cdipvsadm-1.24
[root@LVS1ipvsadm-1.24]#make&&makeinstall<==如果编译失败,请按上面步骤一步一步排错。
[root@LVS1ipvsadm-1.24]#lsmod|grepip_vs<==查看内核模块是否有ipvsadm
[root@LVS1ipvsadm-1.24]#ipvsadm
IPVirtualServerversion1.2.1(size=4096)
ProtLocalAddress:PortSchedulerFlags
->RemoteAddress:PortForwardWeightActiveConnInActConn

还有一种加载ipvsadm方法,用modprobe ip_vs

[root@LVS1 ipvsadm-1.24]# lsmod |grep ip_vs <==查看内核模块,有代表ipvsadm加载进内核当中,此时LVS安装完毕
ip_vs 122113 0

4、LVS负载均衡配置

1)配置VIP和DIP

IP配置参考步骤2安装准备

[root@LVS1~]#ifconfigeth010.211.55.16netmask255.255.255.0#VIP
[root@LVS1~]#ifconfigeth0:1192.168.1.3netmask255.255.255.0#DIP

2)添加真实服务器

[root@LVS1~]#ipvsadm&ndash;C<==手工清空原来表内容
[root@LVS1~]#ipvsadm--set30560<==设置连接超时值
[root@LVS1~]#ipvsadm-A-t10.211.55.16:80-swrr-p20<==-A添加地址,-t指定VIPTCP端口,-s指定调度算法p会话保持时间
[root@LVS1~]#ipvsadm-L-n<==查看表内容,添加了一组VIP地址和端口
IPVirtualServerversion1.2.1(size=4096)
ProtLocalAddress:PortSchedulerFlags
->RemoteAddress:PortForwardWeightActiveConnInActConn
TCP10.211.55.16:80wrrpersistent20
[root@LVS1~]#ipvsadm-a-t10.211.55.16:80-r192.168.1.4:80-g-w1<==-a指定真实服务器,-tlvs上VIP,-r真实服务器ip及端口,-w权重值,-g先择DR模式(-m为NAT模式)
[root@LVS1~]#ipvsadm-a-t10.211.55.16:80-r192.168.1.5:80-g-w1
[root@LVS1~]#ipvsadm-L-n<==查看表内容,添加了两台负载转发的真实服务器
IPVirtualServerversion1.2.1(size=4096)
ProtLocalAddress:PortSchedulerFlags
->RemoteAddress:PortForwardWeightActiveConnInActConn
TCP10.211.55.16:80wrrpersistent20
->192.168.1.4:80Route100
->192.168.1.5:80Route100

如果添加服务器地址写错了,可用如下命令删除,即大A添加改为大D删除,小a添加改为小d删除

ipvsadm&ndash;D&ndash;t10.211.55.16:80&ndash;swrr
ipvsadm&ndash;d&ndash;t10.211.55.16:80&ndash;r192.168.1.4:80

5、真实WEB服务器配置及arp抑制

[root@RS1~]#ifconfigeth0|grep"inetaddr"<==此地址用来自己电脑用CRT软件登陆设备,同时也用来发送arp请求客户机MAC(因为是直接返回页面给客户机,而当前网络是同一物理网段,必须同网段才正常)。
inetaddr:10.211.55.15Bcast:10.211.55.255Mask:255.255.255.0
[root@RS1~]#ifconfigeth0:0192.168.1.4netmask255.255.255.0<==配置内部IP地址
[root@RS1~]#ifconfiglo10.211.55.16netmask255.255.255.255<==每台真实服务器都需要配置VIP

为什么要绑定VIP呢?因为DR模式原理是LVS调度器修改mac地址为真实服务器地址,报文的目的IP还是VIP没修改,,网卡只会把目的MAC和目的IP都是自己的报文上送CPU,所以真实服务器上必须配置VIP! 为什么使用lo口呢?因为lo口为本地环回口,防止本地局域网IP地址冲突!

[root@RS2src]#ifconfieth0|grep"inetaddr"<==此地址用来自己电脑用CRT软件登陆设备,同时也用来发送arp请求客户机MAC(因为是直接返回页面给客户机,而当前网络是同一物理网段,必须同网段才正常)。
inetaddr:10.211.55.14Bcast:10.211.55.255Mask:255.255.255.0
[root@RS2src]#ifconfigeth0:0192.168.1.5netmask255.255.255.0<==配置内部IP地址
[root@RS2src]#ifconfiglo10.211.55.16netmask255.255.255.255

此时配置完成,只是测试时出现一个问题,再次登陆CRT中 10.211.55.16地址时,登陆到RS1上去了,再刷新,登陆到RS2上去了。怎么解决呢? 通过分析,得出,访问10.211.55.16时,会发送arp请求10.211.55.16的mac,而这个网络中有3个10.211.55.16地址,此时,那谁给的arp回应到客户机,访问的就是谁了。如果RS1的arp回应先到,就访问的RS1了 解决方法: 抑制ARP响应 该抑制只在真实服务器上配置

[root@RS1~]#echo"1">/proc/sys/net/ipv4/conf/lo/arp_ignore
[root@RS1~]#echo"2">/proc/sys/net/ipv4/conf/lo/arp_announce
[root@RS1~]#echo"1">/proc/sys/net/ipv4/conf/all/arp_ignore
[root@RS1~]#echo"2">/proc/sys/net/ipv4/conf/all/arp_announce

[root@RS2src]#echo"1">/proc/sys/net/ipv4/conf/lo/arp_ignore
[root@RS2src]#echo"2">/proc/sys/net/ipv4/conf/lo/arp_announce
[root@RS2src]#echo"1">/proc/sys/net/ipv4/conf/all/arp_ignore
[root@RS2src]#echo"2">/proc/sys/net/ipv4/conf/all/arp_announce

1 2都代表什么内容,可在最后附录中查看,也可自己网上搜索

显示的值是RS1,则此时该链接是分配到192.168.1.4上

我们使用的是wrr调度算法,该算法中,谁的权重值高,会优先分配给谁 查看配置,发现权重值一样

[root@LVS1~]#ipvsadm-L-n
IPVirtualServerversion1.2.1(size=4096)
ProtLocalAddress:PortSchedulerFlags
->RemoteAddress:PortForwardWeightActiveConnInActConn
TCP10.211.55.16:80wrrpersistent20
->192.168.1.4:80Route100
->192.168.1.5:80Route100

由于有会话保持功能,接下来修改权重值

[root@LVS1~]#ipvsadm-d-t10.211.55.16:80-r192.168.1.5:80<==删除原来配置
[root@LVS1~]#ipvsadm-a-t10.211.55.16:80-r192.168.1.5:80-g-w2<==重新配置权重值为2
[root@LVS1~]#ipvsadm-L-n
IPVirtualServerversion1.2.1(size=4096)
ProtLocalAddress:PortSchedulerFlags
->RemoteAddress:PortForwardWeightActiveConnInActConn
TCP10.0.0.30:80wrrpersistent20
->192.168.1.5:80Route200
->192.168.1.4:80Route100

再次进行测试:

7、附:arp抑制参数

arp响应限制

1)arp_ignore:

定义对目标地址为本地IP的ARP询问不同的应答模式0 0 – (默认值): 回应任何网络接口上对任何本地IP地址的arp查询请求 1 – 只回答目标IP地址是来访网络接口本地地址的ARP查询请求 2 -只回答目标IP地址是来访网络接口本地地址的ARP查询请求,且来访IP必须在该网络接口的子网段内 3 – 不回应该网络界面的arp请求,而只对设置的唯一和连接地址做出回应 4-7 – 保留未使用 8 -不回应所有(本地地址)的arp查询

2)arp_announce:

对网络接口上,本地IP地址的发出的,ARP回应,作出相应级别的限制: 确定不同程度的限制,宣布对来自本地源IP地址发出Arp请求的接口 0 – (默认) 在任意网络接口(eth0,eth1,lo)上的任何本地地址 1 -尽量避免不在该网络接口子网段的本地地址做出arp回应. 当发起ARP请求的源IP地址是被设置应该经由路由达到此网络接口的时候很有用.此时会检查来访IP是否为所有接口上的子网段内ip之一.如果改来访IP不属于各个网络接口上的子网段内,那么将采用级别2的方式来进行处理. 2 – 对查询目标使用最适当的本地地址.在此模式下将忽略这个IP数据包的源地址并尝试选择与能与该地址通信的本地地址.首要是选择所有的网络接口的子网中外出访问子网中包含该目标IP地址的本地地址. 如果没有合适的地址被发现,将选择当前的发送网络接口或其他的有可能接受到该ARP回应的网络接口来进行发送.

作者: dawei

【声明】:永州站长网内容转载自互联网,其相关言论仅代表作者个人观点绝非权威,不代表本站立场。如您发现内容存在版权问题,请提交相关链接至邮箱:bqsm@foxmail.com,我们将及时予以处理。

为您推荐

联系我们

联系我们

0577-28828765

在线咨询: QQ交谈

邮箱: xwei067@foxmail.com

工作时间:周一至周五,9:00-17:30,节假日休息

返回顶部