rsync数据备份
Remote Sync :简称rsync,是一种远程同步,高效的数据备份的工具。第一次备份完全备份,以后备份就是差异备份。
scp:secure copy 同样是用来进行远程复制的命令,但是每次备份数据都是完全备份
优点
可以镜像保存整个目录树和文件系统。
可以很容易做到保持原来文件的权限、时间、软硬链接等等。
无须特殊权限即可安装。
快速:第一次同步时 rsync 会复制全部内容,但在下一次只传输修改过的文件。
压缩传输:rsync 在传输数据的过程中可以实行压缩及解压缩操作,因此可以使用更少的带宽。
安全:可以使用scp、ssh等方式来传输文件,当然也可以通过直接的socket连接。
支持匿名传输,以方便进行网站镜象。
选择性保持:符号连接,硬链接,文件属性,权限,时间等
实验环境:
服务器:192.168.1.63
客户端:192.168.1.64
scp远程备份数据
备份文件
服务器:
[root@break html]# scp a.txt root@192.168.1.64:/tmp
root@192.168.1.64's password:
a.txt 100% 10 4.1KB/s 00:00
[root@break html]# cat a.txt
asdfasdfs
客户端
[root@break tmp]# ls -al a.txt
-rw-r--r--. 1 root root 10 4月 12 15:49 a.txt
[root@break tmp]# cat a.txt
asdfasdfs
备份目录
服务器:
[root@break ~]# mkdir test
[root@break ~]# cd test/
[root@break test]# cp /boot/* ./
cp: 略过目录"/boot/efi"
cp: 略过目录"/boot/grub"
cp: 略过目录"/boot/grub2"
[root@break test]# ls -al
总用量 119224
drwxr-xr-x. 2 root root 4096 4月 12 15:53 .
dr-xr-x---. 8 root root 4096 4月 12 15:53 ..
-rw-r--r--. 1 root root 147819 4月 12 15:53 config-3.10.0-862.el7.x86_64
-rw-------. 1 root root 74037211 4月 12 15:53 initramfs-0-rescue-6e270ed56f724f0fac3246c166cb190e.img
-rw-------. 1 root root 31714827 4月 12 15:53 initramfs-3.10.0-862.el7.x86_64.img
-rw-r--r--. 1 root root 304926 4月 12 15:53 symvers-3.10.0-862.el7.x86_64.gz
-rw-------. 1 root root 3409143 4月 12 15:53 System.map-3.10.0-862.el7.x86_64
-rwxr-xr-x. 1 root root 6224704 4月 12 15:53 vmlinuz-0-rescue-6e270ed56f724f0fac3246c166cb190e
-rwxr-xr-x. 1 root root 6224704 4月 12 15:53 vmlinuz-3.10.0-862.el7.x86_64
[root@break test]# cd
[root@break ~]# scp -r /root/test/ root@192.168.1.64:/tmp
root@192.168.1.64's password:
config-3.10.0-862.el7.x86_64 100% 144KB 19.8MB/s 00:00
initramfs-0-rescue-6e270ed56f724f0fac3246c166cb190e.img 100% 71MB 35.3MB/s 00:02
initramfs-3.10.0-862.el7.x86_64.img 100% 30MB 30.2MB/s 00:01
symvers-3.10.0-862.el7.x86_64.gz 100% 298KB 21.3MB/s 00:00
System.map-3.10.0-862.el7.x86_64 100% 3329KB 31.6MB/s 00:00
vmlinuz-0-rescue-6e270ed56f724f0fac3246c166cb190e 100% 6079KB 30.8MB/s 00:00
vmlinuz-3.10.0-862.el7.x86_64
客户端:
[root@break ~]# cd /tmp/
[root@break tmp]# ls -al
总用量 8
drwxrwxrwt. 9 root root 138 4月 12 15:54 .
dr-xr-xr-x. 17 root root 237 4月 11 22:41 ..
drwx------. 2 du du 20 4月 12 09:07 .esd-1000
drwxrwxrwt. 2 root root 6 11月 14 06:38 .font-unix
drwxrwxrwt. 2 root root 78 4月 12 09:07 .ICE-unix
drwxr-xr-x. 2 root root 4096 4月 12 15:54 test
drwxrwxrwt. 2 root root 6 11月 14 06:38 .Test-unix
-r--r--r--. 1 root root 11 4月 12 09:06 .X0-lock
drwxrwxrwt. 2 root root 16 4月 12 09:06 .X11-unix
drwxrwxrwt. 2 root root 6 11月 14 06:38 .XIM-unix
[root@break tmp]# cd test/
[root@break test]# ls -al
总用量 119220
drwxr-xr-x. 2 root root 4096 4月 12 15:54 .
drwxrwxrwt. 9 root root 138 4月 12 15:55 ..
-rw-r--r--. 1 root root 147819 4月 12 15:54 config-3.10.0-862.el7.x86_64
-rw-------. 1 root root 74037211 4月 12 15:54 initramfs-0-rescue-6e270ed56f724f0fac3246c166cb190e.img
-rw-------. 1 root root 31714827 4月 12 15:54 initramfs-3.10.0-862.el7.x86_64.img
-rw-r--r--. 1 root root 304926 4月 12 15:54 symvers-3.10.0-862.el7.x86_64.gz
-rw-------. 1 root root 3409143 4月 12 15:54 System.map-3.10.0-862.el7.x86_64
-rwxr-xr-x. 1 root root 6224704 4月 12 15:54 vmlinuz-0-rescue-6e270ed56f724f0fac3246c166cb190e
-rwxr-xr-x. 1 root root 6224704 4月 12 15:54 vmlinuz-3.10.0-862.el7.x86_64
[root@break test]#
rsync基本介绍
采用C/S模式,进行点对点的传输,端口号为873,想备份数据的是客户端,另外一个就是服务端。
它通过一个大的服务进行管理,这个服务是xinetd,所以我们使用的时候需要安装这个服务。
xinetd监控许多小服务,通过查看端口来启动对应的服务。例如:rsync使用873端口,当我们xinetd监听到873端口,它就会使用rsync来进行响应。
数据的同步方式有2种:推和拉。
推和拉是相对于服务端的,因为服务器也是主机,服务器发送数据的时候是往外推送数据,服务器接受别人的备份数据,这个时候可以看做是服务器在拉取别人的数据。推拉是相对的。它只看你在其中所起的作用。
rsync常见的5个命令参数:也是我们实验所需要进行的命令。
-a, --archive archive mode 权限保存模式,相当于 -rlptgoD 参数,存档,递归,保持属性等
-z, --compress 压缩模式, 当资料在传送到目的端进行档案压缩.
-v , --verbose 复杂的输出信息
--delete, 删除那些目标位置有的文件而备份源没有的文件
--password-file=FILE ,从 FILE 中得到密码
实战:从192.168.1.63上备份web服务器的数据到192.168.1.64上(采用root用户)
步骤,可能有点繁琐,我们会以序号来进行标记,因为我们在2台主机上进行操作,难免会进行切换,请注意
服务端:(3,5可以不设置,为了温习自己的知识和安全性考虑,可以以rput向远端的root发送备份信息)
1#安装xinetd和rsync
yum install -y xinetd rsync
3#建立测试的用户
[root@break ~]# useradd rput
[root@break ~]# echo rput:123456 | chpasswd
4#建立备份数据
[root@break ~]# cd /var/www/html/
[root@break html]# cp /boot/* ./
cp: 略过目录"/boot/efi"
cp: 略过目录"/boot/grub"
cp: 略过目录"/boot/grub2"
[root@break html]# ls
config-3.10.0-862.el7.x86_64 System.map-3.10.0-862.el7.x86_64
initramfs-0-rescue-6e270ed56f724f0fac3246c166cb190e.img vmlinuz-0-rescue-6e270ed56f724f0fac3246c166cb190e
initramfs-3.10.0-862.el7.x86_64.img vmlinuz-3.10.0-862.el7.x86_64
symvers-3.10.0-862.el7.x86_64.gz
7#进行文件的备份
[root@break ~]# rsync -avz --delete /var/www/html root@192.168.1.64:/root/rsync/
root@192.168.1.64's password:
sending incremental file list
html/
html/System.map-3.10.0-862.el7.x86_64
html/config-3.10.0-862.el7.x86_64
html/initramfs-0-rescue-6e270ed56f724f0fac3246c166cb190e.img
html/initramfs-3.10.0-862.el7.x86_64.img
html/symvers-3.10.0-862.el7.x86_64.gz
html/vmlinuz-0-rescue-6e270ed56f724f0fac3246c166cb190e
html/vmlinuz-3.10.0-862.el7.x86_64
sent 122,093,819 bytes received 153 bytes 22,198,904.00 bytes/sec
total size is 122,063,334 speedup is 1.00
客户端:
2#安装xinetd和rsync
yum install -y xinetd rsync
#6创建接受的目录为rsync
[root@break ~]# mkdir rsync
#8查看备份是否成功
[root@break ~]# cd rsync/
[root@break rsync]# ls -al
总用量 8
drwxr-xr-x. 3 rget rget 18 4月 12 16:50 .
dr-xr-x---. 7 root root 4096 4月 12 16:35 ..
drwxrwxr-x. 2 root root 4096 4月 12 16:27 html
[root@break rsync]# cd html/
[root@break html]# ls
config-3.10.0-862.el7.x86_64 System.map-3.10.0-862.el7.x86_64
initramfs-0-rescue-6e270ed56f724f0fac3246c166cb190e.img vmlinuz-0-rescue-6e270ed56f724f0fac3246c166cb190e
initramfs-3.10.0-862.el7.x86_64.img vmlinuz-3.10.0-862.el7.x86_64
symvers-3.10.0-862.el7.x86_64.gz
1安装
需要注意的地方:
1客户端的目录一定要写正确,写成绝对路径
2如果服务器发送的数据,指定接受端的用户一定要有权限访问要备份到的目录。实验建议用root
项目二:非系统用户备份数据
使用系统配置文件/etc/rsyncd.conf来备份数据,创建备份账户,最后把rsync以deamon方式运行
rsync.conf配置文件
全局参数:对rsync服务器生效,如果模块参数和全局参数冲突,冲突的地方模块参数生效
模块参数:定义需要通过rsync输出的目录定义的参数
全局参数
参数 | 说明 |
---|---|
port | 指定后台使用端口号,默认873 |
uid | 指定当该模块传输文件时守护进程应该具有的uid |
pid | 指定当该模块传输文件时守护进程应该具有的gid |
max connections | 该模块的最大并发连接数量以保护服务器,超过限制的连接请求将被告知随后再试 |
lock file | 指定支持max connections参数的锁文件,默认值是/var/run/rsyncd.lock。 |
motd file | 用来指定一个消息文件,当客户连接服务器时该文件的内容显示给客户 |
log file | 指定rsync的日志文件 |
pid file | 指定rsync的pid文件,通常指定为“/var/run/rsyncd.pid”,存放进程ID的文件位置 |
hosts allow | 允许访问的客户机地址 |
模块参数
模板参数 | 说明 |
---|---|
Comment | 描述模块信息 |
Path | 备份路径 |
read only | yes为只允许下载,no为可以下载和上传文件到服务器 |
auth users | 允许连接的用户 |
secrets file | 该文件的权限一定要是600 |
list | #是否允许查看模块信息 |
实战二开始
服务器:
4#实现备份
[root@break ~]# rsync -avz /var/www/html/ rget@192.168.1.64::wwwroot
welcome to backup server
Password:
sending incremental file list
./
System.map-3.10.0-862.el7.x86_64
config-3.10.0-862.el7.x86_64
initramfs-0-rescue-6e270ed56f724f0fac3246c166cb190e.img
initramfs-3.10.0-862.el7.x86_64.img
symvers-3.10.0-862.el7.x86_64.gz
vmlinuz-0-rescue-6e270ed56f724f0fac3246c166cb190e
vmlinuz-3.10.0-862.el7.x86_64
sent 122,093,798 bytes received 152 bytes 18,783,684.62 bytes/sec
total size is 122,063,334 speedup is 1.00
客户端:
#0创建用户,也就是客户端的接受者
[root@break ~]# useradd rget
#1创建配置文件,centos7有,但是centos6没有
vim /etc/rsyncd.conf
uid = root
pid = root
address = 192.168.1.64
port = 873
hosts allow = 192.168.1.0/24
use chroot = yes
max connections = 5
pid file = /var/run/rsyncd.pid
lock file = /var/run/rsync.lock
log file = /var/log/rsyncd.log
motd file = /etc/rsyncd.motd
[wwwroot]
path = /root/rsync/
comment = userd for web-data root
read only = false
list = yes
auth users = rget
secrets file = /etc/rsync.passwd
#2创建说明文件和用户密码
[root@break ~]# vim /etc/rsyncd.motd
welcome to backup server
[root@break ~]# vim /etc/rsync.passwd
rget:password123
#3启动服务
[root@break ~]# rsync --daemon --config=/etc/rsyncd.conf
[root@break ~]# ps -aux | grep rsync
root 4864 0.0 0.0 114740 572 ? Ss 15:11 0:00 rsync --daemon --config=/etc/rsyncd.conf
root 8893 0.0 0.0 112720 984 pts/3 S+ 17:28 0:00 grep --color=auto rsync
#4验证备份文件
[root@break ~]# cd rsync/
[root@break rsync]# ll
总用量 119216
-rw-rwxr--. 1 root root 147819 4月 12 16:26 config-3.10.0-862.el7.x86_64
-rw-rwx---. 1 root root 74037211 4月 12 16:27 initramfs-0-rescue-6e270ed56f724f0fac3246c166cb190e.img
-rw-rwx---. 1 root root 31714827 4月 12 16:27 initramfs-3.10.0-862.el7.x86_64.img
-rw-rwxr--. 1 root root 304926 4月 12 16:27 symvers-3.10.0-862.el7.x86_64.gz
-rw-rwx---. 1 root root 3409143 4月 12 16:27 System.map-3.10.0-862.el7.x86_64
-rwxrwxr-x. 1 root root 6224704 4月 12 16:27 vmlinuz-0-rescue-6e270ed56f724f0fac3246c166cb190e
-rwxrwxr-x. 1 root root 6224704 4月 12 16:27 vmlinuz-3.10.0-862.el7.x86_64
写入的内容如下:
客户端的备份文件
服务器端的文件的发送
创建rput和rget的目的
rput,在服务器配置的用户,主要是用来进行安全的传输,因为在我们的线上,我们使用的用户不可能是root,所以创建一个rget进行发送备份文件。
rget:在客户端配置的用户,主要是用来进行模拟在非root的用户下,想要进行文件的备份该如何进行,我们设置了密码文件,模块参数以及提示信息等等。若服务器发送的数据使用模块,则不指定模块内的用户,即便是root也不能进行传输。
创建密码文件的目的
服务器端创建密码文件是为了免交互进行数据的备份传输。
客户端创建密码文件是为了实现模板文件,声明允许接受的用户和密码
在服务器端,我们可能需要写一些脚本来进行自动定时备份,所以我们要使用免交互的方式进行文件的备份。
[root@break ~]# touch passwd
[root@break ~]# echo password123 > passwd
[root@break ~]# chmod 600 passwd
[root@break ~]# rsync -avx /var/www/html/ rget@192.168.1.64::wwwroot --password-file=passwd
welcome to backup server
sending incremental file list
sent 392 bytes received 12 bytes 808.00 bytes/sec
total size is 122,063,334 speedup is 302,136.97
使用脚本文件备份
脚本内容
#!/bin/bash
rsync -avz --delete /var/www/html/ rget@193.168.1.64::wwwroot --password-file=/root/passwd
服务器端:sh a.sh
客户端:查看rsync目录的内容:前后对比,我自己在备份前增加了几个txt文件
写入以下内容,做成自动定时备份
[root@break ~]# echo "0 12 * * * sh /root/a.sh &" >> /var/spool/cron/root