Linux命令 rsync
Linux 文件目录远程复制 跳过存在文件 Rsync
-u 跳过复制目标已有的文件
rsync 主要定义符及含义
# %h远程主机名
# %a远程IP地址
# %l文件长度字符数
# %p该次rsync会话的进程id
# %o操作类型："send"或"recv"
# %f文件名
# %P模块路径
# %m模块名
# %t当前时间
# %u认证的用户名(匿名时是null)
# %b实际传输的字节数
# %c当发送文件时，该字段记录该文件的校验码
#默认log格式为："%o %h [%a] %m (%u) %f %l"，一般来说,在每行的头上会添加"%t [%p] "。
log format=%o %h [%a] %m (%u) %f %l
rsync 备份备忘 — » Kumu's Blog
ssh root@keyicloud.comrsync -avzH /var/www qubuluo.com:/keyi/
rsync -avzH /var/www/www-data/yiming/ yimengapp.com:/var/www/yimeng/www-data/
rsync -avzH /var/www/mysql/yiming/ yimengapp.com:/var/www/yimeng/mysql/
rsync -e "ssh -p 222" -avzH . root@yimengapp.com:nginx 复制本地文件夹到服务器rsync -e "ssh -p 222" -avzH git.yimengapp.com:docker/ ~/docker/ 复制服务器文件夹到本地
rsync "-e ssh -p3009" -avzH /usr/local/tomcat8/webapps/websitems-hadoop/ root@114.215.45.96:/docker/tomcat/webapps/websitems/
允许修改权限
--super --perms --chmod=0777
允许修改所有者 默认修改为本地执行者身份
--owner --group --chown=www-data:www-data
rsync --perms --chmod=0755 --owner --group --chown=www-data:www-data -e "ssh -p 3009" --rsync-path="sudo rsync" echo.sh root@d1:
rsync --owner --group --chown=www-data:www-data -e "ssh -p 3009" --rsync-path="sudo rsync" echo.sh root@d1:
rsync --owner --group --chown=nginx:nginx --delete -rz echo.sh root@d1:
rsync 自动创建目录 -R
ssh user@host mkdir -p dirname $path && rsync ...
转移临沂政府评估 hadoop项目
rsync "-e ssh -p3009" -avzH --exclude 404html/ --exclude ueditor/ --exclude blanktable/ /usr/local/tomcat8/webapps/websitems-hadoop root@118.190.117.111:/docker/tomcat/webapps/websitems-hadoop/
rsync "-e ssh -p3009" -avzH /usr/local/tomcat8/webapps/websitems-hadoop/ root@114.215.45.111:/docker/tomcat/webapps/websitems/
vi etc/lsyncd.conf
启动 lsyncd lsyncd.conf
# lsyncd -nodaemon lsyncd.conf
settings {
-- logfile ="/var/lsyncd.log",
-- statusFile ="/var/lsyncd.status",
inotifyMode = "CloseWrite",
maxProcesses = 8,
}
sync {
default.rsyncssh,
source = "/home/ubuntu/go/src/github.com/VirrageS/chirp/backend",
host = "root@demo.linyibr.com",
targetdir = "docker/linyibr/bianban/master",
exclude = { 'vendor/','*/' , '*file',"*.go", 'lsyncd*', "*config.yaml" ,'api.1.yaml'},
-- excludeFrom = "/etc/rsyncd.d/rsync_exclude.lst",
-- maxDelays = 5,
delay = 0,
-- init = false,
delete = false,
rsync = {
binary = "/usr/bin/rsync",
archive = true,
compress = true,
verbose = true,
_extra = {"--bwlimit=2000"},
},
ssh = {
port = 222
}
}
远程服务器创建目录 Forcing Rsync to Create a Remote Path Using –rsync-path
If you have more than the last leaf directory to be created, you can either run a separate ssh ... mkdir -p first, or use the --rsync-path trick as explained here :
rsync -a --rsync-path="mkdir -p /tmp/x/y/z/ && rsync" $source user@remote:/tmp/x/y/z/
Or use the --relative option as suggested by Tony. In that case, you only specify the root of the destination, which must exist, and not the directory structure of the source, which will be created:
rsync -a --relative /new/x/y/z/ user@remote:/pre_existing/dir/
This way, you will end up with /pre_existing/dir/new/x/y/z/
一.rsync简介
rsync参数的具体解释如下：
-h, --help 显示帮助信息
-v, --verbose 显示同步过程详细信息
-P，--partial --progress 断点续传
-e, --rsh=COMMAND 指定使用rsh、ssh方式进行数据同步
-n, --dry-run 显示哪些文件将被传输，只测试输出而不正真执行命令，推荐使用，特别防止 --delete 误删除！
-a, --archive 归档模式，表示以递归方式传输文件，并保留所有文件属性，等于-rlptgoD
-r, --recursive 对子目录以递归模式处理
-l, --links 保留软链结
-p, --perms 保留文件权限
-t, --times 保留文件时间信息
-o, --owner 保留文件属主信息
-g, --group 保留文件属组信息
-D, --devices 保留设备文件信息
-H, --hard-links 保留硬链结
-q, --quiet 精简输出模式
-c, --checksum 打开校验开关，强制对文件传输进行校验
-R, --relative 使用相对路径信息
-b, --backup 创建备份，也就是对于目标已经存在同名文件时，将原先的文件重新命名为~filename。可以使用--suffix选项来指定不同的备份文件前缀。
-u, --update 仅仅进行更新，也就是跳过所有已经存在于DST，并且文件时间晚于要备份的文件。(不覆盖更新的文件)
-L, --copy-links 像对待常规文件一样处理软链结
-S, --sparse handle sparse files efficiently 对稀疏文件进行特殊处理以节省 DST 的空间
-W, --whole-file 强制重传,不管有没有改变，再次把所有文件都传输一遍
-x, --one-file-system 不要跨越文件系统边界
-B, --block-size=SIZE 检验算法使用的块尺寸，默认是700字节
-C, --cvs-exclude 使用和CVS一样的方法自动忽略文件，用来排除那些不希望传输的文件
-I, --ignore-times 不跳过那些有同样的时间和长度的文件
-T --temp-dir=DIR 在DIR中创建临时文件
-z,--compress 对备份的文件在传输时进行压缩处理
--existing 只同步已经存在的文件，不创建新文件
--delete 删除那些DST中有而SRC没有的文件，即删除目标端中多余的文件；
--include=PATTERN 指定需要传输的文件模式 ` --include '*.conf' `
--exclude=PATTERN 指定不需要传输的文件模式 ` --exclude '*' `
--delete-excluded：专门指定一些要在目的端删除的文件。应该是说加了这个选项，不管有没有指定 excluded 也是会被删除。
--backup-dir 将备份文件(如~filename)存放在在目录下。
--suffix=SUFFIX 定义备份文件前缀
--copy-unsafe-links 仅仅拷贝指向SRC路径目录树以外的链结
--safe-links 忽略指向SRC路径目录树以外的链结
--rsync-path=PATH 指定远程服务器上的rsync命令所在路径信息
--existing 仅仅更新那些已经存在于DST的文件，而不备份那些新创建的文件
--delete-excluded 同样删除接收端那些被该选项指定排除的文件
--delete-after 传输结束以后再删除
--ignore-errors 及时出现IO错误也进行删除
--max-delete=NUM 最多删除NUM个文件
--partial 保留那些因故没有完全传输的文件，以是加快随后的再次传输
--force 强制删除目录，即使不为空
--numeric-ids 不将数字的用户和组ID匹配为用户名和组名
--timeout=TIME IP超时时间，单位为秒
--size-only 当决定是否要备份文件时，仅仅察看文件大小而不考虑文件时间
--modify-window=NUM 决定文件是否时间相同时使用的时间戳窗口，默认为0
--compare-dest=DIR 同样比较DIR中的文件来决定是否需要备份
--progress 显示传输过程
--exclude-from=FILE 排除FILE中指定模式的文件
--include-from=FILE 不排除FILE指定模式匹配的文件
--version 打印版本信息
--address 绑定到特定的地址
--config=FILE 指定其他的配置文件，不使用默认的rsyncd.conf文件
--port=PORT 指定其他的rsync服务端口
--blocking-io 对远程shell使用阻塞IO
--stats 给出某些文件的传输状态
--progress 在传输时现实传输过程
--log-format=formAT 指定日志文件格式
--password-file=FILE 从FILE中得到密码
--bwlimit=KBPS 限制I/O带宽，KBytes per second
Rsync（remote synchronize）是一个远程数据同步工具，可通过LAN/WAN快速同步多台主机间的文件，也可以使用 Rsync 同步本地硬盘中的不同目录。 在使用 rsync 进行远程同步时，可以使用两种方式：远程 Shell 方式（建议使用 ssh，用户验证由 ssh 负责）和 C/S 方式（即客户连接远程 rsync 服务器，用户验证由 rsync 服务器负责）。rsync 被称为是一个文件同步的快速方法，主要是因为其在同步文件时会检查文件之间是否有差异，它只同步存在差异或者不存在的文件，但是首次同步时速度依然很慢。
rsync有许多选项：
-n: 在不确定命令是否能按意愿执行时，务必要事先测试；-n可以完成此功能；
-a: --archives，归档模式，表示以递归方式传输文件，并保持所有文件属性，等于 -rlptgoD
-r: --recursive，递归复制；
-l: --links 保留文件的符号链接
-p: --perms 保留文件的权限
-t: --times 保留文件的时间戳
-g: --group 保留文件的属组
-o: --owner 保留文件的属主
-D： --devices 保留设备文件
-v: --verbose，详细输出模式
-z: --compress，对文件压缩后传输
-e ssh: 表示使用ssh协议作承载
-H, --hard-links 保留硬链结;
-P: --partial --progress 断点续传
-W: 强制重传,不管有没有改变，再次把所有文件都传输一遍
-q: --quiet，静默模式
-c: --checksum，开启校验功能，强制对文件传输进行校验
-S, --sparse 对稀疏文件进行特殊处理以节省DST的 空间;
--progress：显示进度条
--stats: 显示如何执行压缩和传输 ，可以显示有多少文件需要同步，需要传输的具体容量
--existing 只同步已经存在的文件，不创建新文件
默认的情况下，当rsync传输中断后，新的rsync传输将删除所有的未完成的残余文件片段，然后开始新的传输。而使用--partial后，将会进行我们所说的断点续传。
值得注意的是-P这个参数是综合了--partial --progress两个参数，所以rsync的断点续传可以
带你走进rsync的世界带你走进rsync的世界
使用 rsync 同步的时候，可否指定 ssh 的端口号？
在 ~/.ssh/config 里面指定该Host的端口
Host remotehost
Port 2345
rsync + ssh 使用不同 port 執行
rsync + ssh 使用不同 port 的話, 需要加上 -e "ssh -p port_number", ex: 假設遠端的 ssh 機器是用 1234 port, 指令會如下述:
rsync -e "ssh -p 1234" -avz --bwlimit=3000 REMOTE_HOST:data_path .
另一種使用 --rsh='ssh -pPORT_NUMBER', 如下述範例:
rsync --rsh='ssh -p1234' -avz --bwlimit=3000 REMOTE_HOST:data_path .
另外一個是透過 .ssh/config, 做 ssh 遠端機器的相關設定, 如下述範例:
vim .ssh/config
Host REMOTE_HOST # 這個可以寫簡寫, 但是下面 rsync 的REMOTE_HOST 需與此一致.
HostName REMOTE_HOST
User YOUR_USERNAME
Port 1234
IdentityFile /home/YOUR_USERNAME/.ssh/id_rsa # 如果有在寫, 沒有這行可跳過不寫
rsync -avz --bwlimit=3000 REMOTE_HOST:data_path . # 這邊就可以直接 rsync 即可.
rsync -av keyicloud.com:/var/www/www-data/yimeng /home/feiyu/
二，rsync使用方法
rsync可以在此处下载 http://rsync.samba.org/ ，CentOS系统上rsync默认是安装的。
rsync有 六种 不同的工作模式： 单个":" ssh 模式； 两个"::" rsyncd 服务模式
- 拷贝本地文件
当SRC和DES路径信息都不包含有单个冒号”:”分隔符时就启动这种工作模式。
[root@localhost ~]# rsync -avSH /home/feiyu/ /bak/
2.将本地机器的内容拷贝到远程机器
使用一个远程shell程序（如rsh、ssh）来实现将本地机器的内容拷贝到远程机器。当DST路径地址包含单个冒号”:”分隔符时启动该模式。
[root@localhost ~]# rsync -av /home/feiyu/ 192.168.0.24:/home/feiyu/
3.将远程机器的内容拷贝到本地机器
使用一个远程shell程序（如rsh、ssh）来实现将远程机器的内容拷贝到本地机器。当SRC地址路径包含单个冒号”:”分隔符时启动该模式。
[root@localhost ~]# rsync -av 192.168.0.24:/home/feiyu/ /home/feiyu/
注意：rsync命令使用中，如果源参数的末尾有斜线，就会复制指定目录的内容，而不复制目录本身；没有斜线，则会复制目录本身；
目标参数末尾的斜线没有作用；因此下面的命令
[root@localhost ~]# rsync -r /mydata/data /backups/ : 会把目录data直接同步至/backups目录中
[root@localhost ~]# rsync -r /mydata/data/ /backups/: 会把目录data/中的内容的同步至/backups目录中
配置一个简单的rsync服务并不复杂，但是我们安装好rsync后，并没有发现配置文件，所以你需要手动建立一些配置文件。rsync可以经由xinetd启动daemon，或者作为一个独立进程启动daemon。如果把它作为一个独立进程来启动，只需要运行命令：rsync –daemon即可；但是我们一般将其作为超级守护进程使用。下面是安装步骤：
1.安装并启动xinetd
[root@localhost ~]# yum -y install xinetd
[root@localhost ~]# ls /etc/xinetd.d/ #rsync的xinetd配置文件已经存在
chargen-dgram daytime-dgram discard-dgram echo-dgram rsync time-dgram
chargen-stream daytime-stream discard-stream echo-stream tcpmux-server time-stream
- 为rsync服务提供配置文件
配置文件为/etc/rsyncd.conf，获取帮助的方式：man rsyncd.conf。配置文件需要定义一个全局配置和多个rsync共享配置。
[root@localhost ~]# cat /etc/rsyncd.conf
Global Settings
port = 873 端口号默认为873，可以不指定
uid = nobody //指定当模块传输文件的守护进程UID
gid = nobody //指定当模块传输文件的守护进程GID
use chroot = no //使用chroot到文件系统中的目录中
max connections = 5 //最大并发连接数
strict modes = yes #严格检查文件权限
pid file = /var/run/rsyncd.pid //指定PID文件
lock file = /usr/local/rsyncd/rsyncd.lock //指定支持max connection的锁文件，默认为/var/run/rsyncd.lock
log file = /var/log/rsyncd.log //rsync 服务器的日志
Directory to be synced
[mydata] //自定义模块
path = /mydata/data //用来指定要备份的目录
ignore errors = yes //可以忽略一些IO错误
read only = no //设置no，客户端可以上传文件，yes是只读
write only = no //no为客户端可以下载，yes 不能下载
hosts allow = 192.168.0.0/16 //可以连接的IP
hosts deny = * //禁止连接的IP
list = false //客户请求时，使用模块列表
uid = root
gid = root
auth users = myuser //连接用户名，和linux系统用户名无关系
secrets file = /etc/rsyncd.passwd //验证密码文件
说明（deny | allow 规则）：
1、二者都不出现时，默认为允许访问；
2、只出现hosts allow: 定义白名单；但没有被匹配到的主机由默认规则处理，即为允许；
3、只出现hosts deny： 定义黑名单；出现在名单中的都被拒绝；
4、二者同时出现：先检查hosts allow，如果匹配就allow，否则，检查hosts deny，如果匹配则拒绝；如二者均无匹配，则由默认规则处理，即为允许；
3.创建密码文件
文件格式(明文)： username : password
[root@localhost ~]# echo "myuser:mypass" > /etc/rsyncd.passwd
[root@localhost ~]# chmod 600 /etc/rsyncd.passwd #权限必须为600
4.启动服务
[root@localhost ~]# service xinetd start
5.使用方法 ( 后三种模式 )
a. 从远程rsync服务器中拷贝文件到本地机。当SRC路径信息包含”::”分隔符时启动该模式。
[root@localhost ~]# rsync -av myuser@192.168.0.23::mydata /tmp/ #myuser为rsync服务器的一个用户
b. 从本地机器拷贝文件到远程rsync服务器中。当DST路径信息包含”::”分隔符时启动该模式。
[root@localhost ~]# rsync -av install.log.syslog myuser@192.168.0.23::mydata
c. 列远程机的文件列表。这类似于rsync传输，不过只要在命令中省略掉本地机信息即可。
[root@localhost ~]# rsync -av myuser@192.168.0.23::mydata
yum install rsync
创建rsyncd服务的配置文件
默认安装后，在/etc目录下，并不存在rsyncd目录，需要手动创建配置文件目录
makdir /etc/rsyncd
在/etc/rsyncd目录下创建如下文件
touch /etc/rsyncd/rsyncd.conf #主配置文件
touch /etc/rsyncd/rsyncd.secrets #用户名密码文件，一组用户一行，用户名和密码使用 : 分割
touch /etc/rsyncd/rsyncd.motd #非必须，连接上rsyncd显示的欢迎信息，此文件可不创建
必须注意的是，rsyncd服务的密码文件权限必须是600
chmod 0600 /etc/rsyncd/rsyncd.secrets
编辑主配置文件 rsyncd.conf
######################################################################################################
# ******进程相关全局配置******
######################################################################################################
# = 后面的值可根据自己的实际情况更改
# pid file 守护进程pid文件
# port 守护进程监听端口，可更改，由xinetd允许rsyncd时忽略此参数
# address 守护进程监听ip，由xinetd允许rsyncd时忽略此参数
pid file = /usr/local/var/run/rsyncd.pid
port = 873
address = 192.168.1.2
#rsyncd 守护进程运行系统用户全局配置，也可在具体的块中独立配置,
uid = root
gid = root
#允许 chroot，提升安全性，客户端连接模块，首先chroot到模块path参数指定的目录下
#chroot为yes时必须使用root权限，且不能备份path路径外的链接文件
use chroot = yes
#只读
read only = no
#只写
write only = no
#允许访问rsyncd服务的ip，ip端或者单独ip之间使用空格隔开
hosts allow = 192.168.0.1/255.255.255.0 198.162.145.1 10.0.1.0/255.255.255.0
#不允许访问rsyncd服务的ip，*是全部(不涵盖在hosts allow中声明的ip，注意和hosts allow的先后顺序)
hosts deny = *
#客户端最大连接数
max connections = 5
#欢迎文件路径，可选的
#motd file = /etc/rsyncd/rsyncd.motd
#日志相关
# log file 指定rsync发送消息日志文件，而不是发送给syslog，如果不填这个参数默认发送给syslog
# transfer logging 是否记录传输文件日志
# log format 日志文件格式，格式参数请google
# syslog facility rsync发送消息给syslog时的消息级别，
# timeout连接超时时间
log file = /usr/local/logs/rsyncd.log
transfer logging = yes
log format = %t %a %m %f %b
syslog facility = local3
timeout = 300
######################################################################################################
# ******模块配置(多个)******
######################################################################################################
#模块 模块名称必须使用[]环绕，比如要访问data1,则地址应该是data1user@192.168.1.2::data1
[data1]
#模块根目录，必须指定
path=/home/username
#是否允许列出模块里的内容
list=yes
#忽略错误
#ignore errors
#模块验证用户名称，可使用空格或者逗号隔开多个用户名
auth users = data1user
#模块验证密码文件 可放在全局配置里
secrets file=/etc/rsyncd/rsyncd.secrets
#注释
comment = some description about this moudle
#排除目录，多个之间使用空格隔开
exclude = test1/ test2/
可以直接copy上述内容，作为自己rsyncd服务的配置模板
启动rsyncd服务
rsyncd 服务负载比较高的时候，设定rsyncd为独立的守护进程
#默认配置文件是/etc/rsyncd.conf，所以需要显式的指定配置文件
/usr/bin/rsync --daemon --config=/etc/rsyncd/rsyncd.conf
#假设使用putty，xshell终端操作,保证终端断开进程仍然执行
nohup /usr/bin/rsync --daemon --config=/etc/rsyncd/rsyncd.conf
为了保证开机时自动启动，需要手动加上面的命令(/usr/bin/rsync --daemon --config=/etc/rsyncd/rsyncd.conf)加入 /etc/rc.local 文件中
如果服务器开启了防火墙，必须保证端口能穿过防火墙
iptables -A INPUT -p tcp -m state --state NEW -m tcp --dport 873 -j ACCEPT
端口号修改为实际端口号即可
rsyncd 使用xinetd运行
xinetd的rsync配置文件是/etc/xinetd.d/rsync
需要编辑此文件修改一个参数,显式的指定rsyncd服务的配置文件
server_args = --daemon --config=/etc/rsyncd/rsyncd.conf
注意系统如果没有安装xinetd，需要 yum intall xinetd
chkconfig rsync on
service xinetd restart
使用rsync传输数据
示例1:
rsync -avzP data1user@192.168.1.2::data1 ~/data1
保持传输原有文件权限，用户，用户组，时间，递归的把data1模块数据复制到用户家目录的data1目录里，
参数 a的意思就是 保留文件原有权限，用户，用户组，时间且递归的copy包括链接文件，块设备在内的所有文件，这个参数很常用
参数 v是显示传输信息
参数 P显示传输进度
参数 z是压缩传输内容进行传输
假设要保持data1模块和用户家目录模块内容完全一致,加上参数 --delete,这样会删除在~/data1目录里但是不在data1模块里的文件(夹)
rsync -avzP --delete data1user@192.168.1.2::data1 ~/data1
示例2：
rsync -avzP --delete --password-file=/~/rsync/data1.secrets data1user@192.168.1.2::data1 ~/data1
传输时自动使用密码文件而不用手动输入，注意密码文件权限必须是600
[不带任何选项]
我们经常这样使用rsync：
$ rsync main.c machineB:/home/userB
1 只要目的端的文件内容和源端不一样，就会触发数据同步，rsync会确保两边的文件内容一样。
2 但rsync不会同步文件的“modify time”，凡是有数据同步的文件，目的端的文件的“modify time”总是会被修改为最新时刻的时间。
3 rsync不会太关注目的端文件的rwx权限，如果目的端没有此文件，那么权限会保持与源端一致；如果目的端有此文件，则权限不会随着源端变更。
4 只要rsync有对源文件的读权限，且对目标路径有写权限，rsync就能确保目的端文件同步到和源端一致。
5 rsync只能以登陆目的端的账号来创建文件，它没有能力保持目的端文件的输主和属组和源端一致。（除非你使用root权限，才有资格要求属主一致、属组一致）
[-t选项]
我们经常这样使用-t选项：
$ rsync -t main.c machineB:/home/userB
1 使用-t选项后，rsync总会想着一件事，那就是将源文件的“modify time”同步到目标机器。
2 带有-t选项的rsync，会变得更聪明些，它会在同步前先对比两边文件的时间戳和文件大小，如果一致，则就认为两边文件一样，对此文件就不再采取更新动作了。
3 因为rsync的聪明，也会反被聪明误。如果目的端的文件的时间戳、大小和源端完全一致，但是内容恰巧不一致时，rsync是发现不了的。这就是传说中的“坑”！
4 对于rsync自作聪明的情况，解决办法就是使用-I选项。
[-I选项]
我们经常这样使用-I选项：
$ rsync -I main.c machineB:/home/userB
1 -I选项会让rsync变得很乖很老实，它会挨个文件去发起数据同步。
2 -I选项可以确保数据的一致性，代价便是速度上会变慢，因为我们放弃了“quick check”策略。（quick check策略，就是先查看文件的时间戳和文件大小，依次先排除一批认为相同的文件）
3 无论情况如何，目的端的文件的modify time总会被更新到当前时刻。
【-v选项】
这个选项，简单易懂，就是让rsync输出更多的信息，我们可以举一个例子：
$ rsync -vI main.c machineB:/home/userB
main.c
sent 81 bytes received 42 bytes 246.00 bytes/sec
total size is 11 speedup is 0.09
你增加越多的v，就可以获得越多的日志信息。
$ rsync -vvvvt abc.c machineB:/home/userB
[-z选项]
这是个压缩选项，只要使用了这个选项，rsync就会把发向对端的数据先进行压缩再传输。对于网络环境较差的情况下建议使用。
一般情况下，-z的压缩算法会和gzip的一样。
[-a选项] 等价于 -rlptgoD
1 -a选项是rsync里比较霸道的一个选项，因为你使用-a选项，就相当于使用了-rlptgoD这一坨选项。以一敌七，唯-a选项也。（在看了前文之后，你应该可以很轻松的理解这七个选项的作用了）
2 -a选项的学名应该叫做archive option，中文叫做归档选项。使用-a选项，就表明你希望采取递归方式来同步，且尽可能的保持各个方面的一致性。
3 但是-a选项也有阿克琉斯之踵，那就是-a无法同步“硬链接”情况。如果有这方面需求，要加上-H选项。
[-r选项] 递归同步文件夹
我们在第一次使用rsync时，往往会遇到这样的囧境：
$ rsync superman machineB:/home/userB
skipping directory superman
如果你不额外告诉rsync你需要它帮你同步文件夹的话，它是不会主动承担的，这也正是rsync的懒惰之处。
所以，如果你真的想同步文件夹，那就要加上-r选项，即recursive（递归的、循环的），像这样：
$ rsync -r superman machineB:/home/userB
我们在上面的讲解中说过，如果时间戳和文件大小完全一致，只有文件内容不同，且你没有使用-I选项的话，那么，rsync是不会进行数据同步的。
那么，提个问题：“因为在Linux的世界里，文件夹也是文件，如果这类文件（文件夹）也只有内容不同，而时间戳和文件大小都相同，rsync会发现么？”
实验大家可以自己动手做，结论在这里告诉大家：
对于文件夹，rsync是会明察秋毫的，只要你加了-r选项，它就会恪尽职守的进入到文件夹里去检查，而不会只对文件夹本身做“quick check”的。
[-l选项] 保留软链接
如果我们要同步一个软链接文件，你猜rsync会提示什么？
$ ll
total 128
-rw-rw-r-- 1 userA userA 11 Dec 26 07:00 abc.c
lrwxrwxrwx 1 userA userA 5 Dec 26 11:35 softlink -> abc.c
$ rsync softlink machineB:/home/userB
skipping non-regular file "softlink"
嗯，你猜对了，rsync又无情地拒绝了我们。它一旦发现某个文件是软链接，就会无视它，除非我们增加-l选项。
$ rsync -l softlink machineB:/home/userB
使用了-l选项后，rsync会完全保持软链接文件类型，原原本本的将软链接文件复制到目的端，而不会“follow link”到指向的实体文件。
如果我偏偏就想让rsync采取follow link的方式，那就用-L选项就可以了。你可以自己试试效果。
[-p选项] 保持权限一致
这个选项的全名是“perserve permissions”，顾名思义，就是保持权限。
如果你不使用此选项的话，rsync是这样来处理权限问题的：
1 如果目的端没有此文件，那么在同步后会将目的端文件的权限保持与源端一致；
2 如果目的端已存在此文件，那么只会同步文件内容，权限保持原有不变。
如果你使用了-p选项，则无论如何，rsync都会让目的端保持与源端的权限一致的。
[-g选项和-o选项]
这两个选项是一对，用来保持文件的属组(group)和属主（owner），作用应该很清晰明了。不过要注意的一点是，改变属主和属组，往往只有管理员权限才可以。
[-D选项]
-D选项，原文解释是“preserve devices(root only)”，从字面意思看，就是保持设备文件的原始信息。由于博主没有实际体验过它的好处，所以没有太多发言权。
[–delete选项、–delete-excluded选项和–delete-after选项]
三个选项都是和“删除”有关的：
1 –delete：如果源端没有此文件，那么目的端也别想拥有，删除之。（如果你使用这个选项，就必须搭配-r选项一起）
2 –delete-excluded：专门指定一些要在目的端删除的文件。
3 –delete-after：默认情况下，rsync是先清理目的端的文件再开始数据同步；如果使用此选项，则rsync会先进行数据同步，都完成后再删除那些需要清理的文件。
看到这么多delete，你是否有点肝颤？ 的确，在rsync的官方说明里也有这么一句话：
This option can be dangerous if used incorrectly!
It is a very good idea to run first using the dry run option
(-n) to see what files would be deleted to make sure
important files aren't listed.
从这句话里，我们学到了一个小技巧，那就是-n选项，它是一个吓唬人的选项，它会用受影响的文件列表来警告你，但不会真的去删除，这就让我们有了确认的机会和回旋的余地。我们看看实际用法吧：
$ rsync -n --delete -r . machineB:/home/userB/
deleting superman/xxx
deleting main.c
deleting acclink
[–exclude选项和–exclude-from选项]
如果你不希望同步一些东西到目的端的话，可以使用–exclude选项来隐藏，rsync还是很重视大家隐私的，你可以多次使用–exclude选项来设置很多的“隐私”。
如果你要隐藏的隐私太多的话，在命令行选项中设置会比较麻烦，rsync还是很体贴，它提供了–exclude-from选项，让你可以把隐私一一列在一个文件里，然后让rsync直接读取这个文件就好了。
[–partial选项]
这就是传说中的断点续传功能。默认情况下，rsync会删除那些传输中断的文件，然后重新传输。但在一些特别情况下，我们不希望重传，而是续传。
我们在使用中，经常会看到有人会使用-P选项，这个选项其实是为了偷懒而设计的。以前人们总是要手动写–partial –progress，觉得太费劲了，倒不如用一个新的选项来代替，于是-P应运而生了。有些读者会问–partial我知道作用了，可–progress是干什么用的呢？为什么很多人要使用它呢，它有那么大的吸引力？（真有…）
[–progress选项]
使用这个选项，rsync会显示出传输进度信息，有什么用呢，rsync给了一个很有意思的解释：
This gives a bored user something to watch.
好了，写了这么多，大家看的已经很乏味了，去实际用用–progress解解闷，是个不错的选择
rsync服务器端配置文件详解
[root@ju ~]# vim /etc/rsyncd.conf
uid = root #rsync使用的用户
gid = root #rsync使用的组
use chroot = no #rsync的一个安全配置，如果为true，daemon进车会在给client端传输文件前chroot to the path。一般在内网不用配置
max connections = 100 #设置最大连接数，默认0为无限制
timeout = 300 #超时时间，单位为秒
pid file = /var/run/rsyncd.pid #pid文件配置
lock file = /var/run/rsync.lock #锁文件配置
log file = /var/log/rsyncd.log #log配置
[data]
path = /data/ #同步过来的文件存放位置
ignore errors #忽略IO错误
read only = true #指定client端是否可以上传文件，默认true
list = false #是否允许client端查看可用模块列表，默认可以
hosts allow = 192.168.100.0/24 #允许的client端连接过来的网段
hosts deny = 0.0.0.0/32 #指定不能连接到服务器的client端网段，默认都可以连接
auth users = rsyncuser #指定哪些用户可以连接，无需本地用户
secrets file = /etc/rsync.pass #连接的密码文件路径，该文件内容为，user:password，如：rsyncuser:123456。当然也可以写多行。在客户端需要有一个文件记录密码（只要密码，并且文件权限为600）.
rsync服务默认端口是873
rsync服务启动参数：
--daemon #以守护进程方式启动
--address #绑定启动的ip地址
--config #指定配置文件启动
--port #指定端口启动
一般情况都只用 rsync --daemon
客户端执行同步命令：
rsync -ac /data/app-img/ rsyncuser@192.168.111.82::app-bak --password-file=/etc/rsync.secr
一般都使用avz选项（如果windows与linux同步不建议使用这个参数）
rsync是Unix下的一款应用软件，它能同步更新两处计算机的档案与目录，并适当利用差分编码以减少数据传输。rsync中一项与其他大部分类似程式或协定中所未见的重要特性是镜像对每个目标只需要一次传送。rsync可拷贝／显示目录属性，以及拷贝档案，并可选择性的压缩以及递归拷贝。
比如网站搬家只需要使用一行命令，填入系统密码即可。同步远程服务器上的文件夹到本地，如果本地有的文件，远程没有，则删除之。
rsync -ave "ssh -p 22 -l root" --delete 192.168.0.200:/www/web/ /www/web/
在常驻模式（daemon mode）下，rsync默认监听TCP埠873，以原生rsync传输协定或者透过远程shell如RSH或者SSH伺服档案。SSH情况下，rsync用户端执行程式必须同时在本地和远程机器上安装。
Rsync 的特色：
快速：第一次同步时 rsync 会复制全部内容，但在下一次只传输修改过的文件。
安全：rsync 允许通过 ssh 协议来加密传输数据。
更少的带宽：rsync 在传输数据的过程中可以实行压缩及解压缩操作，因此可以使用更少的带宽。
特权：安装和执行 rsync 无需特别的权限
基本语法：rsync options source destination
源和目标都可以是本地或远程，在进行远程传输的时候，需要指定登录名、远程服务器及文件位置
样例：
1 在本地机器上对两个目录进行同步
rsync -zvr /var/opt/installation/inventory/ /root/temp
参数：
-z 开启压缩
-v 详情输出
-r 表示递归
2 利用 rsync -a 让同步时保留时间标记
rsync 选项 -a 称为归档模式，执行以下操作
递归模式
保留符号链接
保留权限
保留时间标记
保留用户名及组名
rsync -azv /var/opt/installation/inventory/ /root/temp/
3 仅同步一个文件
rsync -v /var/lib/rpm/Pubkeys /root/temp/
4 从本地同步文件到远程服务器
rsync -avz /root/temp/ root@192.168.200.10:/home/root/temp/
就像你所看到的，需要在远程目录前加上 ssh 登录方式，格式为 username@machinename:path
5 同步远程文件到本地
和上面差不多，做个相反的操作
rsync -avz root@192.168.200.10:/var/lib/rpm /root/temp
同步远程服务器上的文件夹到本地，如果本地有的文件，远程没有，则删除之。
rsync -rave "ssh -p 22 -l root" --delete 192.168.0.200:/www/web/ /www/web/
6 同步时指定远程 shell
用 -e 参数可以指定远程 ssh ，比如用 rsync -e ssh 来指定为 ssh
rsync -avz -e ssh root@192.168.200.10:/var/lib/rpm /root/temp
7 不要覆盖被修改过的目的文件
使用 rsync -u 选项可以排除被修改过的目的文件
rsync -avzu root@192.168.200.10:/var/lib/rpm /root/temp
8 仅仅同步目录权（不同步文件）
使用 -d 参数
rsync -v -d root@192.168.200.10:/var/lib/
9 查看每个文件的传输进程
使用 – -progress 参数
rsync -avz –-progress root@192.168.200.10:/var/lib/rpm/ /root/temp/
10 删除在目的文件夹中创建的文件
用 – -delete 参数
rsync -avz – -delete root@192.168.200.10:/var/lib/rpm/
11 不要在目的文件夹中创建新文件
有时能只想同步目的地中存在的文件，而排除源文件中新建的文件，可以使用 – -exiting 参数
rsync -avz –existing root@192.168.1.2:/var/lib/rpm/
12 查看源和目的文件之间的改变情况
用 -i 参数
rsync -avzi root@192.168.200.10:/var/lib/rpm/ /root/temp/
输出结果中在每个文件最前面会多显示 9 个字母，分别表示为
已经传输
f 表示这是一个文件
d 表示这是一个目录
s 表示尺寸被更改
t 时间标记有变化
o 用户被更改
g 用户组被更改
13 在传输时启用包含和排除模式
rsync -avz – -include ‘P*’ – -exclude ‘*’ root@192.168.200.10:/var/lib/rpm/ /root/temp/
14 不要传输大文件
使用 – – max-size 参数
rsync -avz – -max-size=’100K’ root@192.168.200.10:/var/lib/rpm/ /root/temp/
15 传输所有文件
不管有没有改变，再次把所有文件都传输一遍，用 -W 参数
rsync -avzW root@192.168.200.10:/var/lib/rpm/ /root/temp
使用常驻模式，让备份服务器自动获取增量备份。
rsync软件一般系统都会自带，如果没有自带请自行安装即可。安装完毕后我们开始配置.
大致流程：1、建立配置文件 2、设置权限 3、添加排除的文件夹或文件 4、启动rsync的daemon mode
配置文件：
1、rsync的主配置文件。
/etc/rsync/rsyncd.conf
配置文件内容为：
uid = www
gid = www
read only = true
transfer logging = true
max connections = 10
slp refresh = 300
hosts allow = 8.8.8.8
pid file = /var/run/rsyncd.pid
lock file = /var/run/rsyncd.lock
#log file = /var/log/rsyncd.log
#log format = %h %o %f %l %b
[web]
path = /www/web
comment = Mirror to us backup server
read only = true
list = false
auth users = zhangshan
secrets file = /etc/rsync/pass.conf
#exclude from = /etc/rsync/exclude.txt
[mysql]
path = /www/mysql
comment = Mirror to us MySql backup server
read only = true
list = false
auth users = zhangshan
secrets file = /etc/rsync/pass.conf
2、rsync的验证密码配置文件
mkdir /etc/rsync
vim /etc/rsync/pass.conf
填入用户名密码
zhangshan:zspassword
设置密码文件（/etc/rsync/pass.conf）的权限为600
chmod 600 /etc/rsync/pass.conf
3、目录排除文件
/etc/rsync/exclude.txt
文件内容为：一行一个要排除的目录
/www/www.abc.com/cache
/www/www.123.com
4、启动rsync服务器.
rsync --daemon --config=/etc/rsync/rsyncd.conf
客户机的配置过程：
1、建立密码文件并设置600权限。
mkdir /etc/rsync
/etc/rsync/pass.conf
文件内容为“密码”。注意，只填密码，否则会报1530错误。
zspassword
chmod 600 /etc/rsync/pass.conf
2、启动客户端
rsync -avzP --delete --password-file=/etc/rsync/pass.conf zhangshan@8.8.8.8::web /www/mirror
命令说明：同步服务器web模块中配置的目录到本地目录的/www/mirror，如果本地没有的文件，这复制过来。如果本地和服务器的文件一致，则不复制。如果本地文件较旧或者较新，这替换掉本地的文件。