linux rsync
http://roclinux.cn/?p=2643
如果你是一位运维工程师，你很可能会面对几十台、几百台甚至上千台服务器，除了批量操作外，环境同步、数据同步也是必不可少的技能。
说到“同步”，不得不提的利器就是rsync，今天就来说说我从这个工具中看到的同步的艺术。
[不带任何选项]
我们经常这样使用rsync：
$rsyncmain.cmachineB:/home/userB
1只要目的端的文件内容和源端不一样，就会触发数据同步，rsync会确保两边的文件内容一样。
2但rsync不会同步文件的“modifytime”，凡是有数据同步的文件，目的端的文件的“modifytime”总是会被修改为最新时刻的时间。
3rsync不会太关注目的端文件的rwx权限，如果目的端没有此文件，那么权限会保持与源端一致；如果目的端有此文件，则权限不会随着源端变更。
4只要rsync有对源文件的读权限，且对目标路径有写权限，rsync就能确保目的端文件同步到和源端一致。
5rsync只能以登陆目的端的账号来创建文件，它没有能力保持目的端文件的输主和属组和源端一致。（除非你使用root权限，才有资格要求属主一致、属组一致）
[-t选项]
我们经常这样使用-t选项：
$rsync-tmain.cmachineB:/home/userB
1使用-t选项后，rsync总会想着一件事，那就是将源文件的“modifytime”同步到目标机器。
2带有-t选项的rsync，会变得更聪明些，它会在同步前先对比两边文件的时间戳和文件大小，如果一致，则就认为两边文件一样，对此文件就不再采取更新动作了。
3因为rsync的聪明，也会反被聪明误。如果目的端的文件的时间戳、大小和源端完全一致，但是内容恰巧不一致时，rsync是发现不了的。这就是传说中的“坑”！
4对于rsync自作聪明的情况，解决办法就是使用-I选项。
[-I选项]
我们经常这样使用-I选项：
$rsync-Imain.cmachineB:/home/userB
1-I选项会让rsync变得很乖很老实，它会挨个文件去发起数据同步。
2-I选项可以确保数据的一致性，代价便是速度上会变慢，因为我们放弃了“quickcheck”策略。（quickcheck策略，就是先查看文件的时间戳和文件大小，依次先排除一批认为相同的文件）
3无论情况如何，目的端的文件的modifytime总会被更新到当前时刻。
【-v选项】
这个选项，简单易懂，就是让rsync输出更多的信息，我们可以举一个例子：
$rsync-vImain.cmachineB:/home/userB
main.c
sent81bytesreceived42bytes246.00bytes/sec
totalsizeis11speedupis0.09
你增加越多的v，就可以获得越多的日志信息。
$rsync-vvvvtabc.cmachineB:/home/userB
cmd=machine=machineBuser=path=/home/userB
cmd[0]=sshcmd[1]=machineBcmd[2]=rsynccmd[3]=--servercmd[4]=-vvvvte.cmd[5]=.cmd[6]=/home/userB
openingconnectionusing:sshmachineBrsync--server-vvvvte../home/userB
note:iconv_open("ANSI_X3.4-1968","ANSI_X3.4-1968")succeeded.
(Client)Protocolversions:remote=28,negotiated=28
(Server)Protocolversions:remote=30,negotiated=28
[sender]make_file(abc.c,*,2)
[sender]fliststart=0,used=1,low=0,high=0
[sender]i=0abc.cmode=0100664len=11flags=0
send_file_listdone
filelistsent
send_filesstarting
server_recv(2)startingpid=31885
recv_file_name(abc.c)
received1names
[receiver]i=0abc.cmode=0100664len=11
recv_file_listdone
get_local_namecount=1/home/userB
recv_files(1)starting
generatorstartingpid=31885count=1
deltatransmissionenabled
recv_generator(abc.c,0)
abc.cisuptodate
generate_filesphase=1
send_filesphase=1
recv_filesphase=1
generate_filesphase=2
sendfilesfinished
total:matches=0hash_hits=0false_alarms=0data=0
generate_filesfinished
recv_filesfinished
client_runwaitingon14318
sent36bytesreceived16bytes104.00bytes/sec
totalsizeis11speedupis0.21
_exit_cleanup(code=0,file=main.c,line=1031):entered
_exit_cleanup(code=0,file=main.c,line=1031):abouttocallexit(0)
[-z选项]
这是个压缩选项，只要使用了这个选项，rsync就会把发向对端的数据先进行压缩再传输。对于网络环境较差的情况下建议使用。
一般情况下，-z的压缩算法会和gzip的一样。
[-r选项]
我们在第一次使用rsync时，往往会遇到这样的囧境：
$rsyncsupermanmachineB:/home/userB
skippingdirectorysuperman
如果你不额外告诉rsync你需要它帮你同步文件夹的话，它是不会主动承担的，这也正是rsync的懒惰之处。
所以，如果你真的想同步文件夹，那就要加上-r选项，即recursive（递归的、循环的），像这样：
$rsync-rsupermanmachineB:/home/userB
我们在上面的讲解中说过，如果时间戳和文件大小完全一致，只有文件内容不同，且你没有使用-I选项的话，那么，rsync是不会进行数据同步的。
那么，提个问题：“因为在Linux的世界里，文件夹也是文件，如果这类文件（文件夹）也只有内容不同，而时间戳和文件大小都相同，rsync会发现么？”
实验大家可以自己动手做，结论在这里告诉大家：
对于文件夹，rsync是会明察秋毫的，只要你加了-r选项，它就会恪尽职守的进入到文件夹里去检查，而不会只对文件夹本身做“quickcheck”的。
[-l选项]
如果我们要同步一个软链接文件，你猜rsync会提示什么？
$ll
total128
-rw-rw-r--1userAuserA11Dec2607:00abc.c
lrwxrwxrwx1userAuserA5Dec2611:35softlink->abc.c
$rsyncsoftlinkmachineB:/home/userB
skippingnon-regularfile"softlink"
嗯，你猜对了，rsync又无情地拒绝了我们。它一旦发现某个文件是软链接，就会无视它，除非我们增加-l选项。
$rsync-lsoftlinkmachineB:/home/userB
使用了-l选项后，rsync会完全保持软链接文件类型，原原本本的将软链接文件复制到目的端，而不会“followlink”到指向的实体文件。
如果我偏偏就想让rsync采取followlink的方式，那就用-L选项就可以了。你可以自己试试效果。
[-p选项]
这个选项的全名是“perservepermissions”，顾名思义，就是保持权限。
如果你不使用此选项的话，rsync是这样来处理权限问题的：
1如果目的端没有此文件，那么在同步后会将目的端文件的权限保持与源端一致；
2如果目的端已存在此文件，那么只会同步文件内容，权限保持原有不变。
如果你使用了-p选项，则无论如何，rsync都会让目的端保持与源端的权限一致的。
[-g选项和-o选项]
这两个选项是一对，用来保持文件的属组(group)和属主（owner），作用应该很清晰明了。不过要注意的一点是，改变属主和属组，往往只有管理员权限才可以。
[-D选项]
-D选项，原文解释是“preservedevices(rootonly)”，从字面意思看，就是保持设备文件的原始信息。由于博主没有实际体验过它的好处，所以没有太多发言权。
[-a选项]
1-a选项是rsync里比较霸道的一个选项，因为你使用-a选项，就相当于使用了-rlptgoD这一坨选项。以一敌七，唯-a选项也。（在看了前文之后，你应该可以很轻松的理解这七个选项的作用了）
2-a选项的学名应该叫做archiveoption，中文叫做归档选项。使用-a选项，就表明你希望采取递归方式来同步，且尽可能的保持各个方面的一致性。
3但是-a选项也有阿克琉斯之踵，那就是-a无法同步“硬链接”情况。如果有这方面需求，要加上-H选项。
[--delete选项、--delete-excluded选项和--delete-after选项]
三个选项都是和“删除”有关的：
1–delete：如果源端没有此文件，那么目的端也别想拥有，删除之。（如果你使用这个选项，就必须搭配-r选项一起）
2–delete-excluded：专门指定一些要在目的端删除的文件。
3–delete-after：默认情况下，rsync是先清理目的端的文件再开始数据同步；如果使用此选项，则rsync会先进行数据同步，都完成后再删除那些需要清理的文件。
看到这么多delete，你是否有点肝颤？的确，在rsync的官方说明里也有这么一句话：
Thisoptioncanbedangerousifusedincorrectly!
Itisaverygoodideatorunfirstusingthedryrunoption
(-n)toseewhatfileswouldbedeletedtomakesure
importantfilesaren'tlisted.
从这句话里，我们学到了一个小技巧，那就是-n选项，它是一个吓唬人的选项，它会用受影响的文件列表来警告你，但不会真的去删除，这就让我们有了确认的机会和回旋的余地。我们看看实际用法吧：
$rsync-n--delete-r.machineB:/home/userB/
deletingsuperman/xxx
deletingmain.c
deletingacclink
[--exclude选项和--exclude-from选项]
如果你不希望同步一些东西到目的端的话，可以使用–exclude选项来隐藏，rsync还是很重视大家隐私的，你可以多次使用–exclude选项来设置很多的“隐私”。
如果你要隐藏的隐私太多的话，在命令行选项中设置会比较麻烦，rsync还是很体贴，它提供了–exclude-from选项，让你可以把隐私一一列在一个文件里，然后让rsync直接读取这个文件就好了。
[--partial选项]
这就是传说中的断点续传功能。默认情况下，rsync会删除那些传输中断的文件，然后重新传输。但在一些特别情况下，我们不希望重传，而是续传。
我们在使用中，经常会看到有人会使用-P选项，这个选项其实是为了偷懒而设计的。以前人们总是要手动写–partial–progress，觉得太费劲了，倒不如用一个新的选项来代替，于是-P应运而生了。有些读者会问–partial我知道作用了，可–progress是干什么用的呢？为什么很多人要使用它呢，它有那么大的吸引力？（真有…）
[--progress选项]
使用这个选项，rsync会显示出传输进度信息，有什么用呢，rsync给了一个很有意思的解释：
Thisgivesaboredusersomethingtowatch.
好了，写了这么多，大家看的已经很乏味了，去实际用用–progress解解闷，是个不错的选择^_^
PS：后续会讲解有关rsync的–exclude的PATTERN语法。
谢谢！
-------------------------------------------------------------------
实例：
如在101的crontab中：
#Transfer log from from 10105.20.111 to 10.105.20.101 30 0 * * * rsync -avzp 10.105.20.111::cafe_log/ddshow_`date --date="1 days ago" +\%Y-\%m-\%d`.log /opt/data/syslog/ws/
cafe_log是在111的rsync.conf文件中配置的
-a--archive归档模式，表示以递归方式传递文件，并保持所有文件属性
-v--verbose详细模式输出
-z--compress传输时进行压缩
-p--perms保持文件权限
同时在111的/etc/rsync.conf文件中
# sample rsyncd.conf configuration file # GLOBAL OPTIONS #motd file=/etc/motd #log file=/var/log/rsyncd # for pid file, do not use /var/run/rsync.pid if # you are going to run rsync out of the init.d script. # pid file=/var/run/rsyncd.pid #syslog facility=daemon #socket options= # MODULE OPTIONS [cafe_log] path = /opt/data/syslog comment = cafe ignore errors read only = yes list = false uid=cafe gid=cafe #auth users = backup #secrets file = /etc/rsyncd.secrets
参考文档：
http://jiangmou2001.blog.sohu.com/102617699.html