Contents
最近有个需求：实现单机本地文件实时同步备份
首先最简单的inotify+rsync模式虽然能实现，但存在重复触发等问题。很早以前就知道sersync可以替代inotify+rsync，需要通过rsync –daemon模式，用来本地同步的话性能应该没本地rsync高效。搭建完成后确实也能用，但发现rsync_fail_log.sh这个文件记录了大量错误日志，实际上这些同步并没失败。网上查了下也没见解决办法，sersync也是年久失修，没人维护了。看到GitHub上有人推荐lsyncd，于是上手使用，结果是确实比前两种都好用。
1. 安装
有epel源直接yum安装即可：yum install lsyncd
2. /etc/lsyncd.conf配置文件说明
配置文件使用lua语法，重点参数说明：
-- # 注释符
settings # 是全局配置
sync # 定义同步参数 (lsyncd配置文件允许多个sync互不影响)
rsync # 定义同步文件参数
ssh # 定义服务器远程端口settings
里面是全局设置，–开头表示注释，下面是几个常用选项说明：
- logfile 定义日志文件
- stausFile 定义状态文件
- nodaemon=true 表示不启用守护模式，默认
- statusInterval 将lsyncd的状态写入上面的statusFile的间隔，默认10秒
- inotifyMode 指定inotify监控的事件，默认是CloseWrite，还可以是Modify或CloseWrite or Modify
- maxProcesses 同步进程的最大个数。假如同时有20个文件需要同步，而maxProcesses = 8，则最大能看到有8个rysnc进程
- maxDelays 累计到多少所监控的事件激活一次同步，即使后面的delay延迟时间还未到
sync
里面是定义同步参数，可以继续使用maxDelays来重写settings的全局变量。一般第一个参数指定lsyncd以什么模式运行：rsync、rsyncssh、direct三种模式：
default.rsync ：本地目录间同步，使用rsync，也可以达到使用ssh形式的远程rsync效果，或daemon方式连接远程rsyncd进程；
default.direct ：本地目录间同步，使用cp、rm等命令完成差异文件备份；
default.rsyncssh ：同步到远程主机目录，rsync的ssh模式，需要使用key来认证
- source 同步的源目录，使用绝对路径。
- target 定义目的地址.对应不同的模式有几种写法：
/tmp/dest ：本地目录同步，可用于direct和rsync模式 172.29.88.223:/tmp/dest ：同步到远程服务器目录，可用于rsync和rsyncssh模式，拼接的命令类似于/usr/bin/rsync -ltsd --delete --include-from=- --exclude=* SOURCE TARGET，剩下的就是rsync的内容了，比如指定username，免密码同步 172.29.88.223::module ：同步到远程服务器目录，用于rsync模式 如果要同步到多个主机，可以参考：https://github.com/axkibe/lsyncd/issues/38
三种模式的示例会在后面给出。
- init 这是一个优化选项，当init = false，只同步进程启动以后发生改动事件的文件，原有的目录即使有差异也不会同步。默认是true
- delay 累计事件，等待rsync同步延时时间，默认15秒（最大累计到1000个不可合并的事件）。也就是15s内监控目录下发生的改动，会累积到一次rsync同步，避免过于频繁的同步。（可合并的意思是，15s内两次修改了同一文件，最后只同步最新的文件）
- excludeFrom 排除选项，后面指定排除的列表文件，如excludeFrom = “/etc/lsyncd.exclude”，如果是简单的排除，可以使用exclude = LIST。
这里的排除规则写法与原生rsync有点不同，更为简单：
监控路径里的任何部分匹配到一个文本，都会被排除，例如/bin/foo/bar可以匹配规则foo
如果规则以斜线/开头，则从头开始要匹配全部
如果规则以/结尾，则要匹配监控路径的末尾
?匹配任何字符，但不包括/
*匹配0或多个字符，但不包括/
**匹配0或多个字符，可以是/
- delete 为了保持target与souce完全同步，Lsyncd默认会delete = true来允许同步删除。它除了false，还有startup、running值。
rsync
（提示一下，delete和exclude本来都是rsync的选项，上面是配置在sync中的，我想这样做的原因是为了减少rsync的开销）
- bwlimit 限速，单位kb/s，与rsync相同（这么重要的选项在文档里竟然没有标出）
- compress 压缩传输默认为true。在带宽与cpu负载之间权衡，本地目录同步可以考虑把它设为false
- perms 默认保留文件权限。
- 其它rsync的选项
其它还有rsyncssh模式独有的配置项，如host、targetdir、rsync_path、password_file，见后文示例。rsyncOps={“-avz”,”–delete”}这样的写法在2.1.*版本已经不支持。
lsyncd.conf可以有多个sync，各自的source，各自的target，各自的模式，互不影响。
3. 配置lsyncd
以下是三种常用配置案例
- 远程同步rsync + ssh模式配置方案(需要事先做好ssh免密登陆，不然每次都需要输入密码)
$ vim /etc/lsyncd.conf settings { logfile = "/var/log/lsyncd.log", --日志路径 statusFile = "/var/log/lsyncd.status", --状态文件 pidfile = "/var/run/lsyncd.pid", --pid文件路径 statusInterval = 1, --将lsyncd的状态写入上面的statusFile的间隔，默认10秒 nodaemon = false, --daemon运行 maxProcesses = 1, --同步进程的最大个数。假如同时有20个文件需要同步，而maxProcesses = 8，则最大能看到有8个rysnc进程 maxDelays = 1, --累计到多少所监控的事件激活一次同步，即使后面的delay延迟时间还未到 } sync { default.rsyncssh, --默认rsync+ssh,rsync版本需要升级3以上版本 source = "/apps/www/renwoleblog/", --源目录 delete = true, --保持完全同步 host = "root@10.28.204.66", targetdir = "/apps/www/renwoleblog/bak/", --目标目录 exclude={ ".txt", --需排除的文件 "*.log" }, rsync = { binary = "/usr/bin/rsync", --需先安装好rsync archive = true, --归档 compress = false, --压缩 owner = true, --属主 perms = true, --权限 whole_file = false }, ssh = { port = 22 } } - 本地目录同步配置方案：
sync { default.rsync, source = "/apps/www/renwoleblog/", target = "/apps/www/renwoleblog/bak/", } sync { -- 可配置多个或者使用后文的for循环 default.rsync, source = "/666/", target = "/888/", exclude = { "*.qp", "lsyncd.*" } , } - 远程同步rsync-daemon模式配置方案(需要配置好rsync的服务端)
settings { logfile = "/var/log/lsyncd.log", statusFile = "/var/log/lsyncd.status", pidfile = "/var/run/lsyncd.pid", statusInterval = 1, nodaemon = false, maxProcesses = 1, maxDelays = 1, } sync { default.rsync, source = "/apps/www/renwoleblog/", target = "rsyncuser@10.28.204.65::backup", delete="true", exclude = { ".bak*" }, delay = 30, --累计事件，等待rsync同步延时时间，默认15秒（最大累计到1000个不可合并的事件）。也就是15s内监控目录下发生的改动，会累积到一次rsync同步，避免过于频繁的同步。（可合并的意思是，15s内两次修改了同一文件，最后只同步最新的文件） init = true, --这是一个优化选项，当init = false，只同步进程启动以后发生改动事件的文件，原有的目录即使有差异也不会同步。默认是true rsync = { binary = "/usr/bin/rsync", archive = true, compress = true, verbose = true, perms = true, password_file = "/etc/rsync.password", --密码，权限是0600 _extra = {"--bwlimit=200"} --bwlimit 限速，单位kb/s，与rsync相同（这么重要的选项在文档里竟然没有标出） } }
4.启动服务
#如果想将日志输出到屏幕则
$ /usr/local/lsyncd/bin/lsyncd -nodaemon /etc/lsyncd.conf
#如果想直接切到后台则
$ /usr/local/lsyncd/bin/lsyncd /etc/lsyncd.conf
也可以通过脚本启动
$ systemctl restart lsyncd- 创建systemctl系统单元文件(可选)为了实现systemctl进行管理，请创建配置文件以及脚本启动文件，命令如下：
$ vim /etc/sysconfig/lsyncd添加如下内容：
LSYNCD_OPTIONS="/etc/lsyncd.conf"创建启动文件：
$ vim /usr/lib/systemd/system/lsyncd.service添加如下内容：
[Unit] Description=Live Syncing (Mirror) Daemon After=network.target [Service] Type=simple EnvironmentFile=-/etc/sysconfig/lsyncd ExecStart=/usr/local/lsyncd/bin/lsyncd -nodaemon $LSYNCD_OPTIONS [Install] WantedBy=multi-user.target启动lsyncd并加入开机自启动
$ systemctl daemon-reload $ systemctl start lsyncd $ systemctl enable lsyncd - 创建init,service系统单元文件(可选)这个脚本占用的篇幅太长就不在文章中列出了。
例子：
场景需求：
lsync server: 10.0.0.7
rsyncd server: 10.0.0.13, 10.0.0.21, 10.0.0.6, 10.0.0.17
将10.0.0.7下的/usr/nginx/conf分别同步到10.0.0.13, 10.0.0.21, 10.0.0.6, 10.0.0.17的/usr/nginx/conf/
配置rsyncd服务：
在10.0.0.13, 10.0.0.21, 10.0.0.6, 10.0.0.17配置rsyncd(假设已经安装好rsyncd)
- rsyncd.conf (rsyncd.conf的配置这里就先不详细讲了)
uid = nginx gid = nginx use chroot = no strict modes = no max connections = 1000 charset=utf8 log file = /var/log/rsyncd.log pid file = /var/run/rsyncd.pid hosts allow = 10.0.0.7 hosts deny = * [nginx_rsync] path = /usr/nginx/conf/ read only = rsync_user list = no exclude = .svn/ dont compress = *.gz *.tgz *.zip *.z *.bz2 *.tbz auth users = rsync_user secrets file = /etc/rsync/rsync.pass - 创建rsync.pass(密码存储)
$ vim /etc/rsync/rsync.pass rsync_user:1234567 $ chown 0600 /etc/rsync/rsync.pass
配置lsync服务：
以下在10.0.0.7操作(假设已经安装好lsync)
- lsyncd.conf(lsyncd支持lua语法)
settings { logfile = "/var/log/lsyncd.log", statusFile = "/var/log/lsyncd.status", pidfile = "/var/run/lsyncd.pid", statusInterval = 1, nodaemon = false, maxProcesses = 4 } targetlist = { "rsync_user@10.0.0.13::nginx_rsync", "rsync_user@10.0.0.21::nginx_rsync", "rsync_user@10.0.0.6::nginx_rsync", "rsync_user@10.0.0.17::nginx_rsync", } for _, server in ipairs(targetlist) do sync { default.rsync, source = "/usr/nginx/conf/", target = server, delete = "true", exclude = { ".bak*" }, delay = 0, rsync = { binary = "/usr/bin/rsync", archive = true, compress = true, verbose = true, perms = true, password_file = "/root/.lrsyncd.secret" } } end - 创建密码存储文件
$ vim /root/.lrsyncd.secret 1234567 $ chown 0600 /root/.lrsyncd.secret
