1. 为什么 rsync 是文件同步场景里的常青树干运维这行十几年经手的文件同步工具换了一茬又一茬但 rsync 始终是我工具箱里那把最顺手的螺丝刀。不管是每天凌晨定时把业务日志从生产机拉到备份机还是把几十 GB 的静态资源从旧存储迁移到新集群rsync 几乎从没让我失望过。它的核心价值就一句话只传差异不传全量。这个特性在跨机房、跨地域的远程同步场景里直接决定了你是等十分钟还是等十个小时。很多人第一次接触 rsync是因为接手了一台需要做异地备份的服务器。面对动辄几百 GB 的数据用 scp 全量拷贝显然不现实而 rsync 的增量算法能在首次全量之后后续每次只传输变化的那部分数据块。这个能力背后是 rsync 的滚动校验和算法它把文件切分成固定大小的块分别计算强弱校验和接收端对比本地已有块的校验和只向发送端请求缺失的块。听起来简单但正是这个机制让 rsync 在弱网环境下的表现远超普通拷贝工具。这篇文章适合谁看如果你是刚入行的运维工程师正在为服务器之间的数据同步发愁或者你是后端开发需要把构建产物高效分发到多台机器又或者你只是想在家庭 NAS 和办公电脑之间做定期备份rsync 都能给你一套稳定可靠的方案。我会从核心原理讲到实操配置把踩过的坑和总结的技巧都摊开来说让你看完就能直接上手。2. rsync 远程同步的核心机制拆解2.1 增量传输算法到底省了什么要理解 rsync 为什么快得先搞清楚它的增量算法。假设你有一个 1GB 的日志文件今天新增了 10MB 内容。普通拷贝工具会老老实实把 1GB 全部传一遍而 rsync 的做法是接收端先把自己本地已有的 1GB 文件按固定块大小默认 700 字节到 128KB 之间动态调整切块计算每个块的弱校验和Rolling Checksum和强校验和MD5 或 xxHash。这些校验和列表发给发送端后发送端在自己的新文件上滑动窗口计算弱校验和快速匹配到相同块就跳过只把不匹配的块和新增内容传过去。这个过程里有个关键点弱校验和用于快速筛选强校验和用于最终确认。弱校验和计算极快但碰撞率高强校验和计算慢但几乎不会误判。两者配合既保证了速度又保证了准确性。实测下来一个 1GB 文件只改了 10MB 的场景rsync 传输量大约在 10MB 到 15MB 之间具体取决于改动位置是否对齐块边界。2.2 远程同步的两种通道模式rsync 远程同步有两种工作模式很多人用了几年都没分清。第一种是远程 Shell 模式通过 SSH 通道传输数据命令格式是rsync [选项] 源 用户主机:目标。这种模式下rsync 在远端启动一个临时进程数据流经过 SSH 加密隧道。优点是配置简单只要有 SSH 访问权限就能用安全性由 SSH 保证。缺点是 SSH 加密解密会消耗 CPU在万兆内网这种高带宽场景下SSH 可能成为瓶颈。第二种是守护进程模式远端以 daemon 方式运行 rsync 服务监听 873 端口客户端通过 rsync 协议直接连接。命令格式是rsync [选项] 源 rsync://用户主机:模块/路径。这种模式省去了 SSH 加解密开销传输效率更高适合大规模、高频次的同步任务。但配置相对复杂需要维护 rsync.conf 配置文件而且认证机制独立于系统用户体系。提示内网高带宽场景优先考虑守护进程模式跨公网或安全要求高的场景用 SSH 模式更稳妥。两者可以结合比如守护进程模式外面再套一层 SSH 隧道但这就回到 SSH 模式的性能问题了。2.3 影响同步效率的关键参数rsync 的参数有几十个但真正影响远程同步效率的就那么几个。我整理了一张表把最核心的参数和适用场景列出来参数作用适用场景注意事项-a归档模式保留权限、时间戳、软硬链接等绝大多数同步场景等价于-rlptgoD但不保留 ACL 和 xattr-v显示详细过程调试和观察进度大量小文件时输出会拖慢速度-z传输时压缩跨公网、带宽受限内网万兆环境反而增加 CPU 负担-P显示进度并支持断点续传大文件传输等价于--partial --progress--delete删除目标端多余文件镜像同步极其危险务必先加--dry-run测试--exclude排除指定文件或目录过滤缓存、临时文件支持通配符可多次指定--bwlimit限速单位 KB/s避免占满带宽对大量小文件效果有限-e指定远程 Shell非标准 SSH 端口如-e ssh -p 2222这张表里的参数我几乎每次同步都会用到-a和-v跨公网必加-z和-P做镜像同步时--delete和--dry-run是标配。至于--bwlimit在业务高峰期做同步时非常有用我一般设成带宽的 70% 左右留出余量给正常业务流量。3. 从零搭建一套可靠的远程同步方案3.1 环境准备与基础连通性验证假设你有两台机器一台本地开发机一台远程备份服务器。首先确认两边都装了 rsync版本尽量保持一致避免协议不兼容。用rsync --version查看版本号主流 Linux 发行版自带的版本都在 3.1 以上足够用了。如果版本低于 3.0建议升级因为 3.0 之前的增量算法效率差很多。接下来验证 SSH 连通性。如果你用密钥登录确认公钥已经追加到远程的~/.ssh/authorized_keys里。测试命令很简单ssh 用户远程IP echo ok返回 ok 就说明通道没问题。这一步看似多余但我见过太多人直接跑 rsync 报错最后发现是 SSH 密钥权限不对或者 known_hosts 里有旧记录。注意首次连接时 SSH 会提示确认主机指纹交互式输入 yes 会阻塞自动化脚本。建议提前用ssh-keyscan把远程主机指纹写入 known_hosts或者在 rsync 命令里加-e ssh -o StrictHostKeyCheckingno但后者有安全风险仅限内网可信环境使用。3.2 一条命令完成首次全量同步环境确认后第一条同步命令可以这样写rsync -avP --exclude*.tmp --excludecache/ /data/www/ user192.168.1.100:/backup/www/这条命令的含义是把本地/data/www/目录同步到远程的/backup/www/保留归档属性显示进度支持断点续传排除所有.tmp文件和cache目录。注意源路径末尾的斜杠——/data/www/表示同步目录内容/data/www表示同步目录本身。这个细节坑过无数人加不加斜杠结果完全不同。首次同步是全量传输耗时取决于数据量和网络带宽。假设你有 50GB 数据千兆内网理论最快 400 秒左右实际受磁盘 IO 和 SSH 加密影响大概在 10 到 15 分钟。传输过程中可以用-P看到每个文件的进度和总进度。如果中途断了重新执行同一条命令即可--partial会保留已传输的部分下次从断点继续。3.3 增量同步与定时任务配置首次全量完成后后续同步就是增量的了。同样的命令再跑一次你会发现速度快得惊人——50GB 数据如果只改了几百 MB几秒钟就同步完了。这时候可以把命令写成脚本配合 crontab 做定时任务。比如每天凌晨 3 点同步一次# 编辑 crontab crontab -e # 添加一行 0 3 * * * /usr/bin/rsync -a --delete --exclude*.tmp /data/www/ user192.168.1.100:/backup/www/ /var/log/rsync.log 21这里加了--delete意思是让远程目录和本地保持完全一致本地删了的文件远程也删掉。这个参数是双刃剑用好了是镜像同步利器用错了就是删库跑路。我的习惯是任何带--delete的命令第一次执行前必须加--dry-run跑一遍看看它会删哪些文件确认无误再去掉--dry-run正式执行。提示crontab 里的 rsync 命令建议用绝对路径因为 cron 环境的 PATH 和登录 Shell 不一样。另外日志重定向别忘了不然出了问题连报错都看不到。3.4 守护进程模式的配置要点如果你需要更高频次的同步或者不想依赖 SSH可以配置 rsync 守护进程模式。在远程服务器上创建/etc/rsyncd.confuid nobody gid nobody use chroot yes max connections 10 pid file /var/run/rsyncd.pid log file /var/log/rsyncd.log [backup] path /backup/www/ comment Web backup module read only no auth users rsync_user secrets file /etc/rsyncd.secrets hosts allow 192.168.1.0/24然后创建密码文件/etc/rsyncd.secrets格式是用户名:密码权限设为 600。启动服务rsync --daemon。客户端同步命令变成rsync -avP --delete /data/www/ rsync_user192.168.1.100::backup/注意双冒号::表示走守护进程协议单冒号是 SSH 模式。守护进程模式省去了 SSH 开销实测在千兆内网下传输速度能提升 20% 到 30%CPU 占用也明显下降。4. 实战中踩过的坑与排查技巧4.1 权限问题导致的同步失败rsync 最常报的错就是权限拒绝。表现是传输到一半突然报Permission denied或者同步完成后目标文件属主不对。根源通常有三个一是 SSH 用户对目标目录没有写权限二是-a参数保留了源文件的属主属组但目标端没有对应的用户三是 SELinux 或 AppArmor 拦截了写入操作。解决办法如果目标端不需要保留原始属主把-a换成-rlptD去掉-o保留属主和-g保留属组。如果确实需要保留确保两端用户 UID/GID 一致或者用--usermap和--groupmap做映射。SELinux 的问题用ausearch -m avc -ts recent查看拒绝日志然后用semanage fcontext调整上下文。4.2 大文件传输中断的续传处理跨公网同步大文件时网络抖动导致中断是家常便饭。rsync 的--partial参数会把已传输的部分保留在目标端下次同步时从断点继续。但有个细节如果中断时文件正在传输目标端会留下一个隐藏的临时文件文件名类似.filename.XXXXXX。下次同步时 rsync 会自动识别并续传但前提是源文件没有变化。如果源文件在中断期间被修改了rsync 会重新传输整个文件。我的经验是对于超过 1GB 的大文件加--partial-dir.rsync-partial把临时文件集中存放避免污染目标目录。同时配合--timeout300设置超时网络断了 5 分钟没响应就自动退出让脚本有机会重试。4.3 大量小文件同步的性能优化同步几十万个小文件时rsync 的性能会急剧下降。原因是每个文件都要经历构建文件列表、校验、传输、确认等多个往返网络延迟被放大。我试过同步一个包含 50 万个 1KB 小文件的目录耗时超过 2 小时而同样数据量的单个大文件只要几分钟。优化手段有几个一是用--no-motd关闭每日消息减少无关输出二是用-W--whole-file关闭增量算法因为小文件增量计算的开销可能比直接传输还大三是先用 tar 打包再传输到目标端解包这样把几十万次往返压缩成一次传输。实测打包传输能把时间从 2 小时压缩到 10 分钟以内。4.4 常见问题速查表现象可能原因排查命令解决方案连接超时防火墙拦截 873 端口telnet 目标IP 873开放端口或改用 SSH 模式认证失败密码文件权限不对ls -l /etc/rsyncd.secrets权限设为 600属主为 root同步后文件时间戳变化未加-t参数rsync -av确认加-t保留时间戳磁盘空间不足目标分区满了df -h清理空间或换目标路径同步速度极慢大量小文件或 SSH 加密rsync --stats看统计打包传输或改用守护进程模式文件被跳过排除规则误匹配rsync -av --dry-run检查--exclude规则这张表里的问题我几乎都遇到过尤其是认证失败和文件跳过这两个排查起来最费时间。建议每次同步前先用--dry-run加-v跑一遍看看哪些文件会被传输、哪些会被跳过心里有数再正式执行。5. 进阶技巧与个人经验沉淀5.1 用 SSH 密钥免密登录提升自动化效率如果你还在用密码做 SSH 认证强烈建议换成密钥。生成密钥对ssh-keygen -t ed25519 -C rsync-backup然后把公钥追加到远程的authorized_keys。这样 rsync 命令就不需要交互输入密码可以完全自动化。对于守护进程模式虽然有自己的密码文件但也可以结合 SSH 隧道使用兼顾安全和便利。密钥登录还有个好处可以在~/.ssh/config里为不同主机配置别名和参数。比如Host backup-server HostName 192.168.1.100 User rsync_user Port 2222 IdentityFile ~/.ssh/id_ed25519配置好后rsync 命令可以简写成rsync -avP /data/www/ backup-server:/backup/www/清爽很多。5.2 日志记录与同步结果监控自动化同步最怕的是悄无声息地失败。我的做法是每次同步都记录详细日志并在脚本末尾检查退出码。rsync 的退出码含义0 表示成功23 表示部分文件传输失败24 表示源文件在传输中消失30 表示超时。脚本里可以这样写#!/bin/bash rsync -a --delete /data/www/ user192.168.1.100:/backup/www/ /var/log/rsync.log 21 if [ $? -eq 0 ]; then echo $(date) sync success /var/log/rsync.log else echo $(date) sync failed with code $? /var/log/rsync.log # 发送告警通知 fi更进一步可以用--stats参数输出传输统计包括传输文件数、总字节数、节省的字节数等。这些数据积累下来能帮你分析同步趋势提前发现异常。5.3 多目标同步的并行处理有时候需要把同一份数据同步到多台机器。串行执行太慢可以并行。用xargs -P或者写个简单的循环加后台执行for host in 192.168.1.101 192.168.1.102 192.168.1.103; do rsync -a --delete /data/www/ user$host:/backup/www/ done wait但并行同步会争抢本地磁盘 IO 和网络带宽目标机多了反而更慢。我的经验是并行数控制在 3 到 5 个并且用--bwlimit给每个任务限速避免互相干扰。如果目标机超过 10 台建议用专门的配置管理工具或者分发系统rsync 本身不太适合这种场景。5.4 我个人的几条铁律干了这么多年我给自己定了几条 rsync 使用铁律分享出来供参考。第一条任何--delete操作前必须--dry-run没有例外。第二条跨公网同步必须加-z和--partial前者省带宽后者防中断。第三条同步脚本必须有日志和退出码检查否则失败了都不知道。第四条定期验证备份数据的完整性用rsync -av --dry-run反向对比或者抽样校验文件哈希。第五条不要用 rsync 同步正在写入的数据库文件除非先做快照否则同步出来的数据可能不一致。这些经验都是用血泪换来的尤其是第一条和第五条我见过太多人因为少了--dry-run或者直接同步数据库文件导致数据丢失或损坏。rsync 是个好工具但好工具也需要正确的使用方法。最后再分享一个小技巧如果你不确定某个参数的效果用--dry-run加-v跑一遍它会告诉你哪些文件会被传输、哪些会被删除、哪些会被跳过但不会真正修改任何文件。这个习惯能帮你避免 90% 的误操作。