经验首页 前端设计 程序设计 Java相关 移动开发 数据库/运维 软件/图像 大数据/云计算 其他经验
当前位置:技术经验 » 数据库/运维 » Linux/Shell » 查看文章
Rsync
来源:cnblogs  作者:夕立良辰  时间:2019/11/4 8:38:08  对本文有异议

Rsync

1. Rsync基本概述

rsync是linux系统下的数据镜像备份工具。使用快速增量备份工具Remote Sync可以远程同步,支持本地复制,或者与其他SSH、rsync主机同步。

常见备份方式

  1. 完全备份:对所有数据做一次全备份 增量备份:只备份上一次备份之后变化的数据***** 差异备份:备份是上一次完全备份后变化的数据\
  • 常见备份组合:

    完全+增量:1次完全+多次增量 完全+差异:1次完全+1次差异

2.Rsync应用场景

  • [ ] 数据同步的方式
  • 推:push,上传(upload)

    将客户端的数据上传到rsync服务段(backup服务器)

  • 拉:pull,下载(download)

    将rsync服务端(backup服务器)的数据下载到客户端

==推拉是由客户端发起的==

3.Rsync传输模式

Rsync大致使用三种主要的数据传输方式

Rsync命令对应选项

  1. -a #归档模式传输, 等于-tropgDl
  2. -v #详细模式输出, 打印速率, 文件数量等
  3. -z #传输时进行压缩以提高效率
  4. -r #递归传输目录及子目录,即目录下得所有目录都同样传输。
  5. -t #保持文件时间信息
  6. -o #保持文件属主信息
  7. -p #保持文件权限
  8. -g #保持文件属组信息
  9. -l #保留软连接
  10. -P #显示同步的过程及传输时的进度等信息
  11. -D #保持设备文件信息
  12. -L #保留软连接指向的目标文件
  13. -e #使用的信道协议,指定替代rsh的shell程序
  14. --exclude=PATTERN #指定排除不需要传输的文件模式
  15. --exclude-from=file #文件名所在的目录文件
  16. --bwlimit=100 #限速传输
  17. --partial #断点续传
  18. --delete #让目标目录和源目录数据保持一致

本地方式

rsync [OPTION...] SRC... [DEST]

类似cp命令

文件同步

  1. [root@backup ~]# rsync -avz /etc/fstab /data/
  2. sending incremental file list
  3. fstab

目录同步1:

  1. [root@backup ~]# rsync -avz /data/ /opt/
  2. sending incremental file list
  3. ./
  4. fstab
  5. passwd

目录同步2:

  1. [root@backup ~]# rsync -avz /data /opt/
  2. sending incremental file list
  3. data/
  4. data/fstab
  5. data/passwd

总结: 如果要同步的是目录里面的内容,命令中目录的后面必须要加"/"; 如果要同步的是目录本身及其内容,则命令中只需写目录名。

完全同步:加--delete,源和目标内容完全一致

  1. [root@backup ~]# rsync -avz /null/ /opt/ --delete #慎用

远程方式

  1. Access via remote shell: 远程通道传输
  2. Pull: rsync [OPTION...] [USER@]HOST:SRC... [DEST]
  3. Push: rsync [OPTION...] SRC... [USER@]HOST:DEST
  4. 使用的ssh协议,过程是加密,类似scp命令(secure cp)
  5. tcp传输过程,没传输一个数据都会有连接的建立、维护、断开过程。
  6. [root@backup ~]# rsync -avz /etc/hosts root@172.16.1.31:/etc/
  7. [root@backup ~]# rsync -avz root@172.16.1.31:/root/hello.txt .
  8. 问题:
  9. 1.用户权限问题
  10. [root@oldboy ~]# rsync -avz oldboy@172.16.1.41:/root/hello.txt /tmp/
  11. receiving incremental file list
  12. rsync: change_dir "/root" failed: Permission denied (13)
  13. 2.用户身份暴露了,安全隐患
  14. 3.文件路径暴露了,安全隐患

守护进程

  1. rsync自身非常重要的功能(不使用系统用户,更加安全)

服务器的配置流程:

  • [ ] 1.安装软件包
  1. yum install -y rsync
  • [ ] 2.修改配置文件
  1. 1)查找配置文件
  2. [root@oldboy ~]# rpm -qc rsync
  3. /etc/rsyncd.conf
  4. /etc/sysconfig/rsyncd
  5. [root@oldboy ~]# rpm -ql rsync | grep etc
  6. /etc/rsyncd.conf
  7. /etc/sysconfig/rsyncd
  8. 2)修改配置文件
  9. [root@backup ~]# vim /etc/rsyncd.conf
  10. # 全局模块
  11. uid = rsync --- 运行进程的用户
  12. gid = rsync --- 运行进程的用户组
  13. port = 873 --- 监听端口
  14. fake super = yes --- 无需让rsyncroot身份运行,允许存储文件的完整属性(3.1版本之后)
  15. use chroot = no --- 关闭假根功能
  16. max connections = 200 --- 最大连接数
  17. timeout = 600 --- 超时时间
  18. ignore errors --- 忽略错误信息
  19. read only = false --- 对备份数据可读写
  20. list = false --- 不允许查看模块信息
  21. auth users = rsync_backup --- 定义虚拟用户,作为连接认证用户
  22. secrets file = /etc/rsync.passwd ---定义rsync服务用户连接认证密码文件路径
  23. ##局部模块
  24. [backup] --- 定义模块信息
  25. comment = commit --- 模块注释信息
  26. path = /backup --- 定义接收备份数据目录
  • [ ] 3.创建程序用户
  1. useradd -M -s /sbin/nologin rsync
  • [ ] 4.创建目录,并修改所属
  1. mkdir [-p] /backup
  2. chown -R rsync.rsync /backup
  • [ ] 5.创建虚拟用户认证文件
  1. echo "rsync_backup:1" >/etc/rsync.password
  2. chmod 600 /etc/rsync.password
  • [ ] 6.启动服务
  1. systemctl start rsyncd
  2. systemctl enable rsyncd

注意:一定要查看是否启动成功

  1. [root@oldboy ~]# systemctl status rsyncd
  2. rsyncd.service - fast remote file copy program daemon
  3. Loaded: loaded (/usr/lib/systemd/system/rsyncd.service; enabled; vendor preset: disabled)
  4. Active: active (running) since 2018-09-27 11:18:52 CST; 37s ago
  5. [root@oldboy ~]# lsof -i:873
  6. COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAME
  7. rsync 4187 root 3u IPv4 44003 0t0 TCP *:rsync (LISTEN)
  8. rsync 4187 root 5u IPv6 44004 0t0 TCP *:rsync (LISTEN)
  9. [root@oldboy ~]# ss -antp | grep rsync
  10. LISTEN 0 5 *:873 *:* users:(("rsync",pid=4187,fd=3))
  11. LISTEN 0 5 :::873 :::* users:(("rsync",pid=4187,fd=5))
  12. [root@oldboy ~]# netstat -antp | grep rsync
  13. tcp 0 0 0.0.0.0:873 0.0.0.0:* LISTEN 4187/rsync
  14. tcp6 0 0 :::873 :::* LISTEN 4187/rsync

客户端验证过程:

  • [ ] 1.安装rsync包
  1. yum install -y rsync
  • [ ] 2.验证

Access via rsync daemon: 守护进程方式传输 Pull: rsync [OPTION...] [USER@]HOST::SRC... [DEST] Push: rsync [OPTION...] SRC... [USER@]HOST::DEST

  • 1)推:上传 客户端推送/etc/下所有内容至Rsync服务端:
  1. [root@nfs ~]# rsync -avz /etc/ rsync_backup@172.16.1.41::backup
  • 2)拉:下载 在服务端创建下拉文件
  1. [root@backup ~]# cp /etc/passwd /etc/fstab /etc/hosts /backup/
  2. 客户端从服务端将backup模块下的内容拉到本地
  3. [root@nfs ~]# rsync -avz rsync_backup@172.16.1.41::backup/ /tmp/
  • [ ] 3.免密

  • 方法一:在客户端上创建密码文件,并给600的权限
  1. [root@nfs ~]# echo "1" > /etc/rsync.password
  2. [roonfsfs ~]# chmod 600 /etc/rsync.password
  3. [root@nfs ~]# rsync -avz rsync_backup@172.16.1.41::backup/ /tmp/ --password-file=/etc/rsync.password
  • 方法二:定义变量
  1. [rnfs@nfs ~]# export RSYNC_PASSWORD=1
  2. [root@nfs ~]# rsync -avz rsync_backup@172.16.1.41::backup/ /tmp/

4.Rsync服务实践

  1. 排除注意:
  2. 1.客户端使用rsync报错信息:auth failed on module backup
  3. 查看服务器端/var/log/messages
  4. 1)Sep 27 12:12:52 backup rsyncd[1385]: secrets file must not be other-accessible (see strict modes option)
  5. 表示权限的问题。
  6. 解决方法:chmod 600 /etc/rsync.password
  7. 2)……
  8. 2.需要考虑服务端下拉的文件权限,主要是读权限
  9. root@nfs ~]# rsync -avz rsync_backup@172.16.1.41::backup/ /tmp/
  10. Password:
  11. receiving incremental file list
  12. rsync: failed to read xattr user.rsync.%stat for "messages" (in backup): Permission denied (13)
  13. rsync: failed to read xattr user.rsync.%stat for "secure" (in backup): Permission denied (13)
  14. ./
  15. rsync: send_files failed to open "messages" (in backup): Permission denied (13)
  16. rsync: send_files failed to open "secure" (in backup): Permission denied (13)

原文链接:http://www.cnblogs.com/liuyunf/p/11782907.html

 友情链接:直通硅谷  点职佳  北美留学生论坛

本站QQ群:前端 618073944 | Java 606181507 | Python 626812652 | C/C++ 612253063 | 微信 634508462 | 苹果 692586424 | C#/.net 182808419 | PHP 305140648 | 运维 608723728

W3xue 的所有内容仅供测试,对任何法律问题及风险不承担任何责任。通过使用本站内容随之而来的风险与本站无关。
关于我们  |  意见建议  |  捐助我们  |  报错有奖  |  广告合作、友情链接(目前9元/月)请联系QQ:27243702 沸活量
皖ICP备17017327号-2 皖公网安备34020702000426号