经验首页 前端设计 程序设计 Java相关 移动开发 数据库/运维 软件/图像 大数据/云计算 其他经验
当前位置:技术经验 » 数据库/运维 » Linux/Shell » 查看文章
Linux备份之远程同步—rsync
来源:cnblogs  作者:JZEason  时间:2021/12/31 8:50:49  对本文有异议

一、备份

1.1 什么是备份?

备份就是把重要的数据或者文件复制一份保存到另一个地方,实现不同主机之间的数据同步

1.2 为什么做备份?

数据在公司中是很重要的!!!备份就是为了恢复数据。

1.3 能不能不做备份?

对于重要的数据一定要备份,对于不重要的数据可以不备份或者备份一部分。

1.4 备份的工具

  • 本地备份:cp
  • 远程备份:scp rsync

?????? - ????′ ???QQè?¨??????_??????è?¨??????è?¨???

1.5 scp命令及参数

  1. 概念及参数

    Linux中 scp 命令用于 Linux 之间复制文件和目录。
    scp 是 secure copy 的缩写, scp 是 linux 系统下基于 ssh 登陆进行安全的远程文件拷贝命令。
    scp 是加密的,rcp 是不加密的,scp 是 rcp 的加强版。

    1. 选项参数:
    2. -1 强制scp命令使用协议ssh1
    3. -2 强制scp命令使用协议ssh2
    4. -4 强制scp命令只使用IPv4寻址
    5. -6 强制scp命令只使用IPv6寻址
    6. -B 使用批处理模式(传输过程中不询问传输口令或短语)
    7. -C 允许压缩。(将-C标志传递给ssh,从而打开压缩功能)
    8. -p:保留原文件的修改时间,访问时间和访问权限。
    9. -q 不显示传输进度条。
    10. -r 递归复制整个目录。
    11. -v:详细方式显示输出。scpssh(1)会显示出整个过程的调试信息。这些信息用于调试连接,验证和配置问题。
    12. -c cipher cipher将数据传输进行加密,这个选项将直接传递给ssh
    13. -F ssh_config 指定一个替代的ssh配置文件,此参数直接传递给ssh
    14. -i identity_file 从指定文件中读取传输时使用的密钥文件,此参数直接传递给ssh
    15. -l limit 限定用户所能使用的带宽,以Kbit/s为单位。
    16. -o ssh_option 如果习惯于使用ssh_config(5)中的参数传递方式,
    17. -P port:注意是大写的P, port是指定数据传输用到的端口号
    18. -S program 指定加密传输时所使用的程序。此程序必须能够理解ssh(1)的选项。
  2. 应用实例

    1. 一、从本地复制文件到远程
    2. 1、复制本地文件到远程目录
    3. scp /home/space/music/1.mp3 root@www.runoob.com:/home/root/others/music
    4. scp # 命令
    5. /home/space/music/1.mp3 # 本地文件
    6. root # 远端服务器的的系统用户
    7. @ # 分隔符,以哪个用户身份登录服务器
    8. www.runoob.com # 远程服务器的ip或域名
    9. : # 分隔符,指定服务器里面所在的目录
    10. /home/root/others/music/ # 复制到远程服务器的目录地址
    11. 2、复制本地文件到远程目录下,并重命名
    12. scp /home/space/music/1.mp3 root@www.runoob.com:/home/root/others/music/001.mp3
    13. scp # 命令
    14. /home/space/music/1.mp3 # 本地文件
    15. root # 远端服务器的的系统用户
    16. @ # 分隔符,以哪个用户身份登录服务器
    17. www.runoob.com # 远程服务器的ip或域名
    18. : # 分隔符,指定服务器里面所在的目录
    19. /home/root/others/music/001.mp3 # 复制到远程服务器的目录下并重命名001.mp3
    20. 二、从本地复制目录到远程目录下
    21. 1、指定用户名,命令执行后需要再输入密码
    22. scp -r /home/space/music/ root@www.runoob.com:/home/root/others/
    23. scp # 命令
    24. -r # 选项
    25. /home/space/music/ # 本地目录
    26. root # 远端服务器的的系统用户
    27. @ # 分隔符,以哪个用户身份登录服务器
    28. www.runoob.com # 远程服务器的ip或域名
    29. : # 分隔符,指定服务器里面所在的目录
    30. /home/root/others/ # 复制到远程服务器的目录地址
    31. 2、不指定用户名,命令执行后需要输入用户名和密码
    32. scp -r /home/space/music/ www.runoob.com:/home/root/others/
    33. scp # 命令
    34. -r # 选项
    35. /home/space/music/ # 本地目录
    36. www.runoob.com # 远程服务器的ip或域名
    37. : # 分隔符,指定服务器里面所在的目录
    38. /home/root/others/ # 复制到远程服务器的目录地址
    39. 三、从远程复制到本地
    40. 1scp root@www.runoob.com:/home/root/others/music /home/space/music/1.mp3
    41. scp -r www.runoob.com:/home/root/others/ /home/space/music/

    ?¥???° - ????′ ???QQè?¨??????_??????è?¨??????è?¨???

1.6 Rsync常用参数

  1. 选项参数:
  2. -a #归档模式传输, 等于-tropgDl -t -r -o -p -g -D -l
  3. -v #详细模式输出, 打印速率, 文件数量等
  4. -z #传输时进行压缩以提高效率
  5. -r #递归传输目录及子目录,即目录下得所有目录都同样传输。
  6. -t #保持文件时间信息
  7. -o #保持文件属主信息
  8. -g #保持文件属组信息
  9. -p #保持文件权限
  10. -l #保留软连接
  11. -P #显示同步的过程及传输时的进度等信息
  12. -D #保持设备文件信息
  13. -L #保留软连接指向的目标文件
  14. -e #使用的信道协议,指定替代rsh的shell程序
  15. --append # 指定文件接着上次传输中断处继续传输
  16. --append-verify # 使用参数续传(在断点续传之后,验证一下文件,如果不同,修复文件)
  17. --exclude=PATTERN # 指定排除不需要传输的文件
  18. eg [root@m01 ~]# rsync -avzP --append-verify --exclude=2.txt ./* root@172.16.1.41:/opt/
  19. --exclude-from=file # 按照文件指定内容排除
  20. eg: [root@m01 ~]# rsync -avzP --append-verify --exclude-from=/tmp/exclude.txt ./* root@172.16.1.41:/opt/
  21. --bwlimit=100 # 限速传输(单位:MB)
  22. --delete # 让目标目录和源目录数据保持一致
  23. --password-file=xxx # 使用密码文件
  24. --port # 指定端口传输
  1. –exclude-from=file 排除不需要的文件

    1. #创建多个文件
    2. [root@web01 ~]# touch {1..10}.txt
    3. [root@web01 ~]# ll
    4. total 0
    5. drwxr-xr-x. 2 root root 6 Nov 19 08:44 dir
    6. -rw-r--r--. 1 root root 0 Nov 19 08:44 file
    7. -rw-r--r--. 1 root root 0 Nov 19 08:59 txt1
    8. -rw-r--r--. 1 root root 0 Nov 19 08:59 txt10
    9. -rw-r--r--. 1 root root 0 Nov 19 08:59 txt2
    10. -rw-r--r--. 1 root root 0 Nov 19 08:59 txt3
    11. -rw-r--r--. 1 root root 0 Nov 19 08:59 txt4
    12. -rw-r--r--. 1 root root 0 Nov 19 08:59 txt5
    13. -rw-r--r--. 1 root root 0 Nov 19 08:59 txt6
    14. -rw-r--r--. 1 root root 0 Nov 19 08:59 txt7
    15. -rw-r--r--. 1 root root 0 Nov 19 08:59 txt8
    16. -rw-r--r--. 1 root root 0 Nov 19 08:59 txt9
    17. #编辑文件写入要排除的文件名字
    18. [root@web01 ~]# vim 1.txt
    19. txt1
    20. txt2
    21. txt3
    22. txt4
    23. #指定排除文件推送内容
    24. [root@web01 ~]# rsync -avz ./* rsync_backup@172.16.1.41::backup --exclude-from=1.txt
    25. sending incremental file list
    26. 1.txt
    27. txt10
    28. txt5
    29. txt6
    30. txt7
    31. txt8
    32. txt9
    33. dir/
    34. sent 468 bytes received 165 bytes 422.00 bytes/sec
    35. total size is 20 speedup is 0.03
    36. #发现没有传输1.txt中写入名字的文件
  2. –bwlimit=100 限速传输

    1. #创建一个1G的文件
    2. [root@web01 ~]# dd if=/dev/zero of=./1.txt bs=10M count=100
    3. #限速1M每秒推送
    4. [root@web01 ~]# rsync -avzP 1.txt rsync_backup@172.16.1.41::backup --bwlimit=1
    5. sending incremental file list
    6. 1.txt
    7. 114,130,944 10% 1.01MB/s 0:15:06
    8. #限速10M每秒推送
    9. [root@web01 ~]# rsync -avzP 1.txt rsync_backup@172.16.1.41::backup --bwlimit=10
    10. sending incremental file list
    11. 1.txt
    12. 262,078,464 24% 9.89MB/s
  3. delete 数据一致 (无差异同步)

    1. #查看客户端数据
    2. [root@web01 ~]# ll
    3. total 0
    4. -rw-r--r--. 1 root root 0 Nov 19 09:17 txt2
    5. -rw-r--r--. 1 root root 0 Nov 19 09:17 txt3
    6. -rw-r--r--. 1 root root 0 Nov 19 09:17 txt4
    7. -rw-r--r--. 1 root root 0 Nov 19 09:17 txt5
    8. -rw-r--r--. 1 root root 0 Nov 19 09:17 txt6
    9. -rw-r--r--. 1 root root 0 Nov 19 09:17 txt7
    10. -rw-r--r--. 1 root root 0 Nov 19 09:17 txt8
    11. -rw-r--r--. 1 root root 0 Nov 19 09:17 txt9
    12. #删除数据
    13. [root@web01 ~]# rm -rf txt2
    14. [root@web01 ~]# rm -rf txt3
    15. [root@web01 ~]# rm -rf txt4
    16. #执行数据一致同步
    17. [root@web01 ~]# rsync -avz ./ rsync_backup@172.16.1.41::backup --delete
    18. sending incremental file list
    19. deleting txt4
    20. deleting txt3
    21. deleting txt2
    22. ./
    23. sent 332 bytes received 52 bytes 768.00 bytes/sec
    24. total size is 7,746 speedup is 20.17
    25. #查看服务端
    26. [root@backup backup]# ll
    27. total 0
    28. -rw-r--r--. 1 rsync rsync 0 Nov 19 09:17 txt5
    29. -rw-r--r--. 1 rsync rsync 0 Nov 19 09:17 txt6
    30. -rw-r--r--. 1 rsync rsync 0 Nov 19 09:17 txt7
    31. -rw-r--r--. 1 rsync rsync 0 Nov 19 09:17 txt8
    32. -rw-r--r--. 1 rsync rsync 0 Nov 19 09:17 txt9

    注意:
    拉取时:客户端数据与服务端数据一致,以服务端数据为准
    推送时:服务端数据与客户端数据一致,以客户端数据为准

???è§? - ????′ ???QQè?¨??????_??????è?¨??????è?¨???

二、Rsync服务介绍

2.1 简介

rsync英文称为remote synchronizetion,从软件的名称就可以看出来,rsync具有可使本地和远程两台主机之间的数据快速复制同步镜像、远程备份的功能,这个功能类似于ssh带的scp命令,但是又优于scp命令的功能,scp每次都是全量拷贝,而rsync可以增量拷贝。当然,rsync还可以在本地主机的不同分区或目录之间全量及增量的复制数据,这又类似cp命令。但是同样也优于cp命令,cp每次都是全量拷贝,而rsync可以增量拷贝。

rsync官方地址:https://rsync.samba.org/
rsync监听端口:873
rsync运行模式:C/S client/server

rsync简称叫做远程同步,可以实现不同主机之间的数据同步,还支持全量和增量

2.2 rsync特性

  • 支持拷贝特殊文件,如连接文件,设备等;
  • 可以有排除指定文件或目录同步的功能,相当于打包命令tar的排除功能;
  • 可以做到保持原文件或目录的权限、时间、软硬链接、属主、组等所有属性均不改变 –p;
  • 可以实现增量同步,既只同步发生变化的数据,因此数据传输效率很高(tar-N);
  • 可以使用rcp、rsh、ssh等方式来配合传输文件(rsync本身不对数据加密);
  • 可以通过socket(进程方式)传输文件和数据(服务端和客户端);
  • 支持匿名的活认证(无需系统用户)的进程模式传输,可以实现方便安全的进行数据备份和镜像;

2.3 生产场景备份方案

  1. 借助cron+rsync把所有客户服务器数据同步到备份服务器;
  2. 针对公司重要数据备份混乱状况和领导提出备份全网数据的解决方案;
  3. 通过本地打包备份,然后rsync结合inotify应用把全网数统一备份到一个固定存储服务器,然后在存储服务器上通过脚本检查并报警管理员备份结果;
  4. 定期将IDC机房的数据备份到公司的内部服务器,防止机房地震及火灾问题导致数据丢失;
  5. 实时同步,解决存储服务器等的单点问题。

?????? - ????′ ???QQè?¨??????_??????è?¨??????è?¨???

三、Rsync应用场景

3.1 备份方式

  1. 全量备份

    即将数据完整的复制一份并保存下来

    img

  2. 增量备份

    即备份上一次备份后新增的数据

    img

3.2 rsync的传输方式

push 推:
客户端将数据从本地推送至服务端

pull 拉:
客户端将数据从服务端拉取到本地

img

img

?????? - ????′ ???QQè?¨??????_??????è?¨??????è?¨???

3.3 传输存在的问题

  1. 推的问题:当客户端服务器数量过多,容易造成数据推送缓慢;
  2. 拉的问题:当客户端服务器数量过多,容易造成服务端压力过大;

3.4 大量服务器备份场景

现在有2000台服务器,怎么有效快速的缓解推和拉存在的问题?

img

3.5 异地备份实现思路

img

?3??¤§?o? - ????′ ???QQè?¨??????_??????è?¨??????è?¨???

四、Rsync传输模式

4.1 传输模式

  • 本地方式(类似于cp,不支持推送和拉取,只是单纯的复制)
  • 远程方式(类似于scp,又不同于scp),scp只支持全量备份,rsync支持增量备份和差异备份
  • 守护进程方式(客户端和服务端)

4.2 本地方式

  1. #语法:
  2. rsync [OPTION]... SRC [SRC]... DEST
  3. 命令 选项 源文件 目标地址
  4. #语法实例
  5. [root@web01 ~]# rsync -avz 1.txt /tmp/
  6. [root@web01 ~]# rsync -avz 1.txt /tmp/
  7. 命令 选项 源文件 目标目录
  8. #类似于cp,但是cp是全量复制并且会修改文件属性,rsync是增量复制,会保证文件属性不变

4.3 远程方式

  • pull 拉取数据的命令

    1. #语法:
    2. rsync [OPTION]... [USER@]HOST:SRC [DEST]
    3. #实例:
    4. [root@web01 ~]# rsync -avz root@172.16.1.41:/tmp/1.txt ./
    5. #语法拆分
    6. rsync #命令
    7. -avz #选项
    8. root #远端服务器的系统用户
    9. @ #分隔符
    10. 172.16.1.41 #远程主机的地址
    11. : #分隔符,代表主机下的....
    12. /tmp/1.txt #远程主机的目录及文件
    13. ./ #当前主机的当前目录
  • push 推送数据命令

    1. #语法
    2. rsync [OPTION]... SRC [SRC]... [USER@]HOST:DEST
    3. #实例
    4. [root@web01 ~]# rsync -avz ./1.txt root@172.16.1.41:/tmp
    5. #语法拆分
    6. rsync #命令
    7. -avz #选项
    8. ./1.txt #当前服务器的本地文件
    9. root #远端服务器的系统用户
    10. @ #分隔符
    11. 172.16.1.41 #远端主机的IP地址
    12. : #分隔符,代表主机下的....
    13. /tmp #远程主机的目录

注意事项:

1、[root@web01 ~]# rsync -avz root@172.16.1.41:/tmp/1.txt ./2.txt #将远程服务器1.txt文件全量备份到当前目录下并重命名为2.txt

2、[root@web01 ~]# rsync -avz root@172.16.1.41:/tmp/ ./a/ #将远程服务器tmp目录全量备份到当前目录下并重命名为a

3、指定目录"/a"时,意思是"/a"这个目录及这个目录下的文件。指定目录"/a/"时,意思是"/a/"目录下的文件不包括目录

é?-??′ - ????′ ???QQè?¨??????_??????è?¨??????è?¨???

4.4 守护进程传输模式

  1. 为什么使用守护进程模式

    • rsync传输时,使用的是系统用户和系统用户的密码,非常的不安全
    • 使用普通用户又会出现权限问题
  2. 守护进程传输模式语法

    • push 推送语法

      1. #语法:
      2. rsync [OPTION]... SRC [SRC]... [USER@]HOST::DEST
      3. #实例:
      4. [root@web01 ~]# rsync -avz 1.txt rsync_backup@172.16.1.41::backup
      5. #语法拆分
      6. rsync #命令
      7. -avz #选项
      8. 1.txt #当前服务器的文件
      9. rsync_backup #rsync服务端配置的虚拟用户
      10. @ #分隔符
      11. 172.16.1.41 #远程主机IP地址
      12. ::backup #模块名
      13. #推送过程中服务端目录必须是服务端配置的启动用户权限
    • pull 拉取语法

      1. #语法:
      2. rsync [OPTION]... [USER@]HOST::SRC [DEST]
      3. #示例:
      4. [root@web01 ~]# rsync -avz rsync_backup@172.16.1.41::backup /tmp/
      5. #语法拆分:
      6. rsync #命令
      7. -avz #选项
      8. rsync_backup #服务端定义的虚拟用户
      9. @ #分隔符
      10. 172.16.1.41 #远程主机IP地址
      11. ::backup #模块名字
      12. /tmp/ #当前主机的目录
      13. #拉取过程中服务端目录不用设置rsync用户权限

é?·??? - ????′ ???QQè?¨??????_??????è?¨??????è?¨???

4.5 守护进程模式实践

  1. 环境准备

    主机 IP 主机角色
    JumpServer 172.16.1.81 rsync客户端
    Backup 172.16.1.41 rsync服务端
  2. 服务端

    1. 安装

      1. [root@backup ~]# yum install -y rsync
      2. #查找配置文件
      3. [root@backup ~]# rpm -qc rsync
      4. /etc/rsyncd.conf
      5. /etc/sysconfig/rsyncd
    2. 修改配置文件

      1. [root@m01 ~]# vim /etc/rsyncd.conf
      2. uid = rsync
      3. gid = rsync
      4. port = 873
      5. fake super = yes
      6. use chroot = no
      7. max connections = 200
      8. timeout = 600
      9. ignore errors
      10. read only = false
      11. list = false
      12. auth users = rsync_backup
      13. secrets file = /etc/rsync.passwd
      14. log file = /var/log/rsyncd.log
      15. #####################################
      16. [backup]
      17. comment = welcome to backup!
      18. path = /backup
      19. [linux]
      20. comment = welcome to linux!
      21. path = /tmp/linux

      配置文件详解:

      1. uid = rsync #启动服务的用户id
      2. gid = rsync #启动服务用户的组id
      3. port = 873 #服务默认监听端口
      4. fake super = yes #无须使用root用户启动
      5. use chroot = no #安全机制
      6. max connections = 200 #最大连接数
      7. timeout = 600 #超时时间
      8. ignore errors #忽略错误
      9. read only = false #只读权限
      10. list = false #查看模块列表
      11. auth users = rsync_backup #定义虚拟用户(rsync传输过程使用的用户)
      12. secrets file = /etc/rsync.passwd #定义虚拟用户的密码
      13. log file = /var/log/rsyncd.log #日志文件
      14. #####################################
      15. [backup] #模块
      16. comment = welcome to backup! #模块的备注
      17. path = /backup #服务器真实的存储路径
      18. ...
    3. 创建系统用户

      1. [root@backup ~]# useradd -r -M -s /sbin/nologin rsync
    4. 修改密码文件(一定不能有空格)

      1. [root@backup opt]# echo "rsync_backup:123456" > /etc/rsync.passwd
    5. 授权(必须授权为600)

      1. [root@backup opt]# chmod 600 /etc/rsync.passwd
    6. 创建备份目录

      1. [root@backup opt]# mkdir /backup
      2. [root@backup opt]# mkdir /tmp/linux
    7. 目录授权

      1. [root@backup opt]# chown rsync.rsync /backup/
      2. [root@backup opt]# chown rsync.rsync /tmp/linux/
    8. 关闭防火墙和selinux

      1. 8、关闭防火墙和selinux
      2. [root@backup opt]# systemctl disable --now firewalld
      3. [root@backup opt]# setenforce 0
    9. 启动rsyncd服务

      1. [root@backup opt]# systemctl start rsyncd
      2. #验证启动
      3. [root@backup ~]# netstat -lntp | grep 873
      4. tcp 0 0 0.0.0.0:873 0.0.0.0:* LISTEN 26370/rsync
      5. tcp6 0 0 :::873 :::* LISTEN 26370/rsync
      6. [root@backup ~]# ps -ef | grep rsync
      7. root 26370 1 0 11:08 ? 00:00:00 /usr/bin/rsync --daemon --no-detach
      8. root 26408 25098 0 11:09 pts/1 00:00:00 grep --color=auto rsync

???????? - ????′ ???QQè?¨??????_??????è?¨??????è?¨???

  1. 客户端rsync

    1. #下载安装
    2. yum install -y rsync
    3. #创建认证文件并修改权限
    4. echo "123456" >/etc/rsync.passwd
    5. chmod 600 /etc/rsync.passwd

4.6 客户端推拉数据方法

  • 方法一:自己输入密码

    1. [root@m01 ~]# rsync -avzP ./* rsync_backup@172.16.1.41::backup
    2. rsync_backup : 虚拟用户,只在数据传输时使用
    3. 172.16.1.41 : backup服务端的IP
    4. backup : 模块名称
  • 方法二:设置密码文件,运行时读取

    1. 1、编写密码文件
    2. [root@backup opt]# echo "123456" > /etc/rsync.passwd
    3. 2、授权
    4. [root@m01 ~]# chmod 600 /etc/rsync.passwd
    5. 3、连接
    6. [root@m01 ~]# rsync -avzP --password-file=/etc/rsync.passwd ./* rsync_backup@172.16.1.41::linux
  • 方法三:添加环境变量

    1. 1、定义环境变量(临时添加)
    2. export RSYNC_PASSWORD=123456
    3. 2、同步
    4. [root@m01 ~]# rsync -avzP ./* rsync_backup@172.16.1.41::linux

??¥ - ????′ ???QQè?¨??????_??????è?¨??????è?¨???

4.7 rsync常见报错

  1. 1.报错内容:
  2. [root@web01 ~]# rsync -avz 1.txt rsync_backu@172.16.1.41::backup
  3. Password:
  4. @ERROR: auth failed on module backup
  5. rsync error: error starting client-server protocol (code 5) at main.c(1649) [sender=3.1.2]
  6. #原因:1)虚拟用户的用户名或者密码错误,2)服务端密码文件权限不为600
  7. 2.报错内容:
  8. [root@web01 ~]# rsync -avz 1.txt rsync_backup@172.16.1.41::backup --password-file=/etc/rsync.passwd
  9. ERROR: password file must not be other-accessible
  10. rsync error: syntax or usage error (code 1) at authenticate.c(196) [sender=3.1.2]
  11. #原因:客户端密码文件权限不是600
  12. 3.报错内容:
  13. [root@web01 ~]# rsync -avz 1.txt rsync_backup@172.16.1.41::backu
  14. @ERROR: Unknown module 'backu'
  15. rsync error: error starting client-server protocol (code 5) at main.c(1649) [sender=3.1.2]
  16. #原因:模块名字错误
  17. 4.报错内容:
  18. [root@web01 ~]# rsync -avz 1.txt rsync_backup@172.16.1.41::/backup
  19. ERROR: The remote path must start with a module name not a /
  20. rsync error: error starting client-server protocol (code 5) at main.c(1649) [sender=3.1.2]
  21. #原因:双冒号后面跟的是模块名字,而不是目录名字不要加/
  22. 5.报错内容:
  23. [root@web01 ~]# rsync -avz 1.txt rsync_backup@172.16.1.41::backup
  24. rsync: failed to connect to 172.16.1.41 (172.16.1.41): No route to host (113)
  25. rsync error: error in socket IO (code 10) at clientserver.c(125) [sender=3.1.2]
  26. #原因:防火墙开启,没有配置防火墙规则
  27. [root@backup ~]# firewall-cmd --add-port=873/tcp
  28. success
  29. 6.报错内容:
  30. [root@web01 ~]# rsync -avz 1.txt rsync_backup@172.16.1.41::backup
  31. Password:
  32. sending incremental file list
  33. rewriteip.sh
  34. rsync: mkstemp ".rewriteip.sh.vx4Cry" (in backup) failed: Permission denied (13)
  35. sent 207 bytes received 128 bytes 44.67 bytes/sec
  36. total size is 194 speedup is 0.58
  37. rsync error: some files/attrs were not transferred (see previous errors) (code 23) at main.c(1179) [sender=3.1.2]
  38. #原因:selinux没有关闭
  39. 7.报错内容:
  40. [root@web01 ~]# rsync -avz 1.txt rsync_backup@172.16.1.41::backup
  41. sending incremental file list
  42. rsync: delete of stat xattr failed for "rewriteip.sh" (in backup): Permission denied (13)
  43. sent 55 bytes received 114 bytes 338.00 bytes/sec
  44. total size is 194 speedup is 1.15
  45. rsync error: some files/attrs were not transferred (see previous errors) (code 23) at main.c(1179) [sender=3.1.2]
  46. #原因:服务端备份目录权限不是rsync
  47. 8.报错内容
  48. [root@web01 ~]# rsync -avz 1.txt rsync_backup@172.16.1.41::backup
  49. rsync: failed to connect to 172.16.1.41 (172.16.1.41): Connection refused (111)
  50. rsync error: error in socket IO (code 10) at clientserver.c(125) [sender=3.1.2]
  51. #原因:服务端服务没有启动
  52. 9.报错内容
  53. [root@web01 ~]# rsync -avz 1.txt rsync_backup@10.0.0.41::backup
  54. sending incremental file list
  55. rsync: read error: Connection reset by peer (104)
  56. rsync error: error in socket IO (code 10) at io.c(785) [sender=3.1.2]
  57. #原因:服务端配置错误,导致启动问题

?????? - ????′ ???QQè?¨??????_??????è?¨??????è?¨???

五、Rsync结合inotify(实时同步)

rsync是不支持实时同步的,通常我们借助于inotify这个软件来实时监控文件变化,一旦inotify监控到文件有所变化,则立即调用rsync进行同步。

5.1 安装inotify(装在客户端)

  1. [root@web01 ~]# yum -y install inotify-tools

5.2 常用参数

  1. -m 持续监控
  2. -r 递归
  3. -q 静默,仅打印时间信息
  4. --timefmt 指定输出时间格式
  5. --format 指定事件输出格式
  6. %Xe 事件
  7. %w 目录
  8. %f 文件
  9. -e 指定监控的事件
  10. access 访问
  11. modify 内容修改
  12. attrib 属性修改
  13. close_write 修改真实文件内容
  14. open 打开
  15. create 创建
  16. delete 删除
  17. umount 卸载

5.3 测试命令(开始监控)

  1. /usr/bin/inotifywait -mrq --format '%Xe %w %f' -e create,modify,delete,attrib,close_write [监控路径]

5.4 实时监控并同步

  1. [root@m01 ~]# /usr/bin/inotifywait -mrq --format '%Xe %w %f' -e create,modify,delete,attrib,close_write /root | while read line;do
  2. cd /root && rsync -avzP --delete --password-file=/etc/rsync.passwd ./* rsync_backup@172.16.1.41::backup
  3. done

é??é?· - ????′ ???QQè?¨??????_??????è?¨??????è?¨???

5.5 实时备份脚本编写(供以后使用)

  • 粗略版

    1. [root@backup ~]# vim rsyn-inotify.sh
    2. #!/bin/bash
    3. dir=/backup
    4. /usr/bin/inotifywait -mrq --format '%w %f' -e create,delete,attrib,close_write $dir | while read line;do
    5. cd $dir && rsync -az -R --delete . rsync_backup@172.16.1.31::backup --password-file=/etc/rsync.passwd >/dev/null 2>&1
    6. done &
  • 精油版

    1. #!/bin/bash
    2. src=/data
    3. des=backup
    4. rsync_passwd_file=/etc/rsync.passwd
    5. ip1=172.16.1.41
    6. user=rsync_backup
    7. cd ${src}
    8. /usr/bin/inotifywait -mrq --format  '%Xe %w%f' -e modify,create,delete,attrib,close_write,move ./ | while read file
    9. do
    10. CREATE /backup/ 1.txt
    11. INO_EVENT=$(echo $file | awk '{print $1}')
    12. INO_FILE=$(echo $file | awk '{print $2}')        
    13. if [[ $INO_EVENT =~ 'CREATE' ]] || [[ $INO_EVENT =~ 'MODIFY' ]] || [[ $INO_EVENT =~ 'CLOSE_WRITE' ]] || [[ $INO_EVENT =~ 'MOVED_TO' ]]
    14. then              
    15. rsync -azcR --password-file=${rsync_passwd_file} ${INO_FILE} ${user}@${ip1}::${des}
    16. fi
    17. if [[ $INO_EVENT =~ 'DELETE' ]] || [[ $INO_EVENT =~ 'MOVED_FROM' ]]        
    18. then
    19. rsync -azR --delete --password-file=${rsync_passwd_file} $(dirname ${INO_FILE}) ${user}@${ip1}::${des} >/dev/null 2>&1        
    20. fi
    21. if [[ $INO_EVENT =~ 'ATTRIB' ]]
    22. then
    23. if [ ! -d "$INO_FILE" ]
    24. then
    25. rsync -azcR --password-file=${rsync_passwd_file} $(dirname ${INO_FILE}) ${user}@${ip1}::${des} >/dev/null 2>&1
    26. fi
    27. fi
    28. done &

?¨?è?? - ????′ ???QQè?¨??????_??????è?¨??????è?¨???

原文链接:http://www.cnblogs.com/JZjuechen/p/15746788.html

 友情链接:直通硅谷  点职佳  北美留学生论坛

本站QQ群:前端 618073944 | Java 606181507 | Python 626812652 | C/C++ 612253063 | 微信 634508462 | 苹果 692586424 | C#/.net 182808419 | PHP 305140648 | 运维 608723728

W3xue 的所有内容仅供测试,对任何法律问题及风险不承担任何责任。通过使用本站内容随之而来的风险与本站无关。
关于我们  |  意见建议  |  捐助我们  |  报错有奖  |  广告合作、友情链接(目前9元/月)请联系QQ:27243702 沸活量
皖ICP备17017327号-2 皖公网安备34020702000426号