inotify+rsync实现实时同步的方法

1.1 什么是实时同步：如何实现实时同步

要利用监控服务（inotify），监控同步数据服务器目录中信息的变化

发现目录中数据产生变化，就利用rsync服务推送到备份服务器上

1.2 实现实时同步的方法

inotify+rsync 方式实现数据同步

sersync 方式实现实时数据同步 详情参照：sersync实现数据实时同步的方法

1.2.1 实时同步原理介绍

1.3 inotify+rsync 方式实现数据同步

1.3.1 inotify简介

inotify是一种强大的，细粒度的。异步的文件系统事件监控机制，linux内核从2.6.13起，加入了 inotify支持，通过inotify可以监控文件系统中添加、删除，修改、移动等各种事件,利用这个内核接口，第三方软件就可以监控文件系统下文件的各种变化情况，而 inotify-tools 正是实施这样监控的软件。国人周洋在金山公司也开发了类似的实时同步软件sersync。

提示信息：

sersync软件实际上就是在 inotify软件基础上进行开发的，功能要更加强大些 ，多了定时重传机制，过滤机制了提供接口做 cdn，支持多线程橾作。

inotify实际是一种事件驱动机制，它为应用程序监控文件系统事件提供了实时响应事件的机制，而无须通过诸如cron等的轮询机制来获取事件。cron等机制不仅无法做到实时性，而且消耗大量系统资源。相比之下，inotify基于事件驱动，可以做到对事件处理的实时响应，也没有轮询造成的系统资源消耗，是非常自然的事件通知接口，也与自然世界事件机制相符合。

inotify的实现有几款软件：

inotify-tools，sersync，lrsyncd

1.3.2 inotify+rsync使用方式

inotify 对同步数据目录信息的监控

rsync 完成对数据信息的实时同步

利用脚本进行结合

1.4 部署inotify软件的前提

需要2.6.13以后内核版本才能支持inotify软件。2.6.13内核之后版本，在没有安装inotify软件之前，应该有这三个文件。

1.4.1 三个重要文件的说明

 

文件	默认值	作用说明
max_user_watches	8192	设置inotifywait或inotifywatch命令可以监视的文件数量（单进程）
max_user_instances	128	设置每个用户可以运行的inotifywait或inotifywatch命令的进程数
max_queued_events	16384	设置inotify实例事件（event）队列可容纳的事件数量

 

1.4.3 【官方说明】三个重要文件1.4.2 【服务优化】可以将三个文件的数值调大，监听更大的范围

通过man手册的第7级别中查到 inotify的默认文件的详细说明。

1.5 inotify软件介绍及参数说明

1.5.1 两种安装方式

1） yum install -y inotify-tools

2） 手工编译安装

注：

yum 安装需要有epel源

http://mirrors.aliyun.com

手工编译安装方式需要到github上进行下载软件包

inotify软件的参考资料链接：

https://github.com/rvoicilas/inotify-tools/wiki

1.5.2 inotify主要安装的两个软件

inotifywait： （主要）

在被监控的文件或目录上等待特定文件系统事件（open close delete等）发生，执行后处于阻塞状态，适合在shell脚本中使用

inotifywatch：

收集被监控的文件系统使用的统计数据，指文件系统事件发生的次数统计。

说明：在实时实时同步的时候，主要是利用inotifywait对目录进行监控

1.5.3 inotifywait命令参数说明

 

参数	含义
-m, --monitor （重要参数）	keep listening for events forever. without this option, inotifywait will exit after one event is received. 始终保持事件监听。
-d, --daemon	111
-r, --recursive （重要参数）	watch all subdirectories of any directories passed as arguments. 递归监控目录数据信息变化
-o, --outfile <file>	print events to <file> rather than stdout. 打印事件到文件中，相当于标准正确输出
-s, --syslog	output errors to syslog(3) system log module rather than stderr. 发送错误到syslog相当于标准错误输出
-q, --quiet （重要参数）	if specified once, the program will be less verbose. specifically, it will not state when it has completed establishing all inotify watches. 输出信息少（只打印事件信息）
--exclude <pattern>	exclude all events on files matching the extended regular expression <pattern>. 排除文件或目录
--excludei <pattern>	like --exclude but case insensitive. 排除文件或目录时，不区分大小写
--timefmt <fmt> （重要参数）	print using a specified printf-like format string; read the man page for more details. 指定时间输出格式
--format <fmt> （重要参数）	print using a specified printf-like formatstring; read the man page for more details. 打印使用指定的输出类似格式字符串；即实际监控输出内容
-e （重要参数）	listen for specific event(s). if omitted, all events are listened for. 指定监听指定的事件，如果省略，表示所有事件都进行监听
以上的信息可以通过 inotifywait --help 获得

 

1.5.4.1 【实例】inotifywait监控中的事件测试

1、创建事件

2、删除事件

3、修改事件

4、移动事件 moved_to

5、移动事件 moved_from

1.5.5 inotifywait 参数 --format <fmt>格式定义参数

 

命令参数	参数说明
%w（重要参数）	事件出现时，监控文件或目录的名称信息
%f（重要参数）	事件出现时，将显示监控目录下触发事件的文件或目录信息，否则为空
%e（重要参数）	显示发生的事件信息，不同的事件信息用逗号进行分隔
%xe	显示发生的事件信息，不同的事件信息有x进行分隔，可以修改x为指定分隔符
%t（重要参数）	输出时间格式中定义的时间格式信息，通过 --timefmt option 语法格式指定时间信息 这个格式是通过strftime函数进行匹配时间格式信息的
以上的信息可以通过 inotifywait --help 获得

 

1.5.6 inotifywait 参数--timefmt <fmt>时间格式参数

 

命令参数	参数说明
%d（重要参数）	the day of the month as a decimal number(range 01 to 31) 每月的第几天，显示倍息为十进制数（范围是 01-31 )
%m（重要参数）	the month as a decimal number (range 01 to 12). 显示月份，显示信息为十进制（范围 01-12 )
%m	the minute as a decimal number (range 00 to 59). 显示分钟，显示信息为十进制（范围 00-59 )
%y（重要参数）	the year as a decimal number without a century (range 00 to 99). 年份信息，显示信息为十进制，并且没有世纪信息
%y	the year as a decimal number including the century. 年份信息，显示信息为十进制，并且包含世纪信息
%h	the hour as a decimal number using a 24-hour clock (range 00 to 23). 小时信息，显示信息为十进制，使用 24小时制（范围 00-23 )
说明：以上信息可以通过 man strftime信息获取

 

1.5.6.1 修改输出的日期格式

1.5.7 -e[参数] 重要监控事件参数汇总表：

 

重要事件	包含事件	备注说明
close	close_write close_nowrite	文件或目录关闭，不管读或是写模式 即包含写关闭与读关闭
close_write	create	包含文件创建事件，但不包含目录创建事件
move	moved_to moved_from	文件或目录不管移动到或是移动出监控目录都触发事件 即包含信息移入或移出监控目录事件
重要参数汇总：根据以上说明，在实际使用时，只要监控以下事件即可 create 创建、 delete 删除、 movedjto 移入、 close_write 修 改 inotifywait -mrq /data --format "%w%f" -e create,delete,moved_to,close_write

 

1.6 对inotifywait命令的测试

对inotifywait命令测试的说明：

需要打开两个连接窗口

1.6.1 、创建文件的逻辑↓

1.6.2 创建目录逻辑↓

1.6.3 监控子目录下的文件↓

1.6.4 sed命令修改逻辑

sed命令替换逻辑 ：

01. 创建临时文件

02. 将原文件内容放置到临时文件中，修改替换临时文件中的内容，原有文件不做改动

03. 重命名临时文件，覆盖原文件

1.6.5 inotifywait监控中 -e 的参数使用

说明：表示只监听create事件

说明：不指定-e参数，表示监听所有事件

02. 删除事件delete

03. 修改事件close_write

04. 移动事件moved_to

1.7 实时同步命令参数示意图

第2章 inotify+rsync实时同步服务部署

2.1 第一个里程碑：部署rsync服务

2.1.1 rsync服务端部署

1)软件是否存在

需求：查询到某个命令非常有用。但是不知道属于哪个软件包

2)进行软件服务配置

3)创建rsync管理用户

4)创建数据备份储存目录,目录修改属主

5)创建认证用户密码文件并进行授权600

6)启动rsync服务

至此服务端配置完成

2.1.2 rsync客户端配置

1)软件是否存在

2)创建安全认证文件，并进行修改权限600

3) 测试数据传输

2.2 第二个里程碑：部署inotify服务

首先先确认是否有epel源用来安装inotify-tools软件

2.2.1 安装inotify软件

两种安装方式

1） yum install -y inotify-tools

2） 手工编译安装

注：

手工编译安装方式需要到github上进行下载软件包

inotify软件的参考资料链接：

https://github.com/rvoicilas/inotify-tools/wiki

2.2.2 查看inotify安装上的两个命令(inotifywait,inotifywatch)

2.2.2.1 inotifywait和inotifywatch的作用：

一共安装了2个工具（命令），即inotifywait和inotifywatch

inotifywait : 在被监控的文件或目录上等待特定文件系统事件（open close delete等）发生，

执行后处于阻塞状态，适合在shell脚本中使用

inotifywatch :收集被监控的文件系统使用的统计数据,指文件系统事件发生的次数统计。

说明：yum安装后可以直接使用，如果编译安装需要进入到相应软件目录的bin目录下使用

2.3 第三个里程碑：编写脚本，实现rsync+inotify软件功能结合

2.3.1 rsync服务命令：

2.3.2 inotify服务命令：

2.3.3 编写脚本：

脚本说明：

for循环会定义一个条件，当条件不满足时停止循环

while循环：只要条件满足就一直循环下去

2.3.4 对脚本进行优化

2.4 第四个里程碑：测试编写的脚本

2.4.1 让脚本在后台运行

在/data 目录先创建6个文件

在backup服务器上，已经时候同步过去了6个文件。

2.5 利用while循环语句编写的脚本停止方法（kill）

01. ctrl+z暂停程序运行，kill -9杀死

02. 不要暂停程序，直接利用杀手三剑客进行杀进程

说明：kill三个杀手不是万能的，在进程暂停时，无法杀死；kill -9 （危险）

2.5.1 查看后台都要哪些程序在运行

2.5.2 fg将后台的程序调到前台来

2.6 进程的前台和后台运行方法：

fg-- 前台

bg-- 后台

2.6.1 脚本后台运行方法

2.7 screen实现脚本程序后台运行

2.7.1 经过yum查找发现screen命令属于screen包

2.7.2 安装screen软件

2.7.3 screen命令的参数

在shell中输入 screen即可进入screen 视图

screen实现后台运行程序的简单步骤:

screen -ls ：可看screen会话

screen +a d ：退出当前的screen，保持其后台运行

screen -r id :指定进入哪个screen会话

screen命令中用到的快捷键

ctrl+a c ：创建窗口

ctrl+a w ：窗口列表

ctrl+a n ：下一个窗口

ctrl+a p ：上一个窗口

ctrl+a 0-9 ：在第0个窗口和第9个窗口之间切换

ctrl+a k(大写) ：关闭当前窗口，并且切换到下一个窗口 ，

（当退出最后一个窗口时，该终端自动终止，并且退回到原始shell状态）

exit ：关闭当前窗口，并且切换到下一个窗口

（当退出最后一个窗口时，该终端自动终止，并且退回到原始shell状态）

ctrl+a d ：退出当前终端，返回加载screen前的shell命令状态

ctrl+a " : 窗口列表不同于w

以上这篇inotify+rsync实现实时同步的方法就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持米米素材网。

原文链接：http://www.cnblogs.com/clsn/p/8022625.html