Linux中通过inotify-tools实现监控文件变化
inotify-tools 是一个用C语言库,一个为Linux提供简单inotify接口的命令行程序。这些程序可以用于监视文件系统事件并执行相应操作。这些程序是用C语言来写的,除了需要Linux内核的inotify支持外,没有其他的依赖。inotify-tools 3.14是目前最新版本,其于2010年3月7日发布。
那么什么inotify又是什么?
inotify,它是Linux在内核 2.6.13 (June 18, 2005)版本中引入的一个新功能,它为用户态监视文件系统的变化提供了强大的支持,允许监控程序打开一个独立文件描述符,并针对事件集监控一个或者多个文件,例如打开、关闭、移动/重命名、删除、创建或者改变属性。
官方站点地址:http://inotify-tools.sourceforge.net/
Github地址:https://github.com/rvoicilas/inotify-tools
inotify安装
inotify支持检测
只有在内核 2.6.13 (June 18, 2005)以上的Linux版本中才支持inotify-tools。
查看当前系统是否支持inotify, 可用通过 uname -a 查看你的内核版本
uname -a
Linux localhost.localdomain 2.6.32-279.el6.i686 #1 SMP Fri Jun 22 10:59:55 UTC 2012 i686 i686 i386 GNU/Linux
或
cat /proc/version
Linux version 2.6.32-279.el6.i686 (mockbuild@c6b9.bsys.dev.centos.org) (gcc version 4.4.6 20120305 (Red Hat 4.4.6-4) (GCC) ) #1 SMP Fri Jun 22 10:59:55 UTC 2012
或者查看/proc/sys/fs/inotify/
,如果看到显示 max_queued_events max_user_instances max_user_watches 则说明支持inotify
ls /proc/sys/fs/inotify/
max_queued_events max_user_instances max_user_watches
inotify-tools安装
#wget --no-check-certificate https://github.com/downloads/rvoicilas/inotify-tools/inotify-tools-3.14.tar.gz
#tar zxvf inotify-tools-3.14.tar.gz
#cd inotify-tools-3.14
#./configure
#make
#make install
注:源码包安装需要编译,需要系统已经安装过C编译器
在系统下执行man inotify 、 man inotifywait、man inotifywatch即可得到相应的帮助信息,如果看到信息 则表示安装完成.
inotify-tools使用
inotify 的默认内核参数详解
/proc/sys/fs/inotify/max_queued_events
默认值: 16384
该文件中的值为调用inotify_init时分配给inotify instance中可排队的event的数目的最大值,超出这个值得事件被丢弃,但会触发IN_Q_OVERFLOW事件
/proc/sys/fs/inotify/max_user_instances
默认值: 128
指定了每一个real user ID可创建的inotify instatnces的数量上限
/proc/sys/fs/inotify/max_user_watches
默认值: 8192
指定了每个inotify instance相关联的watches的上限,也就是每一个inotify实例可监控的最大目录数。如果监控的文件数目巨大,需要根据实际情况适当增加此值得大小。
注意:
max_queued_events 是 Inotify 管理的队列的最大长度,文件系统变化越频繁,这个值就应该越大!如果你在日志中看到Event Queue Overflow,说明max_queued_events太小需要调整参数后再次使用
优化参数配置
echo 104857600 > /proc/sys/fs/inotify/max_user_watches
inotify-tools 工具包中包含了两个命令
- inotifywait
- inotifywatch
inotifywait
inotifywait 仅执行阻塞,等待 inotify 事件,你可以使用它来监控任何一组文件和目录,或监控整个目录树(目录、子目录、子目录的子目录等等),并且可以结合 shell 脚本,更好的使用 inotifywait。
命令格式:
inotifywait [-hcmrq] [-e <event> ] [-t <seconds> ] [--format <fmt> ] [--timefmt <fmt> ] <file> [ ... ]
选项参数:
-h|--help 显示帮助信息
@<file> 排除不需要监视的文件,可以是相对路径,也可以是绝对路径
--exclude <pattern>
正则匹配需要排除的文件,大小写敏感
--excludei <pattern>
正则匹配需要排除的文件,忽略大小写。
-m|--monitor 接收到一个事情而不退出,无限期地执行。默认行为是接收到一个事情后立即退出
-d|--daemon 跟--monitor一样,除了是在后台运行,需要指定--outfile把事情输出到一个文件。也意味着使用了--syslog
-r|--recursive 监视一个目录下的所有子目录
--fromfile <file>
从文件读取需要监视的文件或排除的文件,一个文件一行,排除的文件以@开头
-o|--outfile <file>
输出事件到文件.
-s|--syslog 输出错误信息到系统日志
-q|--quiet 不输出详细信息,只输出事件
-qq 除了致命错误,不会输出任何信息
--timefmt <fmt> 指定时间格式,用于�format选项中的%T格式
-c|--csv 输出csv格式。
-t|--timeout <seconds>
设置超时时间,如果为0,则无限期地执行下去。
-e|--event <event1> [ -e|--event <event2> ... ]
指定监听的时间,如果省略,则侦听所有事件。
--format <fmt> 指定输出格式
%w 表示发生事件的目录
%f 表示发生事件的文件
%e 表示发生的事件
%Xe 事件以“X”分隔
%T 使用由--timefmt定义的时间格式
可监听的事件
access 文件或者目录被读
modify 文件或目录被写入
attrib 文件或者目录属性被更改
close_write 文件或目录关闭,在写模式下打开后
close_nowrite 文件或目录关闭,在只读模式打开后
close 文件或目录关闭,而不管是读/写模式
open 文件或目录被打开
moved_to 文件或者目录移动到监视目录
moved_from 文件或者目录移出监视目录
move 文件或目录移出或者移入目录
create 文件或目录被创建在监视目录
delete 文件或者目录被删除在监视目录
delete_self 文件或目录移除,之后不再监听此文件或目录
unmount 文件系统取消挂载,之后不再监听此文件系统
示例1、监控/data
目录
inotifywait -rmq /data
我们在另一个终端中想该目录中写入一个文件
echo "test" >> /data/newfile
这个时候我们就会在前一个终端中看到如下信息
# inotifywait -rmq /data
/data/ CREATE newfile
/data/ OPEN newfile
/data/ MODIFY newfile
/data/ CLOSE_WRITE,CLOSE newfile
如上所示,我们监控的了对于newfile文件的 CREATE、OPEN、MODIFY、CLOSE_WRITE、CLOSE等事件。
示例2、实时监控对/etc/passwd
文件的修改、删除和权限相关时间,并且按照指定格式输出。
# inotifywait -mrq --timefmt '%d/%m/%y %H:%M' --format '%T %w%f %e' --event modify,delete,attrib /etc/passwd
这是我们在另一终端创建一个新用户
# useradd testuser
这时在前一个终端中就会监控到一个ATTRIB 事件
# inotifywait -mrq --timefmt '%d/%m/%y %H:%M' --format '%T %w%f %e' --event modify,delete,attrib /etc/passwd
29/10/16 16:59 /etc/passwd ATTRIB
示例3、实现对 /data/web 目录进行监控,监控文件删除,修改,创建和权限相关事件,并且要求将监控信息写入/var/log/web_watch.log。要求日志条目要清晰明了,能突显文件路径、事件名和时间。
# cat web_watch.sh
#!/bin/bash
inotifywait -mrq --timefmt '%y/%m/%d %H:%M' --format '%T %w%f %e' --event delete,modify,create,attrib /data/web | while read date time file event
do
case $event in
MODIFY|CREATE|MOVE|MODIFY,ISDIR|CREATE,ISDIR|MODIFY,ISDIR)
echo $event'-'$file'-'$date'-'$time >> /var/log/web_watch.log
;;
MOVED_FROM|MOVED_FROM,ISDIR|DELETE|DELETE,ISDIR)
echo $event'-'$file'-'$date'-'$time /var/log/web_watch.log
;;
esac
done
运行脚本后,在另一个终端操作后,查看/var/log/web_watch.log
日志
# cat /var/log/web_watch.log
CREATE-/data/web/a-14/06/27-16:21
CREATE-/data/web/aa-14/06/27-16:21
CREATE-/data/web/aaaa-14/06/27-16:24
CREATE-/data/web/aaaaa-14/06/27-16:24
更多的使用方式,请查看 inotifywatch man page
inotifywatch
inotifywatch 用来收集关于被监视的文件系统的统计数据,包括每个 inotify 事件发生多少次。
命令格式:
inotifywatch [-hvzrqf] [-e <event> ] [-t <seconds> ] [-a <event> ] [-d <event> ] <file> [ ... ]
选项参数:
-h|--help 显示帮助信息
-v|--verbose 详细信息
@<file> 排除不需要监视的文件,可以是相对路径,也可以是绝对路径
--fromfile <file> 从文件读取需要监视的文件或排除的文件,一个文件一行,排除的文件以@开头
--exclude <pattern> 正则匹配需要排除的文件,大小写敏感
--excludei <pattern> 正则匹配需要排除的文件,忽略大小写。
-z|--zero 输出表格的行和列,即使元素为空
-r|--recursive 监视一个目录下的所有子目录
-t|--timeout <seconds>
设置超时时间,如果为0,则无限期地执行下去。
-e|--event <event1> [ -e|--event <event2> ... ]
指定监听的时间,如果省略,则侦听所有事件。
-a|--ascending <event> 以指定事件升序排列
-d|--descending <event> 以指定事件降序排列
示例1、统计/data目录所在文件系统发生的事件次数
inotifywatch -v -e create,modify,delete -t 30 -r /data
然后在另一终端中进行一些操作
# echo "test" >> /data/newfile1
...
# rm /data/newfile
rm:是否删除普通文件 "/data/newfile"?y
# rm /data/newfile1
rm:是否删除普通文件 "/data/newfile1"?y
30秒后,前一个终端会生成如下报告
# inotifywatch -v -e create,modify,delete -t 30 -r /data
Establishing watches...
Setting up watch(es) on /data
OK, /data is now being watched.
Total of 1 watches.
Finished establishing watches, now collecting statistics.
Will listen for events for 30 seconds.
total modify create delete filename
11 8 1 2 /data/
更多的使用方式,请查看 inotifywatch man page