Linux中常用的shell脚本

Linux中常用的shell脚本

1、对于进程来说,查看其运行时的环境变量

1
cat /proc/$PID/environ

示例

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
#首先需要我们运行一个程序
# pgrep inotifywait
8977
# cat /proc/8977/environ
HOSTNAME=localhost.localdomainSELINUX_ROLE_REQUESTED=TERM=xterm-256colorSHELL=/bin/bashHISTSIZE=1000SSH_CLIENT=192.168.1.100 63684 22SELINUX_USE_CURRENT_RANGE=SSH_TTY=/dev/pts/0USER=rootLS_COLORS=rs=0:di=38;... %sG_BROKEN_FILENAMES=1_=/usr/local/bin/inotifywaitOLDPWD=/data
#一般返回的环境变量会有很多,我们采用换行方式查看会更直观

# cat /proc/8977/environ | tr '\0' '\n'
HOSTNAME=localhost.localdomain
SELINUX_ROLE_REQUESTED=
TERM=xterm-256color
SHELL=/bin/bash
HISTSIZE=1000
SSH_CLIENT=192.168.1.100 63684 22
SELINUX_USE_CURRENT_RANGE=
SSH_TTY=/dev/pts/0
USER=root
....

2、获得字符串长度

1
2
3
4
5
# var=wahaha
# echo ${var}
wahaha
# echo ${#var}
6

3、识别当前使用的是哪种shell

1
2
echo $SHELL
/bin/bash

4、shell脚本检查是执行当前脚本的是否为root用户

1
2
3
4
5
6
7
# cat check_root.sh
#!/bin/bash
if [ $UID -ne 0 ]; then
echo "Non root user. Please run as root."
else
echo Root User
fi

5、修改bash提示字符串(username@hastname:~$)

1
2
3
4
5
6
#利用PS1环境变量来定制
# cat ~/.bashrc | grep PS1
PS1='${debian_chroot:+$($debian_chroot)}\u@\h:\w\$ '
# \u 用户名
# \h 主机名
# \w 当前工作目录

6、如何判断一个命令是否执行成功

1
2
3
当一个命令发生错误并退回时,他会返回一个非0的退出状态;
而当命令成功完成后,它会返回数字0.
退出状态可以从特殊变量 $? 中获得(在命令执行之后立刻运行 $? ,就可以打印出退出状态)

1
2
3
4
5
6
7
8
9
#!/bin/bash
CMD="commod" #commod代表需要检测退出状态的命令
$CMD
if [ $? -eq 0 ];
then
echo "$CMD executed succ"
else
echo "$CMD excuted unsucc"
fi

7、shell中数组的定义与操作

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
#定义1
array_var=(1 2 3 4 5)
#定义2
array_var[0]="test"
array_var[1]="test1"
array_var[2]="test2"
array_var[3]="test3"
#打印特定索引数组元素
echo ${array_var[0]}
#以清单形式打印出数组中的所有值
echo ${array_var[*]}
test test1 test2 test3
#也可以
echo ${array_var[@]}
test test1 test2 test3
#输出数组元素个数
echo ${#array_var[*]}
4

8、按照指定格式打印系统当前时间

1
2
3
4
5
6
7
8
9
10
11
12
13
14
# date "+%Y%m%d"
20161029
# %a 星期 例,Sat
# %A 星期 例,Saturday
# %b 月 例,Nov
# %B 月 例,November
# %d 日 例,31
# %D 固定格式(mm/dd/yy) 例,10/18/10
# %y 年 例,16
# %Y 年 例,2016
# %I或%H 小时 例,08
# %M 分钟 例,30
# %S 秒 例,10
# %N 纳秒 例,694394444

9、shell函数参数传递

1
2
3
4
5
6
7
8
9
10
11
12
13
14
#!/bin/bash
func(){
echo $1,$2 #访问参数1和参数2
echo "$@" #以列表方式一次性打印所有参数
echo "$*" #类似于$@,但是参数被作为单个实体
return 0; #返回值
}

# $1, 第一个参数
# $2, 第二个参数
# $n, 第n个参数
# "$@", 被扩展成"$1" "$2" "$3"等
# "$*", 被扩展成"$1c$2c$3" ,其中c是IFS的第一个字符
# "$@"要比"$*"用的多。由于"$*"将所有参数当做单个字符串,因此它很少被使用

10、利用子shell生成独立进程

1
2
3
4
5
6
7
8
9
10
11
# cat sub_shell.sh
#!/bin/bash
pwd;
(cd /bin; pwd);
pwd;
# ./sub_shell.sh
/root/shell
/bin
/root/shell

# 我们可以发现()中的子shell对于当前shell没有影响,它所有的改变仅限于()内部

11、运行命令直至成功

1
2
3
4
5
6
7
8
9
10
11
12
repeat(){
while true
do
$@ && return
done
}
# 原理:该函数通过$@接收传参。如果命令执行成功,则返回并退出循环,否则一直循环

# Tips:将该函数加入的shell的rc文件中,方便我们使用

# 示例:使用repeat()从网上下载一个文件,直至成功
repeat wget -c http://xxxx.com/example.tar.gz

12、删除多余的空行

1
# cat -s file >> newfile

13、文件查找

1
2
3
# find /home -name "*.txt"
# find . \( -name "*.txt" -o -name "*.pdf" \)
...

14、排序、去重

1
2
3
# 排序  sort
# 去重 uniq
sort file.txt | uniq

1
2
3
4
5
6
7
8
9
10
# cat check_sorted.sh
#!/bin/bash
# 功能:检查文件是否已经排序过
sort -C filename;
if [ $? -eq 0 ]
then
echo Sorted
else
echo Unsorted
fi

15、交互输出自动化实现

1
2
3
4
5
#!/bin/bash
# 文件名:enter.sh
read -p "Enter number:" no ;
read -p "Enter name" name ;
echo You have entered $no $name;

1
2
#利用echo -e来生成输入序列
echo -e "1\nhello\n" | ./enter.sh

16、利用并行进程加速命令执行

1
2
3
4
5
6
7
8
9
#!/bin/bash
PIDARRAY=()
for file in File1.ios File2.ios
do
md5sum $file &
PIDARRAY+=("$!")
done
wait ${PIDARRAY[@]}
# 原理:利用bash的操作符&,它使得shell将命令置于后台并继续执行脚本。使用 $! 来获得进程的PID(在bash中 $! 保存最近一个后台进程的PID)。将这些进程PID放入PIDARRAY数组中。使用wait命令等待这些进程执行完成。

17、查找并删除内容重复的文件

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
#创建测试文件testfile,testfile1,testfile2,newfile ;其中testfile1和testfile2都是testfile的副本

# echo "hello" >> testfile
# cp testfile testfile1
# cp testfile testfile2
# echo hello world >> newfile

# cat remove_duplicates.sh
#!/bin/bash

ls -lS --time-style=long-iso | awk 'BEGIN {
getline; getline;
name1=$8; size=$5;
}{
name2=$8
if(size==$5){
"md5sum "name1 | getline; csum1=$1;
"md5sum "name2 | getline; csum2=$1;
if(csum1==csum2){
print name1;
print name2;
}
}
size=$5;
name1=name2;
}' | sort -u > duplicate_files

cat duplicate_files | xargs -I {} md5sum {} | sort | uniq -w 32 | awk '{print "^"$2"$" }' | sort -u > duplicate_sample

echo Removing...
comm duplicate_files duplicate_sample -2 -3 | tee /dev/stderr | xargs rm
rm -f duplicate_files duplicate_sample
echo Removed duplicates files successfully

# 执行脚本
# ./remove_duplicates.sh
Removing...
testfile
testfile1
Removed duplicates files successfully

# 如上testfile、testfile1、testfile2这三个相同内容的文件,只保留了testfile2.

# 脚本原理说明:
# ls -lS 将当前目录下的所有文件按照文件大小进行排序,并列出文件的详细信息
# awk命令的执行步骤:awk首先会执行BEGIN{}语句块,处理完{}中所有的命令后,在执行END{}语句块
# 在awk中,外部的命令的输出可以用这样的方式来读取,"cmd" | getline ,随后我们就可以用 $0 来获取命令的输出 ,在$1,$2,$3...$n 获取命令输出中的每一列
# BEGIN{}语句块中有两个getline;是因为 ls -lS --time-style=long-iso 命令的输出的第一行是文件的数量,所以我们直接跳过,来获取下一行数据
# comm 通常只接受排过序的文件。所以在之前需要使用 sort -u 进行排序
# tee 命令在这有一个妙用:它将文件名在传递给rm命令的同时,也起到了print的效果。tee将来自stdin的行写入文件,同事将其发送到stdout

18、解析文本中的电子邮件地址和URL

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
# 正则表达式
# mail:[a-zA-Z0-9.]+@[a-zA-Z0-9.]+\.[a-zA-Z]{2,4}
# URL: (http|https)://[a-zA-Z0-9.]+\.[a-zA-Z]{2,3}

# wget www.sina.com.cn/index.html

# 解析index.html中的email
# egrep -o "[a-zA-Z0-9.]+@[a-zA-Z0-9.]+\.[a-zA-Z]{2,4}" index.html
jubao@vip.sina.com
jubao@vip.sina.com

# 解析index.html中的URL
# egrep -o "(http|https)://[a-zA-Z0-9.]+\.[a-zA-Z]{2,3}" index.html
http://www.sina.com.cn
http://www.sina.com.cn
http://auto.sina.com.cn
http://www.sina.com.cn
...
http://hq.sinajs.cn
http://rm.sina.com.cn
http://d4.sina.com.cn
http://d1.sina.com.cn
http://i1.sinaimg.cn
http://news.sina.com.cn
http://login.sina.com.cn
http://login.sina.com.cn

19、以纯文本形式下载网页

1
2
3
4
5
6
7
lynx:是一款基于命令行的web浏览器。我们可以利用它获取纯文本形式的网页

命令:
# lynx -dump http://www.sina.com.cn
-dump 选项表示将网页内容以ASCII编码形式打印

另,lynx会将页面中所有的超链接(<a href="link">)作为文本的页脚,单独放置在标题为 References 的文本区域。如果我们需要匹配除某个页面中所有的超链接也可以使用该方法,也省的我们用正则匹配

20、列出网络上所有的活动主机

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
# cat ping.sh
#!/bin/bash
for ip in 192.168.1.{1..255};
do
ping $ip -c 2 &> /dev/null;

if [ $? -eq 0 ]
then
echo $ip is alive
fi
done

# 并行ping
# cat ping_1.sh
#!/bin/bash
for ip in 192.168.1.{1..255};
do
(
ping $ip -c 2 &> /dev/null;

if [ $? -eq 0 ]
then
echo $ip is alive
fi
)&
done
wait

# 将wait放在脚本最后,它就会一直等到所有的子脚本进程全部结束

21、网络上利用套接字进行快速文件复制

1
2
3
4
5
6
7
8
9
10
11
12
13
14
# 设置侦听套接字
nc -l 1234

# 在另一终端或主机中连接到该套接字
nc 127.0.0.1 1234
message_test

# 连接到套接字后就可以在终端中输入信息回车就会发送

# 文件复制
在接收端执行以下命令:
nc -l 1234 > destination_filename
在发送端执行下列命令:
nc 127.0.0.1 1234 < source_filename

0%