Linux shell编程速查笔记

零、shell中的内部变量:

1. $?: 表示shell命令的返回值.
2. $$: 表示当前shell的pid.
3. $!: 最后一个放入后台作业的PID值.
4. $0: 表示脚本的名字.
5. $1--$9,${10}: 表示脚本的第一到九个参数,和第十个参数.
6. $#: 表示参数的个数.
7. $*,$@: 表示所有的参数.
两者的区别如下: //都是双引号惹的祸^-^
/> set 'apple pie' pears peaches
/> for i in $*
> do
> echo $i
> done
apple
pie
pears
peaches

/> set 'apple pie' pears peaches
/> for i in $@
> do
> echo $i
> done
apple
pie
pears
peaches

/> set 'apple pie' pears peaches
/> for i in "$*"
> do
> echo $i
> done
apple pie pears peaches

/> set 'apple pie' pears peaches
/> for i in "$@"
> do
> echo $i
> done
apple pie //这里的单引号将两个单词合成一个.
pears
peaches

一、正则表达式在vi中的用法：

1. ^: 如/^love,表示所有以love开头的行.
2. $: 如/love$,表示所有以love结尾的行.
3. .: 如/l..e, dot表示任意字符，如love,l22e,live等.
4. *: 如/*love, *表示0多多个字符,这里表示love前面可以有0个多任意多个空格字符，

如/go*gle,可以表示ggle,gogle,google,goooooooogle.
5. []: 如/[Ll]ove,[]中的任意一个字符都可能成为候选者,如Love和love.
6. [x-y]: 如/[A-Z]t, 表示[]中指定范围内的字符都可能成为候选者,如At, It等,

也可表示多个区间段如：[a-zA-TV-Z]表示所有除V之外的所有大小写英文字符.
7. [^]: 如/[^A-Z]ove,表示A-Z之内的任意字符都是非法的, 如Love,Dove等.
8. \: 转义符, 如果想表示任何meta字符的原义, 需使用在meta字符前加转义符\, 如\.将只

表示dot，而不能在表示任何其他字符了.
9. \<: 如/\<love, 表示任何单词的开始, 如love和lover, 但是glove将非法.
10. \>: 如/love\>, 表示任何单词的结束, 如love和glove, 但是lover将非法.
11. \(..\): 如/\(love\)able/\1rs/, 这里的\1表示love, 这种标签替代最多达到\9,

该例子表示用lovers代替loveable.
12. x\{m\}: 如x\{5\}, 表示x被重复5次,如xxxxx.
13. x\{m,\}: 如x\{5,\}, 表示x被至少重复5次,如xxxxx,xxxxxxxx.
14. x\{m,n\}: 如x\{5,10\}, 表示x被重复5-10次,如xxxxx,xxxxxxxx.
以下为grep的正则表示式用法:
15. \w和\W: 等同于[a-zA-Z0-9].
16. \b: 等同于\<和\>,均表示单词的边界.
以下为grep的正则表示式的扩展用法(grep -E或egrep):
17. +: 如/lo+ve, +表示1个或者多个先前的字符,这里表示love,loove,但是lve非法.
18. ?: 如/lo?ve, ?表示0个或者1个先前的字符, 这里只表示love和lve.
19. (a|b|c): 如/l(o|i)ve, 表示或的意思,这里表示love和live.

(o|i)和[oi]的主要区别就是(word|word)可以表示单词之间或的关系,[]只能表示字符.
20. x{m},x{m,},x{m,n} 等同于grep普通模式中的x\{m\},x\{m,\},x\{m,n\}.

二、grep家族:

1. 家族成员:
egrep: 执行带有扩展正则表达式元字符的grep搜索.
fgrep: 将关闭grep的所有正则功能, 即搜索字符串中所有正则元字符都只是表示其字符本意.
2. 返回值:
0: 表示成功
1: 表示搜索字符串不存在
2: 表示搜索文件不存在.
3. grep的选项规则:
-#,-A#和-B#: 表示在输出匹配内容的时候同时也输出其上下指定数量的行数, 如

grep -2 "love" *, 该例输出匹配love的上下两行,
grep -A2 "love" * 该例输出匹配love的后两行.（A表示after）

grep -B2 "love" * 该例输出匹配love的前两行.（B表示before)
-F: 等同于fgrep, 这个选项将关闭所有正则功能,即所有正则的元字符均表示其本身含义.
-c: 不输出找到的内容,只是输出在该文件中有多少匹配的行数.
-h: 不输出匹配搜索字符串的文件的文件名,只是输出内容.
-i: 搜索时忽略大小写.
-l: 只显示匹配搜索内容的文件名, 不显示具体的内容.
-L: 只显示没有包含搜索内容的文件名.
-n: 输出匹配内容的同时也输出其所在的行号.
-v: 反向搜索,输出不匹配搜索字符串的行.
-w:只打印以完整单词形式匹配的行, 如果该搜索字符为某个单词的部分内容,将不会被输出.
-x: 只打印以行形式匹配的行, 如果该搜索字符为行的部分内容,将不会被输出.
-q: 不会输出任何信息, 该选项主要用于测试某个搜索字符或搜索pattern在执行grep命令之后

的返回值.
-r: 表示递归的搜索当前目录的子目录中的文件.
4. 对于普通模式的grep,如果搜索的字符中普通字符前面加入\,则该字符按照扩展grep(egrep或者grep -E)的正则规则进行查找.如grep "love\|live" filename, 将等同于egrep "love|live" filename,这里的\|将按照egrep中的|元字符处理, 再如, egrep "3+" filename等同于grep "3\+" filename.

三、sed:

1. sed命令:
, :表示范围.
1) sed -n '/west/,/east/p' datafile 表示打印所有从包含west开始到包含east的行,如果直到文件的结尾都没有包含east的行,将打印west后面的所有行.其实逻辑很简单, 就是sed在发现包含west行之后开始打印该行,直到发现包含east的行打印才结束,否则一直打印直到文件的末尾.
2) sed -n '5,/^northeast/p' datafile 表示从第五行开始打印,直到遇到以northeast开始的行结束打印.

! :表示对匹配结果取反.
1) sed '/north/!d' datafile 将删除所有不包含north的行.

a :追加命令.
1) sed '/^north/a first line \
second line \
third line' datafile 将会在所有包含north行的后面追加

first line \r second line \n third line. 其中\表示下一行还有内容的连词. 如果是c-shell:
2）sed '/^north/a first line \\
second line \\
third line' datafile 其中多出来的\是转义符.

d :表示删除.
1) sed '/north/d' datafile 将删除所有包含north的行.
2) sed '3d' datafile 将删除第三行.
3) sed '3,$d' datafile 将删除第三行到文件的结尾行.
4) sed 'd' datafile 将删除所有行.

e :表示多点编辑.
1) sed -e '1,3d' -e 's/Hemenway/Jones/' datafile 一个sed语句执行多条编辑命令, 因此命令的顺序会影响其最终结果.
2) sed -e 's/Hemenway/Jones/' -e 's/Jones/Max/' datafile 先用Jones替换Hemenway, 再用Max替换Jones.

h和g/G :保持和获取命令.
1) sed -e '/northeast/h' -e '$G' datafile sed将把所有包含northeast的行轮流缓存到其内部缓冲区, 最后将只是保留最后一个匹配的行, $G是将缓冲区的行输出到$G匹配行的后面, 该例表示将最后一个包含northeast的行追加到文件的末尾.
2) sed -e '/WE/{h; d;}' -e '/CT/{G;}' datafile 表示将包含WE的行保存到缓冲区, 然后删除该行,最后将缓冲区中保存的那份输出到CT行的后面.
3) sed -e '/northeast/h' -e '$g' datafile 表示将包含northeast的行保存到缓冲区, 再将缓冲区中保存的那份替换文件的最后一行并输出.

再与h合用时, g表示替换, G表示追加到匹配行后面.
4) sed -e '/WE/{h; d;}' -e '/CT/{g;}' datafile 保留包含WE的行到缓冲区, 如果有新的匹配行出现将会替换上一个存在缓冲区中的行, 如果此时发现有包含CT的行出现, 就用缓冲区中的当前行替换这个匹配CT的行, 之后如果有新的WE出现, 将会用该新行替换缓冲区中数据, 当前再次遇到CT的时候,将用最新的缓冲区数据替换该CT行.

i :表示插入.
1) sed '/north/i first line \
second line \
third line' datafile 其规则和a命令基本相同, 只是a是将额外的信息输出到匹配行的后面, i是将额外信息输出到匹配行的前面.

p :表示打印.
1) sed '/north/p' datafile 将打印所有包含north的行.
2) sed '3p' datafile 将打印第三行.
3) sed '3,$p' datafile 将打印第三行到文件的结尾行.
4) sed 'p' datafile 将打印所有行.
注: 使用p的时候sed将会输出指定打印的行和所有行, 当其与-n选项组合时候,将只是打印输出匹配的行.

n :下一行命令.
1) sed '/north/ {n; s/Chin/Joseph/}' datafile 将先定位包含north的行, 然后取其下一行作为目标行, 再在该目标行上执行s/Chin/Joseph/的替换操作.
2) sed '/north/ {n; n; s/Chin/Joseph/}' datafile 将取north包含行的后两行作为目标行.
注: {}作为嵌入的脚本执行.

q :退出命令.
1) sed '5q' datafile 到第五行退出(输出第五行).
2) sed '/north/q' datafile 输出到包含north的行退出(输出包含north的行).
3) sed '/Lewis/ {s/Lewis/Joseph/; q}' datafile 将先定位包含Lewis的行, 然后用Joseph替换Lewis,最后退出sed操作.

r :文件读入.
1) sed '/Suan/r newfile' datafile 在输出时,将newfile的文件内容跟随在datafile中包含Suan的行后面输出,如果多行都包含Suan,则文件被多次输出.

s :表示替换.
1) sed 's/west/north/g' datafile 将所有west替换为north, g表示如果一行之内多次出现west,将全部替换, 如果没有g命令,将只是替换该行的第一个匹配.
2) sed -n 's/^west/north/p' datafile 将所有以west开头的行替换为north, 同时只是输出替换匹配的行.
3) sed -n '1,5 s/\(Mar\)got/\1ianne/p' datafile 将从第一行到第五行中所有的Margot替换为Marianne, \1是\(Mar\)的变量替代符.

w :文件写入.
1) sed -n '/north/w newfile2' datafile 将datafile中所有包含north的行都写入到newfile2中.

x :互换命令.
1) sed -e '/pat/h' -e '/Margot/x' datafile x命令表示当定位到包含Margot行,互换缓冲区和该匹配Margot行的数据, 即缓冲区中的数据替换该匹配行显示, 该匹配行进入缓冲区, 如果在交换时缓冲区是空, 则该匹配行被换入缓冲区, 空行将替换该行显示, 后面依此类推. 如果交换后, 再次出现匹配pat的行, 该行将仍然会按照h命令的规则替换(不是交换, 交换只是发生在发现匹配Margot的时候)缓冲区中的数据.

y :变形命令.
1) sed '1,3y/abcd/ABCD/' datafile 将1到3行中的小写abcd对应者替换为ABCD,注意abcd和ABCD是一一对应的. 如果他们的长度不匹配,sed将报错.
2) sed 'y/abcdefghijklmnopqrstuvwxyz/ABCDEFGHIJKLMNOPQRSTUVWXYZ/' datafile 将datafile中所有的小写字符替换为大写字母.