grep用法详解:grep与正则表达式
首先要记住的是:正则表达式与通配符不一样,它们表示的含义并不相同!
正则表达式只是一种表示法,只要工具支持这种表示法,那么该工具就可以处理正则表达式的字符串。vim、grep、awk、sed都支持正则表达式,也正是因为由于它们支持正则,才显得它们强大;在以前上班的公司里,由于公司是基于web的服务型网站(nginx),对正则的需求比较大,所以也花了点时间研究正则,特与大家分享下:
1基础正则表达式
grep工具,以前介绍过。
grep-[acinv]'搜索内容串'filename
-a以文本文件方式搜索
-c计算找到的符合行的次数
-i忽略大小写
-n顺便输出行号
-v反向选择,即找没有搜索字符串的行
其中搜索串可以是正则表达式!
1
搜索有the的行,并输出行号
$grep-n'the'regular_express.txt
搜索没有the的行,并输出行号
$grep-nv'the'regular_express.txt
2利用[]搜索集合字符
[]表示其中的某一个字符,例如[ade]表示a或d或e
woody@xiaoc:~/tmp$grep-n't[ae]st'regular_express.txt
8:Ican'tfinishthetest.
9:Oh!thesouptastegood!
可以用^符号做[]内的前缀,表示除[]内的字符之外的字符。
比如搜索oo前没有g的字符串所在的行.使用'[^g]oo'作搜索字符串
woody@xiaoc:~/tmp$grep-n'[^g]oo'regular_express.txt
2:appleismyfavoritefood.
3:Footballgameisnotusefeetonly.
18:googleisthebesttoolsforsearchkeyword.
19:goooooogleyes!
[]内可以用范围表示,比如[a-z]表示小写字母,[0-9]表示0~9的数字,[A-Z]则是大写字母们。[a-zA-Z0-9]表示所有数字与英文字符。当然也可以配合^来排除字符。
搜索包含数字的行
woody@xiaoc:~/tmp$grep-n'[0-9]'regular_express.txt
5:However,thisdressisabout$3183dollars.
15:Youarethebestismenuyouaretheno.1.
行首与行尾字符^$.^表示行的开头,$表示行的结尾(不是字符,是位置)那么‘^$’就表示空行,因为只有
行首和行尾。
这里^与[]里面使用的^意义不同。它表示^后面的串是在行的开头。
比如搜索the在开头的行
woody@xiaoc:~/tmp$grep-n'^the'regular_express.txt
12:thesymbol'*'isrepresentedasstar.
搜索以小写字母开头的行
woody@xiaoc:~/tmp$grep-n'^[a-z]'regular_express.txt
2:appleismyfavoritefood.
4:thisdressdoesn'tfitme.
10:motorcycleischeapthancar.
12:thesymbol'*'isrepresentedasstar.
18:googleisthebesttoolsforsearchkeyword.
19:goooooogleyes!
20:go!go!Let'sgo.
woody@xiaoc:~/tmp$
搜索开头不是英文字母的行
woody@xiaoc:~/tmp$grep-n'^[^a-zA-Z]'regular_express.txt
1:"OpenSource"isagoodmechanismtodevelopprograms.
21:#IamVBird
woody@xiaoc:~/tmp$
$表示它前面的串是在行的结尾,比如'\.'表示.在一行的结尾
搜索末尾是.的行
woody@xiaoc:~/tmp$grep-n'\.$'regular_express.txt//.是正则表达式的特殊符号,所以要用\转义
1:"OpenSource"isagoodmechanismtodevelopprograms.
2:appleismyfavoritefood.
3:Footballgameisnotusefeetonly.
4:thisdressdoesn'tfitme.
5:However,thisdressisabout$3183dollars.
6:GNUisfreeairnotfreebeer.
.....
注意在MS的系统下生成的文本文件,换行会加上一个^M字符。所以最后的字符会是隐藏的^M,在处理Windows
下面的文本时要特别注意!
可以用catdos_file|tr-d'\r'>unix_file来删除^M符号。^M==\r
那么'^$'就表示只有行首行尾的空行拉!
搜索空行
woody@xiaoc:~/tmp$grep-n'^$'regular_express.txt
22:
23:
woody@xiaoc:~/tmp$
搜索非空行
woody@xiaoc:~/tmp$grep-vn'^$'regular_express.txt
1:"OpenSource"isagoodmechanismtodevelopprograms.
2:appleismyfavoritefood.
3:Footballgameisnotusefeetonly.
4:thisdressdoesn'tfitme.
..........
任意一个字符.与重复字符*
在bash中*代表通配符,用来代表任意个字符,但是在正则表达式中,他含义不同,*表示有0个或多个某个字符。
例如oo*,表示第一个o一定存在,第二个o可以有一个或多个,也可以没有,因此代表至少一个o.
点.代表一个任意字符,必须存在。g??d可以用'g..d'表示。good,gxxd,gabd.....都符合。
woody@xiaoc:~/tmp$grep-n'g..d'regular_express.txt
1:"OpenSource"isagoodmechanismtodevelopprograms.
9:Oh!thesouptastegood!
16:Theworldisthesamewith'glad'.
woody@xiaoc:~/tmp$
搜索两个o以上的字符串
woody@xiaoc:~/tmp$grep-n'ooo*'regular_express.txt//前两个o一定存在,第三个o可没有,也可有多个。
1:"OpenSource"isagoodmechanismtodevelopprograms.
2:appleismyfavoritefood.
3:Footballgameisnotusefeetonly.
9:Oh!thesouptastegood!
18:googleisthebesttoolsforsearchkeyword.
19:goooooogleyes!
搜索g开头和结尾,中间是至少一个o的字符串,即gog,goog....gooog...等
woody@xiaoc:~/tmp$grep-n'goo*g'regular_express.txt
18:googleisthebesttoolsforsearchkeyword.
19:goooooogleyes!
搜索g开头和结尾的字符串在的行
woody@xiaoc:~/tmp$grep-n'g.*g'regular_express.txt//.*表示0个或多个任意字符
1:"OpenSource"isagoodmechanismtodevelopprograms.
14:Thegdsoftwareisalibraryfordraftingprograms.
18:googleisthebesttoolsforsearchkeyword.
19:goooooogleyes!
20:go!go!Let'sgo.
限定连续重复字符的范围{}
.*只能限制0个或多个,如果要确切的限制字符重复数量,就用{范围}。范围是数字用,隔开2,5表示2~5个,
2表示2个,2,表示2到更多个
注意,由于{}在SHELL中有特殊意义,因此作为正则表达式用的时候要用\转义一下。
搜索包含两个o的字符串的行。
woody@xiaoc:~/tmp$grep-n'o\{2\}'regular_express.txt
1:"OpenSource"isagoodmechanismtodevelopprograms.
2:appleismyfavoritefood.
3:Footballgameisnotusefeetonly.
9:Oh!thesouptastegood!
18:googleisthebesttoolsforsearchkeyword.
19:goooooogleyes!
搜索g后面跟2~5个o,后面再跟一个g的字符串的行。
woody@xiaoc:~/tmp$grep-n'go\{2,5\}g'regular_express.txt
18:googleisthebesttoolsforsearchkeyword.
搜索包含g后面跟2个以上o,后面再跟g的行。。
woody@xiaoc:~/tmp$grep-n'go\{2,\}g'regular_express.txt
18:googleisthebesttoolsforsearchkeyword.
19:goooooogleyes!
注意,相让[]中的^-不表现特殊意义,可以放在[]里面内容的后面。
'[^a-z\.!^-]'表示没有小写字母,没有.没有!,没有空格,没有-的串,注意[]里面有个小空格。
另外shell里面的反向选择为[!range],正则里面是[^range]
2扩展正则表达式
扩展正则表达式是对基础正则表达式添加了几个特殊构成的。
它令某些操作更加方便。
比如我们要去除空白行和行首为#的行,会这样用:
woody@xiaoc:~/tmp$grep-v'^$'regular_express.txt|grep-v'^#'
"OpenSource"isagoodmechanismtodevelopprograms.
appleismyfavoritefood.
Footballgameisnotusefeetonly.
thisdressdoesn'tfitme.
............
然而使用支持扩展正则表达式的egrep与扩展特殊符号|,会方便许多。
注意grep只支持基础表达式,而egrep支持扩展的,其实egrep是grep-E的别名而已。因此grep-E支持扩展正则。
那么:
woody@xiaoc:~/tmp$egrep-v'^$|^#'regular_express.txt
"OpenSource"isagoodmechanismtodevelopprograms.
appleismyfavoritefood.
Footballgameisnotusefeetonly.
thisdressdoesn'tfitme.
....................
这里|表示或的关系。即满足^$或者^#的字符串。
这里列出几个扩展特殊符号:
+,于.*作用类似,表示一个或多个重复字符。
?,于.*作用类似,表示0个或一个字符。
|,表示或关系,比如'gd|good|dog'表示有gd,good或dog的串
(),将部分内容合成一个单元组。比如要搜索glad或good可以这样'g(la|oo)d'
()的好处是可以对小组使用+?*等。
比如要搜索A和C开头结尾,中间有至少一个(xyz)的串,可以这样:'A(xyz)+C'