Linux文本处理命令(wc,cut,sort,uniq,diff,patch)详解
我相信大家在使用Linux过程中总会遇到想要提取某些自己需要的信息的情况,比如如下这四种情况:
1、找出ifconfig命令结果中eno16777728的IPv4地址
2、查出分区空间使用率的最大百分比值
3、查出/tmp的权限,以数字方式显示
这个时候,我们使用命令当然也可以查看,不过还需要自己通过眼睛去过滤不需要的信息,多费劲。如何让自己更轻松的看到自己想看到自己想看的信息呢?今天的文本处理命令能满足我们的简单需求。
wc 此wc非彼WC,在这里wc是word count的简写
wc - print newline, word, and byte counts for each file
其表达格式:wc [OPTION]... [FILE]...
常用选项:
-l:lines 只显示行数
-w:words 只显示单词总数
-c:bytes 只显示该内容字节总数
下面以实例来具体显示wc的功用
创建/test目录 创建/test/wc.txt文件
[root@localhost test]# cat > 1
hello me
hello my boy
使用cat在wc.txt内输入一些字符
[root@localhost test]# wc wc.txt
2 5 22 wc.txt 第一个2代表行数 第二个5代表单词数 第三个22代表该内容字节总数
[root@localhost test]# wc -l wc.txt
2 wc.txt
[root@localhost test]# wc -c wc.txt
22 wc.txt
[root@localhost test]# wc -w wc.txt
5 wc.txt
cut
cut - remove sections from each line of files
表达格式:cut OPTION... [FILE]...
常用选项:
-d<char> : 以指定的字符为分隔符
-f #(单个字段)|#-#(连续多个字段)|#,...,#(离散多个字段)
-c 按字符切割
--output-delimiter=STRING指定输出分隔符
以/etc/passwd文件为对象做实验
1、取用户名及用户UID并指定输出的分隔符为#
[root@localhost test]# tail -5 /etc/passwd
laowang:x:4322:4322::/home/laowang:/bin/bash
u1:x:4323:4323:UUU:/home/u1:/bin/csh
u2:x:4324:4324::/home/u2:/bin/bash
u3:x:4325:4325::/home/u3:/bin/bash
u4:x:4326:4326::/home/u4:/sbin/nologin
通过上面内容,我们可以确定我们需要的内容在第一节跟第三节,同事分隔符为“:”
[root@localhost test]# cut -d: -f 1,3 /etc/passwd --output-delimiter=#
root#0
bin#1
daemon#2
adm#3
..
2、查看/etc/passwd文件最后一行,且从第5个字符开始截取到第十个字符.
[root@localhost test]# tail -1 /etc/passwd | cut -c 5-10
:4326:
sort 排序
sort - sort lines of text files
表达格式: sort [OPTION]... [FILE]...
常用选项:
-t CHAR:指定分隔符
-k #:用于排序比较的字段
-n:基于数值大小排序
-r:逆序排列
-f:忽略字符大小写
-u:重复内容只保留一行
还是以/etc/passwd为对象测试
显示UID最大的用户及其默认shell
[root@localhost test]# sort -t: -k 3 -n /etc/passwd
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
...
basher:x:4329:4329::/home/basher:/bin/bash
nologin:x:4330:4330::/home/nologin:/sbin/nologin
nfsnobody:x:65534:65534:Anonymous NFS User:/var/lib/nfs:/sbin/nologin
显示成功,但是结果并不直观,我们在利用上面的cut命令对结果进行进一步加工
[root@localhost test]# sort -t: -k 3 -n /etc/passwd | tail -1 | cut -d: -f 1,7
nfsnobody:/sbin/nologin
uniq 报告或移除重复的行
uniq - report or omit repeated lines
表达格式:uniq [OPTION]... [INPUT [OUTPUT]]
常用选项:
-c:显示每行的重复次数
-u:仅显示未曾重复过的行
-d:仅显示重复过的行
为了演示uniq命令方便,我们创建一个有重复行的文件/test/uniq.txt
[root@localhost test]# cat uniq.txt
qqqq
qqqq
qqqq
dfsdf
aa
bb
bb
cc
q
[root@localhost test]# uniq uniq.txt
qqqq
dfsdf
aa
bb
cc
q
uniq 加文件默认将重复的内容隐藏。
[root@localhost test]# uniq -c uniq.txt
3 qqqq
1 dfsdf
1 aa
2 bb
1 cc
1 q
1 q
[root@localhost test]# uniq -u uniq.txt
dfsdf
aa
cc
q
[root@localhost test]# uniq -d uniq.txt
qqqq
bb
--------------------------------------------------------------------------------
diff 逐行比较文件的异同
diff - compare files line by line
diff [OPTION]... FILES
常用选项:
-u:使用unified机制,即显示要修改的行的上下文,默认3行
[root@localhost test]# cat diff1 diff2
abcd
abcde
abcd
bcd
abcde
bc
[root@localhost test]# diff diff1 diff2
1c1
< abcd
---
> bcd
3c3
< abcd
---
> bc
[root@localhost test]# diff -u diff1 diff2
--- diff1 2016-08-05 19:46:36.985538120 +0800
+++ diff2 2016-08-05 19:46:54.951836769 +0800
@@ -1,3 +1,3 @@
-abcd
+bcd
abcde
-abcd
+bc
patch 向文件打补丁
基本概念 patch - apply changes to files
表达格式patch [-blNR][ -c| -e| -n][-d dir][-D define][-i patchfile]
[-o outfile][-p num][-r rejectfile][file]
patch [OPTION] -l /PATH/PATH_FILE /PATH/OLDFILE
patch /PATH/OLDFILE < /PATH/PATH_FILE
--------------------------------------------------------------------------------
常用的简单文本处理命令介绍完毕,下面来利用本文介绍的命令来解决开头提出的四个问题
1、找出ifconfig命令结果中eno16777728的IPv4地址
ifconfig | tr -cs '[:digit:].' ':'| cut -d: -f 5
10.1.253.79
以上共分3步
1)先将ifconfig的内容当做tr的基本输入内容;2)将第一步的内容中所有非数字的内容替换为":"并压缩;3)看所需的IP在第几段然后使用cut命令进行切割
2、查出分区空间使用率的最大百分比值
查看分区空间命令为df
[root@localhost test]# df | tr -s ' ' ':'| cut -d: -f 5| tr -d '%'|sort -n|tail -1
29
要实现上述内容需要
1)使用df列出分区空间使用率的内容,
2)之后使用tr将空格替换为:并进行压缩,
3)再之后使用cut进行切割将使用率的列取出,
4)再使用tr将%剔除,
5)之后使用sort按数值大小进行排序
6)最后再使用tail取最后一行的最大值。
3、查出/tmp的权限,以数字方式显示
查看/tmp权限可以使用stat,它可以自动显示处其权限对应的数值,剩下的只需要我们将数字从内容中取出即可。
[root@localhost test]# stat /tmp/ | tr -cs '[:digit:]' ':'| cut -d: -f 9
1777
1)先显示权限内容
2)将内容中所有非数字替换为“:”并压缩
3)数出对应的权限数字在第几段后进行切割