Linux基础篇之文本、数据流处理命令
1 awk：文本和数据处理工具
--------------------------------------------------------------------------------
awk擅长于对数据进行分析并生成报告，简单来说awk就是把文件逐行的读入，以空格为默认分隔符将每行切片，切开的部分再进行各种分析处理。
使用方法：awk '{pattern + action}' {filenames}
其中pattern 表示awk 在数据中查找的内容，而action是在找到匹配内容时所执行的一系列命令。花括号（{}）不需要在程序中始终出现，但它们用于根据特定的模式对一系列指令进行分组。pattern就是要表示的正则表达式，用斜杠括起来。准备实例操作文件：netstat -t >> netstat.txt
--------------------------------------------------------------------------------
1.1 打印输出：print，格式化打印输出：printf
--------------------------------------------------------------------------------
awk '{print$1, $4}' netstat.txt
awk '{printf "%-8s %-8s %-8s %-18s %-22s %-15s\n",$1,$2,$3,$4,$5,$6}' netstat.txt
1.2 过滤记录：awk '$3==0 && $6=="LISTEN"' netstat.txt
--------------------------------------------------------------------------------
其中的“==”为比较运算符。其他比较运算符：!=,>, <, >=, <=
awk '$3>0 {print $0}' netstat.txt
加入表头：内建变量NR
awk '$3==0 && $6=="LISTEN" || NR==1 ' netstat.txt
再加上格式化输出
awk '$3 ==0 && $6=="LISTEN" || NR==1 {printf "%-20s %-20s %s\n",$4,$5,$6}' netstat.txt
ps：awk的内建变量
$0
当前记录（这个变量中存放着整个行的内容）
$1~$n
当前记录的第n个字段，字段间由FS分隔
FS
输入字段分隔符默认是空格或Tab
NF
当前记录中的字段个数，就是有多少列
NR
已经读出的记录数，就是行号，从1开始，如果有多个文件话，这个值也是不断累加中。
FNR
当前记录数，与NR不同的是，这个值会是各个文件自己的行号
RS
输入的记录分隔符，默认为换行符
OFS
输出字段分隔符，默认也是空格
ORS
输出的记录分隔符，默认为换行符
FILENAME
当前输入文件的名字
输出行号：awk '$3 ==0 && $6=="ESTABLISHED"|| NR==1 {printf "%02s %s %-20s %-20s %s\n",NR, FNR,$4,$5,$6}' netstat.txt
指定分隔符：awk 'BEGIN{FS=":"} {print $1,$3,$6}' /etc/passwd
或者awk -F: '{print $1,$3,$6}' /etc/passwd
以\t作为分隔符输出：awk -F: '{print $1,$3,$6}' OFS="\t" /etc/passwd
1.3 字符串匹配：～表示匹配模式开始，正则表达式匹配。
--------------------------------------------------------------------------------
awk '$6 ~ /TIME/ || NR ==1 {print NR,$4,$5,$6}' OFS="\t" netstat.txt
awk '$6 ~ /ESTABLISHED/ || NR==1 {print NR,$4,$5,$6}' OFS="\t" netstat.txt
awk '/LISTEN/' netstat.txt
使用“/TIME|ESTABLISHED/” 来匹配TIME 或者ESTABLISHED :
awk '$6 ~ /FIN|TIME/ || NR==1 {print NR,$4,$5,$6}' OFS="\t" netstat.txt
模式取反：！～
awk '$6 !~ /TIME/ || NR==1 {print NR,$4,$5,$6}' OFS="\t" netstat.txt
或者awk '!/WAIT/' netstat.txt
1.4 拆分文件：使用数据流重定向”>”
--------------------------------------------------------------------------------
awk 'NR!=1 {print > $6}' netstat.txt NR!=1表示不处理表头
把指定的列输出到文件： awk 'NR!=1{print $4,$5 > $6}' netstat.txt
使用程序流进行条件拆分：if else
awk 'NR!=1{if($6 ~ /TIME|ESTABLISHED/) print > "1.txt";
else if($6 ~ /LISTEN/) print > "2.txt";
else print > "3.txt"}' netstat.txt
1.5 统计
--------------------------------------------------------------------------------
计算所有的C文件，CPP文件和H文件的文件大小总和：
ls -l *.cpp *.c*.h | awk '{sum+=$5} END {print sum}'
统计各个connection状态的用法：使用数组
awk 'NR!=1{a[$6]++;} END {for (i in a) print i ", " a[i];}' netstat.txt
统计每个用户的进程的占了多少内存：
ps aux| awk 'NR!=1{a[$1]+=$6;} END { for(i ina) print i ", " a[i]"KB";}'
数组：因为awk中数组的下标可以是数字和字母，数组的下标通常被称为关键字(key)。值和关键字都存储在内部的一张针对key/value应用hash的表格里。由于hash不是顺序存储，因此在显示数组内容时会发现，它们并不是按照你预料的顺序显示出来的。数组和变量一样，都是在使用时自动创建的，awk也同样会自动判断其存储的是数字还是字符串。一般而言，awk中的数组用来从记录中收集信息，可以用于计算总和、统计单词以及跟踪模板被匹配的次数等等。
1.6 使用脚本进行文本、数据处理
--------------------------------------------------------------------------------
BEGIN、END关键字：BEGIN表示处理所有行之前的标识，END表示处理完所有行后的标识，具体语法：
BEGIN{ 这里面放的是执行前的语句}
END {这里面放的是处理完所有的行后要执行的语句}
{这里面放的是处理每一行时要执行的语句}
实例操作文件：cat cal.awk
#!/bin/awk -f
#运行前
BEGIN {
math= 0
english= 0
computer= 0
printf"NAME NO. MATH ENGLISH COMPUTER TOTAL\n"
printf"---------------------------------------------\n"
}
#运行中
{
math+=$3
english+=$4
computer+=$5
printf "%-6s %-6s %4d %8d %8d %8d\n", $1, $2, $3,$4,$5, $3+$4+$5
}
#运行后
END{
printf"---------------------------------------------\n"
printf "TOTAL:%10d %8d %8d \n", math, english, computer
printf "AVERAGE:%10.2f %8.2f %8.2f\n", math/NR, english/NR,computer/NR
}
执行：awk -f cal.awk score.txt
1.7 变量声明和环境变量：使用-v参数进行变量声明，ENVIRON关键字表示环境变量
--------------------------------------------------------------------------------
$ x=5
$ y=10
$ export y #y被export为环境变量
$ echo $x $y
5 10
$awk -v val=$x '{print $1, $2, $3, $4+val, $5+ENVIRON["y"]}' OFS="\t" score.txt