【Linux】Linux 常用命令
作者：LogM
0. 关于 Linux 命令的正则表达式
awk、sed、grep 使用的是不同标准的正则表达式，而且与 C++、Python、Java 中的正则表达式标准还不一样，真的蛋疼，详见正则表达式派别综述。
1. find 文件查找
# 查找txt文件
# -iname：忽略大小写
find . -name "*.txt"
find . -iname "*.txt"
# 正则表达式查找.txt和.cpp文件，注意特殊符号用`\`转义
# -iregex：忽略大小写
find . -regex ".*\.\(txt\|cpp\)$"
find . -iregex ".*\.\(txt\|cpp\)$"
# 使用`!`进行否定，查找非.txt或.cpp的所有文件
find . ! -regex ".*\.\(txt\|cpp\)$"
# 查找指定深度和指定类型：f为文件，d为目录，l为符号连接
find . -maxdepth 3 -type f
# 查找后进行指定操作，`-ok`逐文件提示是否进行操作，`-exec`无提示，注意结尾的`;`
find . -type f -name "*.txt" -ok cat {} \;
find . -type f -name "*.txt" -exec cat {} \;2. grep 文本搜索
# 在文件中查找"match_pattern"，允许多个文件，支持正则表达式 grep "match_pattern" file_1 file_2 file_3 # grep 使用的正则表达式有点特殊，我自己会使用`-P`来打开"PCRE正则兼容" grep -P "match_pattern" file_1 file_2 file_3 # 只打印匹配到的文件名 grep -l "match_pattern" file_1 file_2 file_3 # 忽略大小写 grep -i "match_pattern" file_name # 输出除"match_pattern"的其他行 grep -v "match_pattern" file_name # 输出的结果中，对匹配的区域进行高亮 grep "match_pattern" file_name --color=auto # 只输出匹配"match_pattern"的区域，而非一行 grep -o "match_pattern" file_name # 每个输出的前面带上这个区域在原文件中的位置（第一个字符为0，第二个字符为1，依次类推），一般`-b``-o`连用 grep -b -o "match_pattern" file_name # 每行输出的前面带上这行在原文件中的行号 grep -n "match_pattern" file_name # 统计文件中包含文本的行数 grep -c "match_pattern" file_name # 在目录下递归查找，`-r`和`-R`效果相同 grep -r "match_pattern" path grep -R "match_pattern" path # `-e`允许多个"match_pattern" grep -e ".*\.html" -e ".*\.php" file_name # `-E`使用正则表达式的写法有所改变，等同于egrep，貌似是`|`和`&`不再需要`\`转义且`*`表示任意数量的任意字符 grep -E "*\.php|*\.html" file_name --color=auto # 等同于 grep ".*\.html\|.*\.php" file_name
3. xargs 命令行参数转换
xargs 能够将输入数据转化为特定命令的命令行参数；这样，可以配合很多命令来组合使用。比如grep，比如find。
# 将多行输出转化为单行输出(`\n`是多行文本间的定界符)
cat file.txt| xargs
# 将单行转化为多行输出(`-n`指定每行显示的字段数)
cat single.txt | xargs -n 3
# xargs参数说明:
# -d 定义定界符 （默认为空格 多行的定界符为 \n）
# -n 指定输出为多行
# -I {} 指定替换字符串，这个字符串在xargs扩展时会被替换掉,用于待执行的命令需要多个参数时
# 复制所有图片文件到 /data/images 目录下
ls *.jpg | xargs -n1 -I {} cp {} /data/images
# 打印目录下所有 .cpp 的文件的行数
find source_dir/ -type f -name "*.cpp" -print0 |xargs -0 wc -l4. sort 排序
# -n 按数字进行排序 VS -d 按字典序进行排序 # -r 逆序排序 # -k N 指定按第N列排序 # -t 指定分割符 sort -nrk 1 data.txt sort -bd data # 忽略像空格之类的前导空白字符 # 对于指定分割符为特殊字符时需要注意 sort -t '\t' -k3 a.txt # 上述命令报错：sort: multi-character tab `\t' # 正确写法： sort -t $'\t' -k3 a.txt
5. uniq 消除重复行
# 使用`uniq`前，必须先使用`sort` sort unsort.txt | uniq # 行去重后的结果 sort unsort.txt | uniq -c # 行前打印该行重复次数 sort unsort.txt | uniq -d # 只打印出现重复的行
6. tr 替换或删除字符
echo "HELLO WORLD" | tr 'A-Z' 'a-z' # 大写字母转小写 cat text| tr '\t' ' ' # 制表符转空格 # -d 删除 cat file | tr -d '0-9' # 删除所有的数字字符 # -c 求补集 cat file | tr -c '0-9' '?' # 把所有非数字的字符替换为'?' cat file | tr -d -c '0-9 \n' # 删除所有非数字的字符，注意换行和空格的保留 # -s 压缩文本中出现的重复字符；最常用于压缩多余的空格 cat file | tr -s ' ' # 删除重复的空格 # 字符类 # tr中可用各种字符类： # alnum：字母和数字 # alpha：字母 # digit：数字 # space：空白字符 # lower：小写 # upper：大写 # cntrl：控制（非可打印）字符 # print：可打印字符 # 使用方法：tr [:class:] [:class:] tr '[:lower:]' '[:upper:]' # 大小写转换也可以这么写
7. cut 按列切分文本
# cut从每一行切割字符串，把指定列输出 # -b：以字节为单位，显示每行第n个字节 # -c：以字符为单位，显示每行第n个字符 # -f：以分隔符分割字段，显示每行第n个字段的内容 # -d：指定字段的分隔符，默认的字段分隔符为“TAB” # --complement 求补，提取指定字段之外的列 # cut 取的范围： # N- 第N个字段到结尾 # -M 第1个字段为M # N-M N到M个字段 cut -d";" -f2,4 filename # 提取文件的第2列和第4列，`;`分隔 cut -d";" -f3 --complement filename # 提取文件除第3列外的所有列： cut -c1-5 file # 打印第1到5个字符
8. paste 按列拼接文本
# 将两个文本按列拼接到一起 paste file1 file2 # 默认在列方向上合并 paste -s file1 file2 # 在行方向上合并 paste file1 file2 -d “,” # 指定合并后的字段分隔符
9. wc 统计行和字符的工具
wc -l file # 统计行数 wc -w file # 统计单词数 wc -c file # 统计字符数
10. sed 文本替换利器
# s是sed命令，表示替换字符
# g是sed替换标记，表示全部替换
# 首处替换
seg 's/text/replace_text/' file # 替换每一行的第一处匹配的text
# 全局替换
seg 's/text/replace_text/g' file
# -i 直接修改源文件
seg -i 's/text/repalce_text/g' file
# 移除空白行：
# d是sed命令，表示删除匹配的行
sed '/^$/d' file
# 变量转换，已匹配的字符串通过标记&来引用
echo this is en example | seg 's/\w+/[&]/g'$
# 输出：[this] [is] [en] [example]
# 子串匹配标记
# 第一个匹配的括号内容使用标记 \1 来引用
sed 's/hello\([0-9]\)/\1/'
# 双引号求值
# sed通常用单引号来引用；也可使用双引号，使用双引号后，双引号会对表达式求值：
sed 's/$var/HLLOE/'
# 当使用双引号时，我们可以在sed样式和替换字符串中指定变量；
eg:p=patten
r=replaced
echo "line con a patten" | sed "s/$p/$r/g"$>line con a replaced
# 其它示例
# 字符串插入字符：将文本中每行内容（PEKSHA） 转换为 PEK/SHA
sed 's/^.\{3\}/&\//g' file
11. awk 数据流处理工具
# awk脚本结构
awk 'BEGIN{ statements } statements2 END{ statements } '
# 工作方式：
# 执行begin中语句块；
# 从文件或stdin中读入一行，然后执行statements2，重复这个过程，直到文件全部被读取完毕；
# 执行end语句块；
# print 打印当前行
# 使用不带参数的print时，会打印当前行;
echo -e "line1\nline2" | awk 'BEGIN{print "start"} {print } END{ print "End" }'
# print 以逗号分割时，参数以空格定界;
echo | awk ' {var1 = "v1" ; var2 = "V2"; var3="v3"; print var1, var2 , var3; }'
# 输出：v1 V2 v3
# 使用-拼接符的方式（'-'作为拼接符）;
echo | awk ' {var1 = "v1" ; var2 = "V2"; var3="v3"; print var1"-"var2"-"var3; }'
# 输出：v1-V2-v3
# 特殊变量： NR NF $0 $1 $2
# NR:表示记录数量，在执行过程中对应当前行号；
# NF:表示字段数量，在执行过程总对应当前行的字段数；
# $0:这个变量包含执行过程中当前行的文本内容；
# $1:第一个字段的文本内容；
# $2:第二个字段的文本内容；
echo -e "line1 f2 f3\n line2 \n line 3" | awk '{print NR":"1"-"$2}'
# 打印每一行的第二和第三个字段：
awk '{print $2, $3}' file
# 统计文件的行数：
awk ' END {print NR}' file
# 累加每一行的第一个字段：
echo -e "1\n 2\n 3\n 4\n" | awk 'BEGIN{sum = 0; print "begin";} {sum += $1;} END {print "=="; print sum }'
# 用样式对awk处理的行进行过滤
awk 'NR < 5' #行号小于5
awk 'NR==1,NR==4 {print}' file #行号等于1和4的打印出来
awk '/linux/' #包含linux文本的行（可以用正则表达式来指定，超级强大）
awk '!/linux/' #不包含linux文本的行
# 设置定界符
# 使用-F来设置定界符（默认为空格）
awk -F: '{print $NF}' /etc/passwd
# 读取命令输出
# 使用getline，将外部shell命令的输出读入到变量cmdout中；
echo | awk '{"grep root /etc/passwd" | getline cmdout; print cmdout }'
# 在awk中使用循环
for(i=0;i<10;i++){print $i;}
for(i in array){print array[i];}
# 以逆序的形式打印行：(tac命令的实现）
seq 9| awk '{lifo[NR] = $0; lno=NR} END{ for(;lno>-1;lno--){print lifo[lno];}}'
# awk实现head、tail命令
# head:
awk 'NR<=10{print}' filename
# tail:
awk '{buffer[NR%10] = $0;} END{for(i=0;i<11;i++){ print buffer[i %10]} } ' filename
# 打印指定列
# awk方式实现：
ls -lrt | awk '{print $6}'
# cut方式实现
ls -lrt | cut -f6
# 打印指定文本区域
# 确定行号
seq 100| awk 'NR==4,NR==6{print}'
# 确定文本
# 打印处于start_pattern 和end_pattern之间的文本；
awk '/start_pattern/, /end_pattern/' filename
seq 100 | awk '/13/,/15/'cat /etc/passwd| awk '/mai.*mail/,/news.*news/'
# awk常用内建函数
# index(string,search_string): 返回search_string在string中出现的位置
# sub(regex,replacement_str,string): 将正则匹配到的第一处内容替换为replacement_str;
# match(regex,string): 检查正则表达式是否能够匹配字符串；
# length(string): 返回字符串长度
echo | awk '{"grep root /etc/passwd" | getline cmdout; print length(cmdout) }'
# printf 类似c语言中的printf，对输出进行格式化
seq 10 | awk '{printf "->%4s\n", $1}'12. 迭代文件中的行、单词和字符
# 1. 迭代文件中的每一行
# while 循环法
while read line;doecho $line;done < file.txt改成子shell:cat file.txt | (while read line;do echo $line;done)
# awk法：
cat file.txt| awk ‘{print}’
# 2.迭代一行中的每一个单词
for word in $line;do echo $word;done
# 3. 迭代每一个字符
# ${string:start_pos:num_of_chars}：从字符串中提取一个字符；(bash文本切片）
# ${#word}:返回变量word的长度
for((i=0;i<${#word};i++))doecho ${word:i:1);done13. 压缩与解压
# 对于*.zip文件 zip -r examples.zip dir # 压缩，-r 表示处理文件夹 unzip filename.zip # 解压 # 对于*.tar文件 # 解压 # 从1.15版本开始tar就可以自动识别压缩的格式,故不需人为区分压缩格式就能正确解压 # -x: extract 解压 # -v: verbose 详细信息 # -f: file(file=archieve) 文件 tar -xvf filename.tar.gz tar -xvf filename.tar.bz2 tar -xvf filename.tar.xz tar -xvf filename.tar.Z # -C: 解压到指定目录 tar -xvf filename.tar.gz -C ./ # 压缩 # -c, create 创建压缩文件 # -z, --gzip 通过gzip压缩的形式对文件进行归档 # -j, --bzip2 通过bzip2压缩的形式对文件进行归档 tar -zcvf file.tar file1 # 压缩file1文件，压缩形式为gzip tar -cvf file.tar file1 file2 # 压缩file1，file2文件，仅打包不使用压缩 tar -cvf file.tar dir # 压缩dir目录
14. 一些实用的命令
# 从文件中随机抽取n行
awk 'BEGIN{srand()} {print rand()"\t"$0}' input_file | sort -nk 1 | head -n line_num | awk -F "\t" '{print $2}' 相关推荐
rechanel 2020-11-16
taomengxing 2020-09-07
NBkiller 2020-06-14
wintelx 2020-08-09
wandererdl 2020-06-14
CARBON 2020-06-11
xushxbigbear微信 2020-06-09
chenjinlong 2020-06-04
eroshn 2020-05-31
timegoes 2020-04-12
luvzhan 2020-04-12
kylinos 2020-03-07
季诗筱 2020-03-07
神龙 2020-05-11
jyj00 2020-05-04
LychieFan 2020-05-03
csdnyasin 2020-05-01
huguang 2020-04-22