对于Linux用户而言，命令行操作我们已经非常熟悉了。与其他流行的操作系统不同，在Linux社区中，使用命令行与使用图形用户界面执行类似任务相比，命令行通常可以提供更优雅，更有效的解决方案。随着Linux社区对命令行的依赖不断增长，UNIX shell已发

日常工作中，使用Hive或者Impala查询导出来可能会存在数据重复的现象，但又不想重新执行一遍查询，因此想到了使用Linux命令将文件的内容重复数据进行去除。

五、查看网卡信息查看网卡硬件信息[ ~]# lspci | grep -i ‘eth‘查看系统的所有网络接口[ ~]# ifconfig -a[ ~]# ip link show 查看某个网络接口的详细信息，例如eth0的详细参数和指标[ ~]#

awk ‘{++S[$1]} END {for print a,S[a]}‘ log_file > log.txtsort -n -t ‘ ‘ -k 2 log.txt 配合sort进一步排序。grep ^111.111.111.111 log_f

cat /etc/passwd | awk -F: ‘{if print $7}‘ | sort | uniq -c. sort是将文件中的每一行作为一个单位，互相比较。比较的原则是从首字母向后，依次按照ASCII码值进行比较，最后将它们按照升序输出。-

processor 逻辑处理器的id。core id 每个核心的id。cpu cores 位于相同物理封装的处理器中的内核数量。1 查看物理CPU的个数#cat /proc/cpuinfo |grep "physical id"|sor

　　# cat /proc/cpuinfo | grep "physical id" | uniq | wc -l. 　　总结：该服务器有2个4核CPU，型号Intel Xeon CPU E5630 @ 2.53GHz

相信这个命令可以说是大家最常用的命令之一了。尤其是查询生产环境的日志，这个命令绝对是必不可少的。free -k 以KB为单位显示内存使用情况。df -h 以更易读的方式显示目前磁盘空间和使用情况。du -sh 目录 显示该目

Linux euis1 2.6.9-55.ELsmp #1 SMP Fri Apr 20 17:03:35 EDT 2007 i686 i686 i386 GNU/Linux. #cat /proc/cpuinfo | grep name | cut -f

如果"siblings"是"cpu cores"的两倍，则说明支持超线程，并且超线程已打开。注意：如果结果是32，代表是运行在32位模式下，但不代表CPU不支持64bit。这个命令读取输入文件，并比较相邻的行。该命令

Linux euis1 2.6.9-55.ELsmp #1 SMP Fri Apr 20 17:03:35 EDT 2007 i686 i686 i386 GNU/Linux. #cat /proc/cpuinfo | grep name | cut -f

Linux euis1 2.6.9-55.ELsmp #1 SMP Fri Apr 20 17:03:35 EDT 2007 i686 i686 i386 GNU/Linux. #cat /proc/cpuinfo | grep name | cut -f

①查看物理CPU的个数。让命令不挂断执行命令。history-c：清空shell终端的命令历史记录。监控网络客户连接数：。$uniq-cfilefile中的重复行输出一次，并在每行前显示重复次数。$uniqfile1file2把file1中的重复的相邻行删

sort 命令对 File 参数指定的文件中的行排序，并将结果写到标准输出。如果要对/etc/passwd,先以第六个域的第2个字符到第4个字符进行正向排序，再基于第一个域进行反向排序。查看/etc/passwd有多少个shell:对/etc/passwd

linux命令行提供了非常强大的文本处理功能，组合利用linux命令能实现好多强大的功能。本文这里举例说明如何利用Linux命令行进行文本按行去重并按重复次数排序。主要用到的命令有sort，uniq和cut。其中，sort主要功能是排序，uniq主要功能是

在正常情况下，第二个及以后更多个重复行将被删去，行比较是根据所用字符集的排序序列进行的。该命令加工后的结果写到输出文件中。如果输入文件用“- ”表示，则从标准输入读取。– c 显示输出中，在每行行首加上本行在文件中出现的次数。它可取代- u和- d选项。–

cat catalina.out |grep "xxxxx"|awk -F ']' '{print $2}'|sort|uniq. cat catalina.out | grep "xxxxxxxx"|awk '{p

processor 逻辑处理器的id。core id 每个核心的id。cpu cores 位于相同物理封装的处理器中的内核数量。1 查看物理CPU的个数#cat /proc/cpuinfo |grep "physical id"|sor

问题1：在apachelog中找出访问次数最多的10个IP。awk '{print $1}' apache_log |sort |uniq -c|sort -nr|head -n 10. awk首先将每条日志中的IP抓出来，如日志格式被自定义过，可以-F定

. netstat -nat |awk '{print $6}'|sort|uniq -c|sort -rn 或。netstat -n | awk '/^tcp/ {++S[$NF]};END {for print a, S[a]}'. 或cat acce