Linux系统监控命令和软件安装

Linux监测命令的运行时间 time command
 
$ time sleep 5
real    0m5.003s # 程序开始至结束的时间,包括其它进程占用的时间片和IO时间
user    0m0.001s # 进程真正执行占用CPU的时间
sys    0m0.002s    # 进程在内核中调用所消耗的CPU时间
 
user+sys是进程实际的CPU时间。如果多线程执行,这个时间可能大于Real。如果IO是瓶颈,则real会大于user+sys (单线程)。
 
查看正在运行的命令和其资源使用 top
Linux系统监控命令和软件安装
统计信息区
第一行:任务队列信息,与uptime命令执行结果相同
  • 17:32:34:系统当前时间
  • up 3 days, 8:04:主机已运行时间
  • 5 users:用户连接数(不是用户数,who命令)
  • load average: 0.09, 0.12, 0.19:系统平均负载,统计最近1,5,15分钟的系统平均负载
补充:uptime -V可查询版本
 
第二行:进程信息
  • Tasks: 287 total:进程总数
  • 2 running:正在运行的进程数
  • 285 sleeping:睡眠的进程数
  • 0 stopped:停止的进程数
  • 0 zombie:僵尸进程数
第三行:CPU信息(当有多个CPU时,这些内容可能会超过两行)
  • 1.5 us:用户空间所占CPU百分比
  • 0.9 sy:内核空间占用CPU百分比
  • 0.0 ni:用户进程空间内改变过优先级的进程占用CPU百分比
  • 97.5 id:空闲CPU百分比
  • 0.2 wa:等待输入输出的CPU时间百分比
  • 0.0 hi:硬件CPU中断占用百分比
  • 0.0 si:软中断占用百分比
  • 0.0 st:虚拟机占用百分比
第四行:内存信息(与第五行的信息类似与free命令)
  • 8053444 total:物理内存总量
  • 7779224 used:已使用的内存总量
  • 274220 free:空闲的内存总量(free+used=total)
  • 359212 buffers:用作内核缓存的内存量

第五行:swap信息

  • 8265724 total:交换分区总量
  • 33840 used:已使用的交换分区总量
  • 8231884 free:空闲交换区总量
  • 4358088 cached Mem:缓冲的交换区总量,内存中的内容被换出到交换区,然后又被换入到内存,但是使用过的交换区没有被覆盖,交换区的这些内容已存在于内存中的交换区的大小,相应的内存再次被换出时可不必再对交换区写入。
进程信息区
  • PID:进程id
  • PPID:父进程id
  • RUSER:Real user name(看了好多,都是这样写,也不知道和user有什么区别,欢迎补充此处)
  • UID:进程所有者的id
  • USER:进程所有者的用户名
  • GROUP:进程所有者的组名
  • TTY:启动进程的终端名。不是从终端启动的进程则显示为?
  • PR:优先级
  • NI:nice值。负值表示高优先级,正值表示低优先级
  • P:最后使用的CPU,仅在多CPU环境下有意义
  • %CPU:上次更新到现在的CPU时间占用百分比
  • TIME:进程使用的CPU时间总计,单位秒
  • TIME+:进程所使用的CPU时间总计,单位1/100秒
  • %MEM:进程使用的物理内存百分比
  • VIRT:进程使用的虚拟内存总量,单位kb。VIRT=SWAP+RES
  • SWAP:进程使用的虚拟内存中被被换出的大小
  • RES:进程使用的、未被换出的物理内存的大小
  • CODE:可执行代码占用的物理内存大小
  • DATA:可执行代码以外的部分(数据段+栈)占用的物理内存大小
  • SHR:共享内存大小
  • nFLT:页面错误次数
  • nDRT:最后一次写入到现在,被修改过的页面数
  • S:进程状态(D=不可中断的睡眠状态,R=运行,S=睡眠,T=跟踪/停止,Z=僵尸进程)
  • COMMAND:命令名/行
  • WCHAN:若该进程在睡眠,则显示睡眠中的系统函数名
  • Flags:任务标志
默认情况下,只显示比较重要的列
 
文件系统和磁盘信息监测
查看系统硬盘大小和分配
df -h
Linux系统监控命令和软件安装
du -sh *
Linux系统监控命令和软件安装
软件安装
不同于windows,Linux下软件安装的方式比较多样,有些也比较复杂。每种安装方式都有自己的优点和局限,也都有可能遇到问题。在我们理解了原理之后,借助谷歌,可以更好地帮助解决问题。
系统包管理器安装
软件安装最方便的、一般也不容易出问题的是利用系统自带的包管理工具,可以解决大部分的依赖问题。
但也有一些不足,主要3点:
  • 需要根用户的权限。
  • 如果系统版本老,安装的软件版本也会比较老。使用新版本有时又会发生冲突。
  • 生物信息学中不少软件不在系统的安装源里面。
解决这些问题,就需要自己去软件官网查找最新的分发包,又有两种可能,一种是分发包直接就是编译好的软件,下载下来设置下可执行属性并放入环境变量就可以运行了,如blast或bowtie这样的工具。
 
另一种则是需要从源码编译安装,下面主要讲解下这个。
 
源码编译安装
源码编译经典的三部曲configure, make, make install。如果不出问题,一步步执行下来就安装好了。但出了问题,就不是比较容易解决的。如果知道这背后的机制,对解决问题会有很大帮助的。
 
configure是检查系统的库文件、类文件、依赖软件是否存在以及它们的版本是否满足需求,并根据实际检测结果生成Makefile的工具。一般是一堆bash命令的组合。通常也需要在这一步配置一些参数。最常用的就是指定软件的安装目录--prefix=/home/ct/soft/specific_name。
 
make则是具体的编译过程。编译的语句都写在了Makefile中。make默认编译Makefile中出现的第一个target,也可以指定target编译,并根据Makefile的设置方式依次编译所有依赖的东西。
 
Makefile通常的格式和布局如下
# 假设当前文件夹下Makefile文件中内容如下
# first: target名字
# echo "compile first": target对应的命令,任何Linux命令都可以
$ cat Makefile
first:
    echo "compile first"
all: first second
    echo "compile all"
second:
    echo "compile second"
  
# 直接运行make,会make第一个出现的target
$ make
echo "compile first"
compile first
# make first与直接make相同,因为它出现在第一个
$ make first
echo "compile first"
compile first
# all依赖于first, second,因此make all会先执行make first, make second
# 然后才是自己所代表的命令
$ make all
echo "compile first"
compile first
echo "compile second"
compile second
echo "compile all"
compile all
有些软件的安装,在执行完make后就获得了可执行程序,可以跳过make install的过程,只需要放入环境变量就可以运行了。但部分软件还需要一些依赖关系,所以需要执行make install才算完成了完整的安装。
  • make install通常是拷贝make编译出来的可执行文件或者依赖的库文件(如果有的话)到configure时的--prefix指定的目录下。
  • 安装好的软件放入环境变量, 就可以快乐的运行了。
两点注意:
  • 从源码编译最难解决的问题就是依赖的库文件、头文件、依赖软件的缺失或版本不匹配,没有统一的解决办法,原则就是缺啥补啥。后面提到的Anaconda,会对库文件的依赖提供一个简便的解决办法。
  • 三部曲每一步的执行,屏幕上都会输出比较多的信息,一定仔细看最后有没有ERROR类的字样,对判断软件有无安装成功和下一步要怎么解决问题会很有帮助。
Linux包的安装通用方式主要是这些,后面还会提到两种虚拟安装方式,都是为了简化安装而提出的。
 
Python包的安装
在没有Anaconda(或其前身canopy)出现之前,Python包以其管理混乱、安装困难著称。有了Anaconda后,不只python包的安装简单了,其它软件的安装也都方便了 (详见后面Anaconda的两个福利)。
  • 首先下载Anaconda的安装包 https://www.continuum.io/downloads。
  • Anaconda的安装包做的很人性化,一个bash脚本,只要运行bash Anacond*x86_64.sh,然后按照提示操作就可以了。
  • 安装好后,设置或刷新下环境变量就可以使用了。
  • 此后再安装python的包只需要执行pip install pakcage_name或conda install pakckage_name就可以了。
  • 这里唯一需要注意的就是确认使用的python或pip确实是Anaconda安装的python或pip。
  • which python查看使用的python命令。
  • 如果使用的还是系统默认的python,则需要检查下环境变量的设置。
Anaconda的两个福利
1、头文件和库文件库
这是Anaconda安装后的目录结构
bin   envs  Examples  imports  lib    LICENSE.txt  pkgs     share  var
conda-meta  etc   gcc include  lib64  mkspecsplugins  ssl
其中lib目录下,一部分是依赖的动态链接库, .so文件;这也是在源码编译时最常见的拦路虎。通常,只需要把这个目录放入环境变量LD_LIBRARY_PATH里面比如export LD_LIBARY_PATH=${LD_LIBARY_PATH}:anaconda_path/lib就可以解决问题。
cairo                    libitm.a              libQtScript.so.4
cmake                    libitm.la             libQtScript.so.4.8
engines                  libitm.so             libQtScript.so.4.8.7
gcc                      libitm.so.1           libQtScriptTools.la
gcj-4.8.5-14             libitm.so.1.0.0       libQtScriptTools.prl
glib-2.0                 libitm.spec           libQtScriptTools.so
libargtable2.a           libjpeg.a             libQtScriptTools.so.4
libargtable2.la          libjpeg.la            libQtScriptTools.so.4.8
libargtable2.so          libjpeg.so            libQtScriptTools.so.4.8.7
libargtable2.so.0        libjpeg.so.8          libQtSql.la
libargtable2.so.0.1.8    libjpeg.so.8.4.0      libQtSql.prl
libasan.a                libmkl_avx2.so        libQtSql.so
libasan.la               libmkl_avx512_mic.so  libQtSql.so.4
libasan_preinit.o        libmkl_avx512.so      libQtSql.so.4.8
libasan.so               libmkl_avx.so         libQtSql.so.4.8.7
2、bioconda
bioconda提供了一个虚拟环境,方便软件的编译安装。
 
R包的安装
需要注意的也是依赖的软件或库文件的版本,同样的Anaconda提供的lib库也可以直接拿来用。

相关推荐