RedHat+MPI+SSH科学集群安装指南

1.系统配置
CPU --- AMD athlon 1G;AMD athlon 1.1G
RAM --- SDRAM 768M;DDR 256M
OS --- RedHat linux 7.3,2.4.18
MPI --- mpich 1.2.4,http://www-unix.mcs.anl.gov/mpi/mpich源码下载
网络 --- 100M realtek8139,百兆交换机

2.linux安装
安装过程就不多说了。唯一需要注意的是安装时,要把SSH选为可信赖的服务。安装以后, 应该保证各节点之间能够用ssh相互登录。每个节点的sshd都应该能正常提供服务。Redhat 7.x对各服务的控制其实是通过在ipchains里面对各个端口进行访问控制来实现的,而不是 使用tcp-wrapper的hosts.allow和hosts.deny文件来进行控制。如果安装系统后,别的机器 无法用ssh登录,则可以用ipchains -L命令查看ipchains rules,进行正确的配置,使得ssh 服务正常工作。若你对系统安全不是太在乎,则可以使用ipchains -F命令将所有的规则清空。

主机名:shallow sea
● 修改/etc/hosts文件,将所有节点名称及其ip地址填入。例如:
211.64.128.129 shallow
211.64.128.217 sea
每个节点都进行类似的配置。这样做的目的是使节点之间能够通过shallow和sea的名称相 互访问。你可以通过ping noden 或 ssh noden进行测试。

● 修改(或创建)/etc/hosts.equiv文件
将所有你允许访问本机进行mpi计算的机器名填入,一行一个机器名。这一步是为了使节点 对其它的节点放权。
例如,我的机器shallow的/etc/hosts.equiv文件是这样的:
shallow #给自己放权,这样在只有一台机器时也可以模拟并行计算环境
sea

在sea的/etc/hosts.equiv文件:
shallow #对shallow放权
sea

● 使用nfs共享文件
首先决定一个用于启动集群计算的用户名,不提倡使用root进行集群计算。这里在每个节 点上建立新用户mpi,他们的主目录都是/home/mpi,假设用sea做为计算的服务节点,在sea 上建立~/mirror,修改文件/etc/exports,在其中增加一行: /home/mpi/mirror shallow(rw) sea(rw) 使得机器shallow和sea的用户可以使用/home/mpi/mirror。 在其他节点shallow也建立/home/mpi/mirror,在/etc/fstab文件中增加一行: sea:/home/mpi/mirror /home/mpi/mirror nfs rw,bg,soft 0 0 这样节点shallow即可使用mirror与sea共享文件。

● 修改~/.bash_profile文件
建议把将来计算程序放在相同的路径上,当然也可以不放在同一个目录下面,但是用起来比 较麻烦,需要一一指定每个节点程序的路径。譬如你的程序为:fpi.f和a.out,把a.out放在 ~/mpi/mirror/下即可。 修改~/.bash_profile文件,主要是加入下列几行脚本:
export PATH=$PATH:/usr/local/mpich/bin
export MPI_USEP4SSPORT=yes
export MPI_P4SSPORT=22
export P4_RSHCOMMAND=ssh
这里我们预定了将来mpich的运行环境安装在目录/usr/local/mpich下面。其余的三个变量是 用来通知mpi运行环境采用ssh来作为远程shell。

linux的运行环境到此就配置完毕了。

3.配置ssh
以设定的用于启动mpi计算的用户登录,运行ssh-keygen –t dsa(SSH2)或是ssh-keygen(SSH1) –t rsa1,这将生成一个私有/公开密钥对,分别存放在~/.ssh/id_dsa和~/.ssh/id_dsa.pub或是 ~/.ssh/identity和~/.ssh/identity.pub文件中。然后进行访问授权,运行:
cp ~/.ssh/identity.pub ~/.ssh/authorized_keys
或是cp ~/.ssh/id-dsa.pub ~/.ssh/authorized_keys2
chmod go-rwx ~/.ssh/authorized_keys
或是chmod go-rwx ~/.ssh/authorized_keys2
ssh-agent $SHELL
ssh-add
在每个节点干一遍。
将所有节点的密钥authorized_keys或是authorized_keys2收集起来,放到一个密钥文件中, 然后分发到各个节点。这样做的目的是使各节点相互之间访问无需输入密码。在每个节点登 录其它节点,ssh shallow,则在~/.ssh/下生成一个known_hosts文件,里面记录登录用户密钥。

4.下载、编译、安装mpich 1.2.3
下载最新的mpich 1.2.4:

ftp://ftp.mcs.anl.gov/pub/mpi/mpich.tar.gz。拷贝到一个临时目录下, 我放在/home/mpi/mirror下了。 首先,用tar xvfz mpich.tar.gz解压。生成mpich-1.2.4目录。 切换到mpich-1.2.4目录。
运行预处理:./configure -c++=pgCC -cc=pgcc -fc=pgf77 -f90=pgf90
-cflags="-Msignextend -tp athlon -DUSE_U_INT_FOR_XDR -DHAVE_RPC_RPC_H=1"
-fflags="-tp athlon" -c++flags="-tp athlon" -f90flags="-tp athlon"
-prefix=/usr/local/mpich -opt=-fast -rsh=ssh
我采用了Portland Group的编译器,因此需要在预处理时指定使用的编译器和常用的选项, -tp athlon为AMD athlon产生代码。mpich的安装位置为/usr/local/mpich,运行环境的远程shell 为ssh。 -DUSE_U_INT_FOR_XDR -DHAVE_RPC_RPC_H=1在有的系统上不需要 有时候需要设置环境变量:
setenv LIBS "-L/usr/local/pgi/linux86/lib -lpgftnrtl -lpgc"

编译:make
安装:make install

修改件/usr/local/mpich/share/util/machines/machines.LINUX。指定可供集群计算的节点,我的是这个样子的:
shallow
sea
若是多CPU计算机,需要在节点名称后用:num加以说明。
每个节点都这样干一遍。

5. 测试并行计算
以设定的用户登录(我的是mpi)sea,将mpich1.2.4/examples/basic/fpi.f文件拷贝到 ~/mpi/mirror下,编译:
mpif77 fpi.f,生成a.out文件,运行:
mpirun -np 2 a.out
这里采用2个节点进行计算。进行ssh连接后,程序等待输入,这时可以在节点机上用命令:
ps -A | grep aout
查看进程,应该能看到数个fpi进程,其中第一个是本机所执行的进程,其它的是异地进程 镜像。在sea上输入一个整值,再次在各节点上执行
ps -A | grep a.out
可以发现计算时间在不断增长,表明计算的确是在多台主机上同时进行的。 至此,整个安装配置过程结束,如果有问题,多看看mpich手册都可以解决。

相关推荐