Ubuntu下设置自己的“超级计算机集群”
在本文中我将一步一步指导大家设置自己的“超级计算机集群”,通过Ubuntu MPI Cluster平台,借助John the Ripper实现在多台计算机上对加密过的目标进行暴力破解。当然这一切应以学术研究为目的。
计算机上具备四核处理器的朋友有福了。尽管Ubuntu 软件库中的”john”二进制代码原本只针对于单核运行,但我的设置将尝试使其在四核计算机上运行效率更高,耗时更少。
本文的出发点是将问题表达得通俗易懂,以使普通用户便于理解掌握,因此我决定不在其中涉及NIS,NFS,BIND或诸如此类的复杂技术。读者应该不必花费数天时间阅读有关Linux系统管理员知识的教材或手册,也能在家中轻松建立并玩转计算机集群系统。我制作的应用基于Ubuntu 10.04 Server,因为它是迄今为止最常用的Linux工具,同时也是一种蕴涵长效机制的版本,在2015年之前可以一直适用。
前言
本文中谈到的集群实施方案并不会对具备高实用性及安全性的运行环境构成威胁。
背景
我发现不得不从破解自己设置的一个尘封多年早已忘却的老密码开始着手。在搜集了几台手边的计算机之后,我开始尝试让它们协同工作。
本文的诞生,是极端沮丧的心情、过量的咖啡因加上一整个不眠之夜的产物。
基本要求
需要至少两台可运行Ubuntu Linux 10.04版本且已联网的计算机。
“John”并不需要太大的带宽。
服务器配置
服务器要求
一个静态IP地址或DHCP中保留的IP。
需要用到的软件包
以下软件包是必备的:
?libmpich1.0 - dev- MPICH静态库和开发文件
?libmpich - mpd1.0 - dev- MPICH静态库和开发文件
? libmpich - shmem1.0 - dev- MPICH静态库和开发文件
? openssh-server — 安全框架 (SSH) 工具, 保障远程计算机的安全访问
? mpich2 — 实施MPI信息传递接口标准
? mpich2-doc — MPICH2相关文档
? john — 强力的密码破解工具
? build-essentials – 必备软件包的信息统计清单
网络配置
默认情况下,/etc/hosts文件应如下所示:
通过执行下列命令查找你的IP:
用户配置
新建一个名为“cluster”(集群)并在其路径中加入~/bin/代码。
我发现在每台计算机上都对’cluster’采取相同的设置步骤是最便捷的做法。
MPI的应用基于以下配置文件:
? ~/.mpd.conf
注:此文件以a开头且必须配合chmod 600才能生效。
此文件在你的密码中包含一个单独的命令行“secretword=<password>“ (replace <password>,其内容必须与集群中所有~/.mpd.conf中的相关内容相同。
? ~/mpd.hosts
此文件中包含所有集群节点及服务器的列表,其格式为“host:number-of-cpu-cores”, fx。如果您的计算机具备四核心处理器,则将10.0.0.2设置为10.0.0.2:4。
如果你只是想使用MPICH的功能而不在乎可用处理器核心的数量,那么该数值可以设置得低于实际情况。
举例说明,如果服务器具备四核心处理器,你可能希望将数值设置为:3,而不是:4,这样服务器可以同时处理其它一些运算。
千万不要预设localhost或127.0.0.1这类你必须连接网络才能使用的IP。
检查处理器核心数量,并创建配置文件。
cluster@server:~$ touch ~/.mpd.conf cluster@server:~$ chmod 600 ~/.mpd.conf cluster@server:~$ echo secretword=pass>~/.mpd.conf cluster@server:~$ /sbin/ifconfig|grep “inet addr” cluster@server:~$ /sbin/ifconfig|grep “inet addr” inet addr:127.0.0.1 Mask:255.0.0.0 cluster@server:~$ cat /proc/cpuinfo|grep processor|wc –l cluster@server:~$ echo 10.0.0.1: 1 >~/mpd.hosts
设置完成后,通过执行以下指令检查是否运行正常:
? mpdboot – 启动集群
? mpdtrace - 列出群体的所有节点
? mpdallexit – 关闭集群
mpdallexit – shut down the cluster cluster@server:~$ mpdtrace cluster@server:~$ mpdallexit
如果设置方面没有任何错误,那么你的指令将全部被正确执行。如果出现问题,请检查你的~/.mpd.cof的权限设置及/etc/hosts和~/mpd.hosts的内容是否正确。