LinkedIn开放用于Hadoop性能测试工具

LinkedIn今天发布了一个 名为Dynamometer的开源项目 ，帮助企业在不使用大量基础架构的情况下对大规模Hadoop大数据处理系统进行压力测试。

该工具旨在防止企业社交网络在2015年初遇到的问题，即公司在其Hadoop分布式文件系统（HDFS）群集中添加了500台机器以提高性能。但是，这个团队遇到了一个只是大规模bug，导致了集群的工作超时。

测功机是汽车的工具命名的，它模拟大规模集群，而只需要大约5％的实际基础设施。这有助于开发人员解决大规模测试软件的一个关键问题：即使在公有云环境中，实际配置所有这些机器的成本也可能很高。

相反，客户可以使用Dynamometer来测试他们在生产中看到的相同类型的工作负载，并确保系统能够经得起软件更改。LinkedIn使用该工具分析公司HDFS集群从Hadoop 2.3迁移到2.6，这一变化需要调整集群的某些参数以避免性能问题。

Dynamometer首席工程师Erik Krogen在一封电子邮件中告诉VentureBeat，该工具既适用于大规模使用Hadoop的公司（如LinkedIn），也适用于提议更改HDFS开源项目的小型企业，并希望确保他们不会影响性能的规模。

从长远来看，Krogen希望Dynamometer成为HDFS发布测试的一部分，以及在新版本之间定期持续集成新的代码更改。这就是LinkedIn为什么把它作为开源项目发布给公众的原因。该公司已经使用Dynamometer来帮助发布Hadoop 2.7.4，验证了维护版本对性能没有负面影响。