适用于数据项目的7种强大的开源工具

【大咖・来了 第7期】10月24日晚8点观看《智能导购对话机器人实践》

功能强大的数据项目开源工具将使企业的业务更加无缝和功能化。

无论是数据科学专业人士还是想要帮助企业成功地完成数据科学项目的IT部门，需要使用一些必不可少的数据科学工具。

以下是值得考虑的一些开源工具：

1. Ludwig

Ludwig是一个能够建立基于数据的深度学习模型进行预测的工具。不具备编码知识的专业人员都可以使用它。除了能够为机器学习目的训练数据集之外，它还具有可视化组件，可以使数据更加直观，并使需要了解信息的非专业人员可以更好地理解数据。

Ludwig是一个基于TensorFlow的工具箱，旨在让用户在没有大量先验知识的情况下就可以在数据工作期间使用机器学习。用户可以在Ludwig的帮助下开展一些项目，其例子包括文本或图像分类、基于机器的语言翻译和情感分析。

2. 谷歌差异性隐私库

差异性隐私通过将用户数据与人为的“白噪声”混合来对数据进行加密的方法。这样做可以通过确保恶意人员无法将数据源追溯到个人或以其他方式泄露其身份来保护所涉及人员的隐私。2019年9月，谷歌公司决定将其差异性隐私库作为开源工具提供。

通过这一决定，该公司希望这将有助于用户保持数据安全，即使他们没有像大型企业可能拥有大量隐私性的资源。当谷歌公司发布这个工具时在其博客中指出，如果企业不保护用户数据，就有可能失去用户的信任。

3. Kubernetes

Kubernetes是一个应用程序管理和部署平台，允许在容器环境中使用应用程序。它可以帮助用户平衡负载，并在波动的情况下按预期保持应用程序的正常运行。使Kubernetes如此稳定的一件事是它使用了API Contracts。它们是使Kubernetes符合标准的可插拔组件。

只要两个模块都符合同一套标准，就可以将它们交换出来，并且由于模块的共享特性，Kubernetes的这一方面可以缩短集成测试过程。

Kubernetes可能不是那种可以立即适合用户的数据科学项目，但不应忽视它。Kubernetes简化了应用程序管理的许多方面，并且可以简化用户的数据科学项目。

它可以协助的事情之一是可重复的批处理作业。例如，如果企业尝试以可重复的方式使用数据，则坚持相同的流程至关重要。此外，用户也不必成为Kubernetes专家即可将其用于数据科学。无论是要创建用于数据处理的机器学习算法，还是想使用分析来解决业务问题，用户都可以应用这一强大的框架。

4. Apache Drill

如果用户准备开始查询数据而无需处理太多开销，则可以采用Apache Drill。它消除了在执行查询之前加载数据、维护架构或转换数据的需求。用户只需要在SQL查询中包括相应的路径即可开始工作。除了支持标准SQL以外，Apache Drill还使用户可以依赖于可能已经使用的商业智能工具，例如Qlik和Tableau。

此外，无论用户当前的大数据分析技能水平如何，Apache Drill都会努力消除他们经常面临的一些障碍。它还支持PB级的安全和交互式SQL分析。

另外，如果用户只是开始使用数据，但不能在数据分析上进行大量投资，那也不必担心。 Apache Drill提供了个人或小组使用的资源。简而言之，它使大数据分析更易于使用。

5. ParaView

ParaView的开发目的是分析庞大的数据集，甚至可以在超级计算机上运行。但这并不意味着用户不能在普通的工作场所笔记本电脑上使用它。Paraview可帮助用户使用定性或定量技术分析数据，然后通过可视化获得另一种视角。如果用户需要准备数据然后以容易理解的方式显示数据，这一点特别有用。

而且，如果用户需要一些指导开始使用，则可以获得免费的在线教程的指导。

6. Plotly Python开源图形库

如果用户可以与数据进行交互，则有时数据项目是最有效的。如果用户想将数据转换为交互式图形，则此图形库是理想的选择。

它提供了多种样式可供考虑，从条形图到热图。该网站将图表的类型分为几类。例如，有些财务图表可以很好地显示年终报告。

另外，Plotly提供地图。用户可能会发现其中之一与数据科学项目保持一致，该项目显示了企业在过去一年中在哪个社区获得了最多的新客户，或者发现该地图特别适合显示经常出差的销售团队成员的路线。

7. Jamovi

Jamovi网站表示，该工具可以缩小研究人员和统计学家之间的差距。它像功能齐全的电子表格一样工作，这意味着用户在开始使用时很容易上手。