民主化与自动化:降低机器学习门槛的六大工具

过去,机器学习这个名词的头上曾经笼着科学的光环,只有少数高薪数据科学家才懂得如何用数据“喂养”复杂的算法,得出有用的分析结果。但如今随着自动化工具的快速发展,数据的采集、结构化和分析已经变得更加容易,机器学习的使用门槛已经大幅降低,即使那些不懂编程的业务人员,只要能提出正确的问题,同样也能用机器学习工具得到想要的结果。

民主化与自动化:降低机器学习门槛的六大工具

机器学习的民主化进程正在加速,标志之一就是AutoML最近成了热门词汇,所谓AutoML就是给机器学习算法增加了一个自动化的meta层。过去,机器学习算法的复杂之处在于需要进行大量选项和参数设置来“微调”,而数据科学家们的精力80-99%都花在这上面。AutoML能够自动测试并调优大量参数,不但大大降低算法使用门槛,也加快了算法调优过程。

AutoML是云计算的天作之合,因为在云端AutoML可以调用足够的机器算力来并行处理并返回结果,同时,AutoML也非常适合机器学习的新手循序渐进自行探索机器学习应用。

6种工具让机器学习不再难

以下介绍的六种机器学习工具为那些使用数字、电子表格和数据的人们打开了通向机器学习世界的大门,而且不需要他们成为编程和数据科学方面的专家。

1. Splunk的

Splunk最初是作为一种搜索工具,对Web应用程序创建的大量日志文件进行搜索(或“窥探”)。如今它已经发展成为能够分析所有形式数据的工具,特别是时间序列和其他按顺序生成的数据。Splunk能够将将数据分析结果显示在一个复杂的可视化仪表板中。

最新的Splunk版本包括将数据源与TensorFlow等机器学习工具和一些优秀Python开源工具集成的应用程序。它们提供快速解决方案,用于检测异常值,标记异常并生成对未来值的预测。它们经过优化,可以在非常大的数据集中海底捞针。

2. DataRobot

DataRobot内部的堆栈是一些用R、Python或其他几个平台编写的好用的开源机器库的集合。DataRobot有一个Web界面,显示用于设置管道的类似流程图的工具。DataRobot连接到所有主要数据源,包括本地数据库,云数据存储和下载的文件或电子表格。您构建的管道可以清理数据,填充缺失值,然后生成标记异常值并预测未来值的模型。

DataRobot还可以尝试提供关于为什么进行某些预测的“人性化解释”,这是了解AI如何工作的有用功能。

它可以部署在云和本地解决方案的混合方案中。云端实施可以通过共享资源提供最大的并行性和吞吐量,而本地安装提供更多的隐私和控制。

3. H2O

H2O对自己的定位是“无人驾驶AI”,这个自动化堆栈可以用来探索各种机器学习解决方案。它将数据源(数据库,Hadoop,Spark等)连接在一起,并将它们提供给具有各种参数的各种算法。您可以控制分配给特定任务的时间量和计算资源,并在预算内测试各种参数组合。你也可以通过仪表板或Jupyter笔记本来探索和审核结果。

H2O的核心机器学习算法以及与Spark等工具的集成是开源的,但所谓的“无人驾驶”选项是销售给企业客户的专有软件包之一,提供技术支持。

4. RapidMiner

RapidMiner生态系统的核心是一个基于可视图标进行数据分析的工作室软件。用户只需拖放图标来生成一个管道,进行数据清理,然后通过各种统计算法运行它。如果您想使用机器学习而不是更传统的数据科学,自动模型将从多种分类算法中进行选择,并搜索各种参数,直到找到最佳拟合。该工具的目标是生成数百个模型,然后确定最佳模型。

创建模型后,该工具可以部署它们,同时测试它们的成功率并解释模型如何做出决策。可以使用可视化工作流编辑器测试和调整对不同数据字段的敏感度。

最近的增强功能包括更好的文本分析,用于构建可视化仪表板的更多种类的图表以及用于分析时间序列数据的更复杂的算法。

5. BigML

BigML仪表板提供了数据科学的常用基本工具用于识别数据相关性,这是更复杂的机器学习工作的基础。例如,他们的Deepnets提供了用于测试和优化更精细的神经网络的复杂机制。可以将模型的质量与其他算法进行比较,并使用标准化的比较框架,帮助您在经典数据科学和更复杂的机器学习之间进行选择。

BigML的仪表板在浏览器中运行,其分析可以在BigML云中运行,也可以在服务器机房中运行。云版本的价格设置较低,以鼓励早期测试; 甚至还有一个免费图层。成本主要取决于数据集大小的限制以及可以调用的计算资源量。免费套餐将使用不超过两个并行运行的进程分析最多16MB的数据。较小的付费账户的定价非常合理,每月只需30美元,但随着资源需求的增加,成本会上升。

6. R Studio