Apache Ignite新版本发布,支持机器学习和深度学习!
Apache软件基金会发布了最新版本的Apache Ignite。Ignite是一款开源分布式数据库,专为事务性,分析性和流式工作负载设计的缓存和处理平台。Apache Ignite 2.4具有新的机器学习功能,Spark DataFrame以及一个低级二进制客户端协议。
据Ignite团队介绍,虽然是通常每3个月推出一个新版本,但Apache Ignite 2.4是一个例外,总共花费了5个月的时间。
他们表示,该版本是一个里程碑式的发布版本,机器学习网格(ML Grid)现已准备就绪。它的创建目的是使用户能够直接对存储在Ignite集群中的数据运行机器学习和深度学习培训和推理。此外,它还提供专门针对Ignite的分布式处理进行优化的机器学习和深度学习算法。
Ignite团队强调,“该组件获得了多种算法,可以解决大量的回归和分类任务,并且能够训练避免ETL从Ignite到其他系统的模型,为深入学习使用场景铺平了道路。现在,所有这些都使Ignite用户可以使用这些工具来处理欺诈检测,预测分析以及建立推荐系统。请注意,ETL是可选的,整个以内存为中心的集群都在为你服务。”
机器学习网格最近也收到了来自NetMillennium的软件捐赠,该软件为解决优化问题提供了一种遗传算法。Ignite团队表示,“这些算法还未在Ignite 2.4中,还需要等待发布的时间。应用后,你就可以将生物进化模拟应用于真实世界的应用,包括汽车设计,电脑游戏,机器人技术,投资,交通/货运路线等等。”
此外,Spark DataFrame现在可用,可用于处理存储在Ignite群集中的数据。它可以从多种来源构建,包括结构化数据文件,Hive中的表,外部数据库或现有RDD。
Ignite 2.4还附带了扩展Ignite生态系统的低级二进制客户端协议。这将提供与现有Ignite集群的通信,而无需启动Ignite节点。应用程序可以通过任何编程语言的原始TCP套接字进行连接。
该协议的优点在于,可以开发一个所谓的Ignite瘦客户端,它是一个连接到集群的轻量级客户端,并使用键值,SQL和其他API与其交互。