Apache Ignite 2.5发布,可扩展到1000节点集群!
随着2.5版的发布,Apache Ignite已经达到了一个新的里程碑。Apache软件基金会(ASF)宣布,Apache Ignite 2.5现在可以扩展到1000个节点集群,目前可以扩展到100节点集群。
Apache Ignite是一个以内存为中心的分布式数据库,用于事务性,分析性和流工作负载的缓存和处理平台。
ASF表示,“Apache Ignite一直受到用户对其提供的两个能力的青睐,即可扩展性和性能。在很多分布式系统的整个生命周期中,通常会不停地改进性能,而对扩展性相关的改进次数,会比较少。这不是不关注于扩展性,而是因为分布式系统一次性地解决了可扩展性,而不需要工程师额外的特别关注。”
为了提高其可扩展性功能,Ignite团队利用Apache ZooKeeper,这是一个“集中服务,用于维护配置信息,命名,提供分布式同步和提供组服务。”Ignite团队认为,默认的TCP/IP发现解决方案会影响整体处理事件时的集群响应性和性能。
ASF指出,“新的ZooKeeper Discovery使用ZooKeeper作为单点同步点,Ignite节点通过它交换发现事件。它解决了处理时间较长的发现消息的问题,并因此使Ignite扩展到大型集群拓扑。”
Ignite团队建议用户保留默认的TCP/IP发现解决方案,如果他们的集群不可能超过300节点。
ASF还指出,“在超过TB和PB数据上,团队还改进了用户训练机器学习模型的方法。基于分区的数据集让我们更接近Zero-ETL概念的实现,这意味着Ignite可以用作单一的存储,机器学习模型在其上可以在线地、不停地进行改进,而无需在Ignite和其他存储之间来回进行ETL数据交换。”
公告中的改进还包括遗传算法,持续自我修复和一致性检查。安全性和快速数据加载,Spark DataFrame查询直接执行,DEB和RPM包。