Facebook开源一款分布式日志存储系统,可用于序列数据!

近日,Facebook开源了一款分布式存储系统LogDevice。它是一个可扩展的分布式日志存储系统,可提供持久性,高可用性和故障记录的总序列。它专为各种工作负载而设计,包括事件流,复制管道,事务日志和延期工作日志等。

Facebook开源一款分布式日志存储系统,可用于序列数据!

据其官网透露,LogDevice具有4大优势:可扩展性、容错、高可用性和高效。在单个集群上可存储多达100万个日志;日志记录跨多个节点和故障域进行复制;LogDevice可轻而易举地处理完整的节点/机架故障,它对缓慢或降级的节点也具有弹性;针对日志优化的存储引擎支持SSD和HDD存储。

LogDevice主要用于高耐久性、低延迟流式用例以及高吞吐量机器学习流程。LogDevice提供的可定制性使其成为许多情况下的多功能构建块。

LogDevice可以提供大规模的高可靠性和高效率的多种日志。它还具有高度可调性,允许对每个用例进行优化,以便在耐久性效率和一致性可用性空间中进行正确的权衡取舍。

LogDevice支持的一些工作负载示例:

  • 在分布式数据库中记录事务
  • 事件记录
  • 流处理
  • ML培训管道
  • 复制状态机

目前该系统已经在Github开源上开源。但仅在Ubuntu 18.04(Bionic Beaver)上支持LogDevice。但是,应该可以在任何其他Linux发行版上构建。

相关推荐