Facebook开源一款分布式日志存储系统,可用于序列数据!
近日,Facebook开源了一款分布式存储系统LogDevice。它是一个可扩展的分布式日志存储系统,可提供持久性,高可用性和故障记录的总序列。它专为各种工作负载而设计,包括事件流,复制管道,事务日志和延期工作日志等。
据其官网透露,LogDevice具有4大优势:可扩展性、容错、高可用性和高效。在单个集群上可存储多达100万个日志;日志记录跨多个节点和故障域进行复制;LogDevice可轻而易举地处理完整的节点/机架故障,它对缓慢或降级的节点也具有弹性;针对日志优化的存储引擎支持SSD和HDD存储。
LogDevice主要用于高耐久性、低延迟流式用例以及高吞吐量机器学习流程。LogDevice提供的可定制性使其成为许多情况下的多功能构建块。
LogDevice可以提供大规模的高可靠性和高效率的多种日志。它还具有高度可调性,允许对每个用例进行优化,以便在耐久性效率和一致性可用性空间中进行正确的权衡取舍。
LogDevice支持的一些工作负载示例:
- 在分布式数据库中记录事务
- 事件记录
- 流处理
- ML培训管道
- 复制状态机
目前该系统已经在Github开源上开源。但仅在Ubuntu 18.04(Bionic Beaver)上支持LogDevice。但是,应该可以在任何其他Linux发行版上构建。
相关推荐
憧憬 2020-08-21
lbyd0 2020-11-17
sushuanglei 2020-11-12
YZR 2020-06-08
loviezhang 2020-05-30
wqbala 2020-05-10
wqbala 2020-02-14
ROES 2020-02-13
憧憬 2020-01-07
亦碎流年 2019-12-25
Cheetahcubs 2019-12-24
憧憬 2019-12-20
亦碎流年 2019-12-18
loviezhang 2019-12-18
zhangll00 2019-12-05
huangrunqing 2019-11-19