存储系统源码,存储系统开源软件,存储系统开源项目_安科网

# 存储系统

推荐  Kudu Hadoop 数据存储系统

Apache Kudu 简介为了应对先前发现的这些趋势，有两种不同的方式：持续更新现有的Hadoop工具或者重新设计开发一个新的组件。而这些改变足以让我们重新开发一个全新的数据存储系统。于是3年前开始开发，直到如今我们终于可以分享多年来的努力成果：Kudu，一个新的数据存储系统。

推荐  Biscuit AWS 多区域键值存储解决方案

Biscuit AWS 多区域键值存储解决方案

Chronicle Map 内存内键值存储方案

Chronicle Map 内存内键值存储方案

推荐  Apache ORC 列式存储格式

Apache ORC 文件格式是一种Hadoop生态圈中的列式存储格式，它的产生早在2013年初，最初产生自Apache Hive，用于降低Hadoop数据存储空间和加速Hive查询速度。RC/ORC最初是在Hive中得到使用，最后发展势头不错，独立成一个单独的项目。Hive 1.x版本对事务和update操作的支持，便是基于ORC实现的。ORC发展到今天，已经具备一些非常高级的feature，比如支持update操作，支持ACID，支持struct，array复杂类型。

国产  wfs-go 分布式文件存储系统

wfs是文件存储系统，主要是解决海量文件存储的问题,特别是小文件存储,原则上是简单易用,可扩展及备份恢复。介绍单个 wfs 可以单独运行，多个 wfs 集群可以启动 wfs-slb 作为代理层入口。wfs 没有过多额外功能，主要是增加文件，删除文件，拉取文件

国产  wfs4k WFS 的 Kotlin 实现版

wfs4k 是用 Kotlin 实现的是文件存储系统，主要是解决海量文件存储的问题，特别是小文件存储，原则上是简单易用，可扩展及备份恢复。wfs4k 是作者为实践 Kotlin 而写的项目。启动wfsjava -jar wfs4k.jar参数说明： -max是上传文件大小限制 -p启动端口

推荐  PaxosStore 微信后台分布式存储数据库

PaxosStore 是一个在跨园区数据中心间同步复制，提供灵活的数据模式和访问接口，并支持单表亿行，具备快速伸缩能力，低延迟低成本，强一致性和高可用的分布式存储系统。PaxosStore 将基于 Paxos 的分布式一致性协议提取出来作为一个中间件，底层的多模型存储引擎在各种情况下都可以访问这个中间件。PaxosStore 已经在微信生产中部署了两年多，为微信后端的核心业务提供存储服务，包括用户帐户管理、用户关系管理、即时消息、社交网络（即时刻）和在线付款。

推荐  Zbox-FS 零公开、重隐私的嵌入式文件系统

Zbox 是一个零公开、重隐私的嵌入式文件系统。旨在帮助应用程序安全、私密和可靠地存储文件。它将文件和目录封装到加密的存储库中，并提供了一个虚拟文件系统和对授权应用程序的排它访问。通过抽象 IO 访问，Zbox 支持各种底层存储层。目前已支持内存和 OS 文件系统，RDBMS 和键值对象存储将在后续提供支持。

Apache Mnemonic

Apache Mnemonic 非易失性混合内存存储库

Apache Mnemonic 是一个面向非易失性混合内存存储的库，它提出了一个非易失性/持久的 Java 对象模型和持久的计算服务，能显着提高了海量实时数据处理/分析的性能。开发人员可以使用这个库来设计 cache-less 和 SerDe-less 的高性能应用。

国产  BFS-Baidu 百度文件系统

BFS-Baidu 百度文件系统

ROOK CNCF 首个云原生存储项目

Rook将文件、数据块和对象存储系统引入到Kubernetes集群，与其他正在使用存储的应用程序和服务一起无缝运行。通过这种方式，云原生集群可以在公有云和本地部署中自给自足并且具备可移植性。该项目的开发目的是使企业能够通过动态应用编排，为在本地和公有云环境中运行的分布式存储系统实现数据中心现代化。Rook深入Kubernetes，为安全、策略、配额、生命周期管理和资源管理提供无缝的体验。

OpenEBS 基于 Go 的容器化块存储

OpenEBS 支持将容器用于关键任务，持久性工作负载。OpenEBS 是集装箱式存储和相关的存储服务。OpenEBS 作为主机上的另一个容器进行部署，并启用可在每个容器，应用程序，集群或容器级别指定的存储服务，其中包括：

国产  Cloudreve 支持多家云存储的云盘系统

Cloudreve 支持多家云存储的云盘系统

国产  oss-server 对象存储系统

oss-server 对象存储系统

国产  tposs 基于 tp5 的对象存储系统

tposs基于tp5的对象存储系统。目标做成成熟的oss系统,支持分布式.当前只做了file模块,能够操作本地文件。todo增加搜索,图片预览,根据格式列举,远程解压,流视频等功能,做重命名功能;使用搭建tp5网站,确保使用web站点,能隐藏index.php;注意克隆项目之后composer install;并带有post.access_key,upload上传文件,主机名后第一个参数为upload,即上传文件。并填写相关参数,此时会报错,这个链接是创建d.jpg的目录,但实际上相同位置已经存在一个文件名

推荐  ScoutFS 能储存1万亿文件的存档文件系统

ScoutFS 能储存1万亿文件的存档文件系统

推荐  ImmortalDB 用于浏览器的弹性键值存储

ImmortalDB 是在浏览器中存储持久键值数据的最佳方法，保存在其中的数据被冗余地存储在 Cookies、IndexedDB、LocalStorage 和 SessionStorage。如果其中的任何数据被删除或损坏，ImmortalDB 会进行自我修复。举个例子，清除 cookie 是一种常见的用户操作。而 ImmortalDB 对于这种情况，则是有弹性的。在可靠性和对用户的尊重间取得平衡。接着，ImmortalDB 会“自愈”：如果任何数据存储区返回的值与所确定的正确值不同，或是根本没有值，则将正确

redisson-spring-boot-starter

国产  redisson-spring-boot-starter Redisson Spring Boot 脚手架

redisson-spring-boot-starter目前有很多项目还在使用jedis的setNx充当分布式锁,然而这个锁是有问题的,redisson是java支持redis的redlock的唯一实现, 官方目前只有java web版本,配置起来很麻烦.集成该项目后只需要极少的配置.就能够使用redisson的全部功能. 目前支持集群模式,云托管模式,单Redis节点模式,哨兵模式,主从模式配置. 支持可重入锁,公平锁,联锁,红锁,读写锁锁定模式。软件架构redisson spring boot安装教程引

ZFSp Python 实现的 ZFS 文件管理功能

ZFSp 是 Python 实现的 ZFS 文件管理功能。ZFS是一个拥有逻辑卷管理功能的文件系统，最早源自于太阳微系统为Solaris操作系统开发的文件系统。ZFS是一个具有高存储容量、文件系统与卷管理概念集成、崭新的磁盘逻辑结构的轻量级文件系统，同时也是一个便捷的存储池管理系统。ZFS是一个使用通用开发与散布许可证授权的开源项目，这个商标名称现由甲骨文公司拥有。要求 Python 3.5+ ，目前还不支持 3.6.

推荐  Yig S3 协议兼容的分布式对象存储系统

Yet another Index GatewayYig 是 S3 协议兼容的分布式对象存储系统。它脱胎于开源软件ceph，在多年的商业化运维中，针对运维中出现的问题和功能上的新需求，重新实现了一遍 radosgw 用于解决以下问题：。并且使用rados striping的 API 提高写入的并发程度。测试功能测试因为采用了标准的 S3 接口，可以使用标准的工具。性能测试ceph cluster 性能测试原始 ceph 性能，使用rados bench测试4k小文件的随机读写。

加载中...

W3CSchool教程: HTML 教程; CSS 教程; Bootstrap 教程; Javascript 教程; jQuery 教程

后端教程: C 教程; Java 教程; PHP 教程; Python 教程; Go 教程

移动开发: Android 教程; Swift 教程; Kotlin 教程; jQuery Mobile 教程; ionic 教程

关于我们: 新闻动态; 联系方式; 招聘英才; 安科实验室; 帮助与反馈

安科网(Ancii)，中国第一极客网

Copyright © 2013 - 2019 Ancii.com

京ICP备18063983号-5 京公网安备11010802014868号