Node.js 实现的嵌入式数据存储，可以部分或全部替代sqlite数据库。可以当内存数据库使用也可本地存储。数据存储采用JSON新式，可以深度查询。Memory footprintA copy of the whole database is kept in memory. This is not much on theexpected kind of datasets . If requested, I'll introduce anoption to not use this cache to dec
# Node.js 扩展
Hadoop 分布式系统基础架构
# 数据存储 # 其他 # 分布式应用/网格
Doozer 数据存储服务
# 服务发现/注册和协调
HBase – Hadoop Database，是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。HBase是Google Bigtable的开源实现，类似Google Bigtable利用GFS作为其文件存储系统，HBase利用Hadoop HDFS作为其文件存储系统；Google运行MapReduce来处理Bigtable中的海量数据，HBase同样利用Hadoop MapReduce来处理HBase中的海量数据；Googl
# 数据存储 # 其他 # NoSQL数据库
GraphDB 是一个企业图形数据存储引擎，它使用C#语言开发，并且是开源的，对于非商业目的可以免费下载，但如果用于商业目的则需要购买商业许可。图形数据库一个常见的用例就是用来存储社交关系或社交图，通常，这些社交图由许多节点组成，节点之间存在许多独立的关系，这是传统关系数据库很难处理好的问题域。
# NoSQL数据库
Cloudata 是一个分布式的大规模结构化数据存储解决方案，是 Google Bigtable 的开源 Java 实现。它是 DBMS ，但不是关系型 DBMS，可存储超过 P 级的数据。
# 存储系统
Apache CarbonData是由华为开源贡献的大数据高效存储格式解决方案。针对当前大数据领域分析场景需求各异而导致的存储冗余问题，CarbonData提供了一种新的融合数据存储方案，以一份数据同时支持“交互式分析、详单查询、任意维度组合的过滤查询等”多种大数据应用场景，并通过丰富的索引技术、字典编码、列存等特性提升了IO扫描和计算性能，实现百亿数据级秒级响应，与大数据生态Apache Hadoop、Apache Spark等无缝集成。
# 数据存储 # 其他
Delta Lake 是一个存储层，为 Apache Spark 和大数据 workloads 提供 ACID 事务能力，其通过写和快照隔离之间的乐观并发控制，在写入数据期间提供一致性的读取，从而为构建在 HDFS 和云存储上的数据湖带来可靠性。Delta Lake 还提供内置数据版本控制，以便轻松回滚。Delta Lake 具有显式添加新列的 DDL 以及自动更新模式的能力。开发人员可以将 Delta Lake 与他们现有的数据管道一起使用，仅需要做一些细微的修改。
# 数据存储 # 其他 # 数据库相关
Hudi 是 Uber 在 2016 年以“Hoodie”为代号开发，旨在解决 Uber 大数据生态系统中需要插入更新及增量消费原语的摄取管道和 ETL 管道的低效问题。2019 年 1 月，Uber 向 Apache 孵化器提交了 Hudi，从而进一步推进了 Uber 的开源承诺，保证 Apache Hudi 可以在 Apache 软件基金会的开放治理和指导下长期可持续性地增长。Hudi 目前管理着 4000 多个表，这些表在 Uber 上存储了几 PB 的数据，同时将 Apache Hadoop 仓库访
# 数据存储
Tajo 是一个分布式数据仓库系统，基于 Hadoop 实现，特点是低延迟、高可伸缩，提供专用查询和 ETL 工具。完全分布式的 SQL 查询处理，基于存储雨 HDFS 的大数据集。超低响应时间，在合理数据范围内的简单查询。容错支持，避免某些任务失败后的查询重启。动态调度，处理和异构集群节点故障。支持多种文件格式，如 CSV、RCFile 和 RowFile. 遵循 ANSI/ISO SQL 标准，非标准方面遵循 PostgreSQL 规范。在 HCatalog 和 Hive MetaStore 实现表访问
openPDS 是一个个人私密数据存储服务。提供通过各种连接器来读写数据，提供计算引擎用于在原生数据上分析。
腾讯分布式数据仓库项目，在Hadoop和hive的基础上开发的腾讯内部最大的离线数据处理平台。TDW支持Oracle功能兼容的SQL语法，支持PB级的存储和TB级的计算等。我们知道传统的数据仓库需要专用的硬件和昂贵的软件授权，使用TDW，可以基于廉价的PC Server构建数据仓库。我们希望通过开源的TDW，降低数据仓库的成本和建设门槛，促进企业对数据价值的发掘，提升国内企业的信息化水平。在架构上，TDW并没有对开源软件做大的修改。
Apache Kudu 简介为了应对先前发现的这些趋势，有两种不同的方式：持续更新现有的Hadoop工具或者重新设计开发一个新的组件。而这些改变足以让我们重新开发一个全新的数据存储系统。于是3年前开始开发，直到如今我们终于可以分享多年来的努力成果：Kudu，一个新的数据存储系统。
LLServer是本人基于libevent和leveldb这两个开源软件，开发的轻量级数据存储服务器软件，借助libevent高效网络接口实现对leveldb的访问封装。其支持http协议和memcached协议。也就是可以通过浏览器或现有的memcached客户端来进行数据的CURD操作。
HyperLevelDB 是 HyperDex 开发的一个数据存储引擎，改进自 Google 的 LevelDB 以满足 HyperDex 的业务需要。
Crate Data 是一个开源的大规模的可伸缩的数据存储系统，无需任何系统管理需求。提供强大的搜索功能。用于存储各种表格数据、非结构化数据和二进制对象。并可通过 SQL 进行检索。易于安装和使用，支持高可用性和实时大规模并行访问和处理。Crate 特别适合用于 Docker 环境中。
CockroachDB 是一个可伸缩的、支持地理位置处理、支持事务处理的数据存储系统。CockroachDB 提供两种不同的的事务特性，包括快照隔离和顺序的快照隔离语义，后者是默认的隔离级别。Range可以合并及分裂来维持总大小在一个全局配置的最大最小范围之间。Range的大小默认是64M，目的是便于快速分裂和合并，在一个热点键值区间快速分配负载。Range有一种变化，通过分布式一致性算法实例来调节确保一致性，蟑螂所选择使用Raft一致性算法。所有的一致性状态存在于RocksDB中。
DataCross 数据存储格式转换
# 常用工具包
jStore 是基于浏览器的数据存储解决方案的jQuery插件。
# 其他jQuery插件
1. 概述gmq是基于redis提供的特性,使用go语言开发的一个简单易用的队列；关于 redis 使用特性可以参考之前本人写过一篇很简陋的文章Redis 实现队列；gmq的灵感和设计是基于有赞延迟队列设计，文章内容清晰而且很好理解，但是没有提供源码，在文章的最后也提到了一些未来架构方向；gmq不是简单按照有赞延迟队列的设计实现功能，在它的基础上，做了一些修改和优化，主要如下：
# 数据存储 # 数据处理
安科网(Ancii)，中国第一极客网
Copyright © 2013 - 2019 Ancii.com
京ICP备18063983号-5 京公网安备11010802014868号
