常用架构 框架 设计等术语
NoSql (memcache Redis)
全文搜索:Sphinx、Elasticsearch、Solr
Kafka
Redis/MC MC指的是memcache
SSD Cache 固态硬盘 Solid State Disk或Solid State Drive,简称SSD
DOCKER
LEVEL DB
数据库中间件或开发框架
1 TDDL Taobao Distributed Data Layer,淘宝分布式数据层
2 愚公
愚公简是阿里的开源项目,使用纯java开发,进行数据库迁移,目前主要支持从oracle数据库向mysql和drds数据库进行迁移.我们目前主要是从mysql迁移到mysql中,针对数据库表结构改变.
3 Sharding-Sphere
Sharding-SphereSharding-Sphere是一套开源的分布式数据库中间件解决方案组成的生态圈,它由Sharding-JDBC、Sharding-Proxy和Sharding-Sidecar这3款相互独立的产品组成。他们均提供标准化的数据分片、读写分离、柔性事务和数据治理功能,可适用于如Java同构、异构语言、容器、云原生等各种多样化的应用场景。
4 mycat
http://www.mycat.org.cn/ 一个彻底开源的,面向企业应用开发的大数据库集群 基于阿里开源的Cobar产品而研发
5 mysql proxy
是mysql官方提供的mysql中间件服务,上游可接入若干个mysql-client,后端可连接若干个mysql-server。
它使用mysql协议,任何使用mysql-client的上游无需修改任何代码,即可迁移至mysql-proxy上。
mysql-proxy最基本的用法,就是作为一个请求拦截,请求中转的中间层
6 MySQL Router
是MySQL官方提供的一个轻量级中间件,可以在应用程序与MySQL服务器之间提供透明的路由方式。主要用以解决MySQL主从库集群的高可用、负载均衡、易扩展等问题。Router可以与MySQL Fabric无缝连接,允许Fabric存储和管理用于路由的高可用数据库服务器组,使管理MySQL服务器组更加简单。
7 MySQL Fabric
MySQL Fabric 是一个用于bai管理 MySQL 服务器群的可扩展框架。该框du架实现了两个特性 — 高可zhi用性 (HA) 以及使用数dao据分片的横向扩展。这两个特性既可以单独使用,也可以结合使用。
8 Atlas
Atlas 是由 Qihoo 360公司Web平台部基础架构团队开发维护的一个基于MySQL协议的数据中间层项目。它在MySQL官方推出的MySQL-Proxy 0.8.2版本的基础上,修改了大量bug,添加了很多功能特性。目前该项目在360公司内部得到了广泛应用,很多MySQL业务已经接入了Atlas平台,每天承载的读写请求数达几十亿条。
Hadoop相关
Hadoop是一个由Apache基金会所开发的分布式系统基础架构
HDFS 是Hadoop Distributed File System的简称,是Hadoop抽象文件系统的一种实现。
HBASE Hbase是一种分布式存储的数据库,技术上来讲,它更像是分布式存储而不是分布式数据库
Sqoop
hadoop MapReduce为HBase提供了高性能的计算能力,Zookeeper为HBase提供了稳定服务和failover机制。Pig和Hive还为HBase提供了高层语言支持,使得在HBase上进行数据统计处理变的非常简单