DBProxy 是由美团点评公司技术工程部 DBA 团队(北京)开发维护的一个基于 MySQL 协议的数据中间层。它在奇虎 360 公司开源的 Atlas 基础上,修改了部分 bug,并且添加了很多特性。目前 DBProxy 在美团点评广泛应用,包括美团支付、酒店旅游、外卖、团购等产品线,公司内部对 DBProxy 的开发全面转到 github 上,开源和内部使用保持一致。
# 数据库调整和优化
DBShield 是用 Go 语言开发的数据库防火墙,用来保护你的数据免受 SQL 注入的侵扰。支持的数据库包括:DB2、MySQL、MariaDB、Oracle、PostgreSQL。
MySQL Sniffer 是一个基于 MySQL 协议的抓包工具,实时抓取 MySQLServer 端的请求,并格式化输出。输出内容包括访问时间、访问用户、来源 IP、访问 Database、命令耗时、返回数据行数、执行语句等。有批量抓取多个端口,后台运行,日志分割等多种使用方式,操作便捷,输出友好。同时也适用抓取 Atlas 端的请求,Atlas 是奇虎开源的一款基于 MySQL 协议的数据中间层项目。同类型工具还有vc-mysql-sniffer,以及 tshark 的 -e mysql.query
mybatis 的crud,快速的增删查改。spring或者springboot中使用mybtais,像jpa一样可以使用注解进行实体和数据库表的映射,目前只实现了单表,主键使用UUID生成。使用简单,可以减少大量的 mapper的dao层和service层的代码,使用基类统一的代码。已经在本人的不少工程验证过,快速实现crud. countVague:模糊匹配,查询总数
Whitewidow 是一个开源的 SQL 漏洞自动扫描程序,能够通过文件列表运行,它还可以清理 Google 上那些潜在的易受攻击的网站。它允许自动格式化文件、随机用户代理、IP 地址、服务器信息、多个 SQL 语法注入、从程序启动 sqlmap 以及一些有趣的环境。该程序为学习目的而建,旨在教会用户漏洞是什么样的。Whitewidow 能够通过在添加之前仔细研究超过1,000种不同的查询来摄取 Google ,从而发现网站中的漏洞。
# 数据库调整和优化 # 安全相关
WCDB 是腾讯开源的一个高效、完整、易用的移动数据库框架,基于SQLCipher,支持 iOS、macOS 和 Android。WCDB for iOS/macOS基本功能WINQ: 通过WINQ,开发者无须为了拼接SQL的字符串而写一大坨胶水代码。开发者可以很便捷地定义表、索引、约束,并进行增删改查操作。WCDB需使用Xcode 8.0以上版本进行编译。
扩容过程需要以切片为单位在库间移动数据。扩容规模受到切片数量限制,如果业务发展增长规模大大超出初期预估会导致切片数量不够用,陷入数据硬迁移的困境。后续操作中可以也发送mysqlda扩展SQL再选择核心业务对象或关联对象类、关联对象以调整MySQL归属库服务器连接。
使用最新的研究来构建最快的键值存储。
DRDS专注于解决单机关系型数据库扩展性问题,具备轻量(无状态)、灵活、稳定、高效等特性,是阿里巴巴集团自主研发的中间件产品,稳定运行10年,经历所有天猫双十一核心交易业务和各类行业业务的考验,是你值得信赖的选择。分库分表 多种贴合OLTP业务的拆分方案,让操作聚焦少量数据,提升操作效率,利用分布式特性,并行操作选项,超越单机关系型数据库的操作响应时间
基于Nio实现,有效管理线程,解决高并发问题。前后端共享buffer,支持全透传和半透传,极致提升内核性能,稳定性和兼容性。功能特性 支持SQL92标准。支持单库内任意sql。linux 环境 运行 bin 目录下 ./mycat {console | start | stop | restart | status | dump }. 运行成功后,使用 root 账号登录,登录密码 123456 登录,端口号为mycat.yml中配置的端口号,默认为8066
基于Mybatis+插件技术实现的分库分表技术,总体思想是使用Range范围+哈希取模 实现分库分表,降低表内记录数提升性能。单sql+包含分片键 -支持以下功能1)Select|Insert|Update|Delete2)sql内任意多个表的Join操作 [不建议太多表的join]3)sql类型无任何限制4)sql支持分片内部的读写分离5)从数据库的轮询实现负载均衡单sql+不包含分片键(不支持)1)必须要有分片键多sql+包含分片键 -支持以下功能1)支持事务2)支持事务内的任何CRUD3)sql类型无
DBLE 高可扩展性的分布式中间件
mongo-c-driver 是 MongoDB 官方的 C++ 语言客户端开发包。
基于nodejs+ligerui的一款 mongodb web 端查询工具。这是我2015年入猫酷写的一款内部工具,目的是为了开发人员可以查询数据库数据以调查线上bug,数据不仅限业务数据及日志数据,其目的是为了避免开发人员直接链接生产环境数据库,以免误操作影响生产。当时是用 Asp.net Mvc 写的, 最近得空用 nodejs 重新写了一遍,开源出来, 导出到excel功能有时间后续开发。MongoStudio是什么:它是一个在线的MongoDB查询器,基于B/S端。
1 简介ThinkJD,又名ThinkJDBC,一个简洁而强大的开源JDBC操作库。你可以使用Java像ThinkPHP框架的M方法一样,一行代码搞定数据库操作。ThinkJD会自动管理数据库连接,默认使用完毕或程序异常都会关闭连接以免造成内存溢出。也可以设置手动关闭以复用Connection连接,无需传入连接实例参数,ThinkJD内部已做多线程安全处理,详见。
Maxwell 是一个读取 MySQL binlogs 并将修改行字段的更新写入 Kafka, Kinesis, RabbitMQ, Google Cloud Pub/Sub 或 Redis 以作为 JSON 的应用程序。Maxwell 拥有可对底层进行操作的操作栏,可生成一致、易于获取的更新流,你可以轻松“固定”流处理系统的一些优点,而无需通过整个代码库来添加(不可靠)检测点。常见用例包括 ETL、缓存构建/到期、指标收集、搜索索引和服务间通信。Maxwell 通过充当完整的 mysql 副本来完成所有
QSQL是以SQL进行单一、混合查询的一款产品。QSQL支持标准SQL语言;QSQL支持查询关系型数据库、NoSQL式数据库、原生不支持SQL查询的存储,及借助中间计算引擎实现混合查询。QSQL最大的特点是独立于计算引擎、存储引擎本身,如此用户只需要关注于QSQL语法以及数据本身,就可完成数据计算、统计以及分析。并且将Hive与MySQL的连接信息添加到元数据管理中。
特性支持将数据库及其表结构的元数据以text、markdown、json、csv形式输出。安装 源代码安装。-P value, --port value port number to use for connection . CREATE DATABASE IF NOT EXISTS `mydb` DEFAULT CHARACTER SET utf8 COLLATE utf8_general_ci;`sno` char NOT NULL COMMENT '学号',`sname` varchar N
ZetaSQL SQL 的分析框架
简介Gaea 是小米商城/系统组研发的基于 mysql 协议的数据库中间件,目前在小米商城大陆和海外得到广泛使用,包括订单、社区、活动等多个业务。Gaea 支持分库分表、sql 路由、读写分离等基本特性,更多详细功能可以参照下面的功能列表。其中分库分表方案兼容了 mycat 和 kingshard 两个项目的路由方式。
安科网(Ancii),中国第一极客网
Copyright © 2013 - 2019 Ancii.com
京ICP备18063983号-5 京公网安备11010802014868号