安科网

MySQL 5.7 对JSON的支持

dubaiToT

dubaiToT

2016-04-16

关注 关注

最近有个业务需要能够存储Json并做一些简单的业务逻辑处理。业务找到我说json的数据分析很难用mysql 5.6 ,这样的纯粹行存来处理难度很大，问我有没啥办法。

我第一想到的是mongodb，第二想到的就是mysql 5.7 。 然后一查，哎呀，已经GA了。众所周知的，mongodb的引擎层的稳定性一直是短板，而innodb经过10年的验证，已经是非常稳定的东西了。
 
所以就在想，是不是可以试试mysql 5.7 ， 简单尝试，发现mysql 5.7 + DRDS ，完全不带mongoDB玩啊。。。
 
看看我的简单功能测试：
 
create table json_test ( uid int auto_increment,data json,primary key(uid))engine=innodb; 
建库
mysql> insert into json_test values (NULL, '{"name":"name1","mobile":"15044447279","amount":400}');
Query OK, 1 row affected (0.01 sec)
 
mysql> insert into json_test values (NULL, '{"name":"name1","mobile":"15044447279","amount":300}');
Query OK, 1 row affected (0.01 sec)
 
mysql> insert into json_test values (NULL, '{"name":"name2","mobile":"15044447278","amount":300}');
Query OK, 1 row affected (0.01 sec)
 
mysql> insert into json_test values (NULL, '{"name":"name3","mobile":"15044447277","amount":300}');
Query OK, 1 row affected (0.01 sec)
 
插入四条语句
mysql> select data from json_test;
+-----------------------------------------------------------+
| data                                                      |
+-----------------------------------------------------------+
| {"name": "name1", "amount": 400, "mobile": "15044447279"} |
| {"name": "name1", "amount": 300, "mobile": "15044447279"} |
| {"name": "name2", "amount": 300, "mobile": "15044447278"} |
| {"name": "name3", "amount": 300, "mobile": "15044447277"} |
+-----------------------------------------------------------+
查询这四条json语句
mysql> select data->"$.name" as name ,sum(data->"$.amount") from json_test group by name;
+---------+-----------------------+
| name    | sum(data->"$.amount") |
+---------+-----------------------+
| "name1" |                   700 |
| "name2" |                   300 |
| "name3" |                   300 |
+---------+-----------------------+
做个group by sum 常见的统计操作
 insert into json_test values (NULL, '{"mobile":"15044447277","amount":300}');
插入一个不带name的数据，看看索引对空数据的兼容性情况。
mysql> ALTER TABLE json_test  ADD user_name varchar(128) GENERATED ALWAYS AS (json_extract(data,'$.name')) VIRTUAL;
Query OK, 0 rows affected (0.05 sec)
Records: 0  Duplicates: 0  Warnings: 0
mysql> alter table json_test add index idx_username (user_name);
Query OK, 0 rows affected (0.04 sec)
Records: 0  Duplicates: 0  Warnings: 0
创建虚拟列并建立索引
mysql> select user_name,sum(data->"$.amount") from json_test where user_name = '"name1"';
+-----------+-----------------------+
| user_name | sum(data->"$.amount") |
+-----------+-----------------------+
| "name1"   |                   700 |
+-----------+-----------------------+
查看符合某个user_name的数据的sum。 
mysql> explain select user_name,sum(data->"$.amount") from json_test where user_name = '"name1"';
+----+-------------+-----------+------------+------+---------------+--------------+---------+-------+------+----------+-------+
| id | select_type | table     | partitions | type | possible_keys | key          | key_len | ref   | rows | filtered | Extra |
+----+-------------+-----------+------------+------+---------------+--------------+---------+-------+------+----------+-------+
|  1 | SIMPLE      | json_test | NULL       | ref  | idx_username  | idx_username | 131     | const |    2 |   100.00 | NULL  |
+----+-------------+-----------+------------+------+---------------+--------------+---------+-------+------+----------+-------+
 
确认带索引数据走到了索引上
 
 
===========
 
然后，这东西竟然还支持事务。。这个就牛逼大了。。
 
mysql> start transaction;
Query OK, 0 rows affected (0.00 sec)
开启事务
mysql> select * from json_test;
+-----+-------------------------------------------------------------------+-----------+
| uid | data                                                              | user_name |
+-----+-------------------------------------------------------------------+-----------+
|   1 | {"name": "name1", "amount": 400, "mobile": "15044447279"}         | "name1"   |
|   2 | {"name": "name1", "amount": 300, "mobile": "15044447279"}         | "name1"   |
|   3 | {"name": "name2", "amount": 300, "mobile": "15044447278"}         | "name2"   |
|   4 | {"name": "name3", "amount": 300, "mobile": "15044447277"}         | "name3"   |
|   5 | {"amount": 300, "mobile": "15044447277"}                          | NULL      |
|   6 | {"amount": "300", "name”:”name2”,”mobile": "15044447278"}         | NULL      |
+-----+-------------------------------------------------------------------+-----------+
 
查看原表。
 
mysql> insert into json_test (uid,data)  values (NULL, '{"name":"name1","mobile":"15044447279","amount":300}');
Query OK, 1 row affected (0.00 sec)
插入新数据
mysql> select * from json_test;                                                                                                                                                                             +-----+-------------------------------------------------------------------+-----------+
| uid | data                                                              | user_name |
+-----+-------------------------------------------------------------------+-----------+
|   1 | {"name": "name1", "amount": 400, "mobile": "15044447279"}         | "name1"   |
|   2 | {"name": "name1", "amount": 300, "mobile": "15044447279"}         | "name1"   |
|   3 | {"name": "name2", "amount": 300, "mobile": "15044447278"}         | "name2"   |
|   4 | {"name": "name3", "amount": 300, "mobile": "15044447277"}         | "name3"   |
|   5 | {"amount": 300, "mobile": "15044447277"}                          | NULL      |
|   6 | {"amount": "300", "name”:”name2”,”mobile": "15044447278"}         | NULL      |
|   7 | {"name": "name1", "amount": 300, "mobile": "15044447279"}         | "name1"   |
+-----+-------------------------------------------------------------------+-----------+
7 rows in set (0.00 sec)
确认新数据
mysql> rollback;
回滚数据
mysql> select * from json_test;
+-----+-------------------------------------------------------------------+-----------+
| uid | data                                                              | user_name |
+-----+-------------------------------------------------------------------+-----------+
|   1 | {"name": "name1", "amount": 400, "mobile": "15044447279"}         | "name1"   |
|   2 | {"name": "name1", "amount": 300, "mobile": "15044447279"}         | "name1"   |
|   3 | {"name": "name2", "amount": 300, "mobile": "15044447278"}         | "name2"   |
|   4 | {"name": "name3", "amount": 300, "mobile": "15044447277"}         | "name3"   |
|   5 | {"amount": 300, "mobile": "15044447277"}                          | NULL      |
|   6 | {"amount": "300", "name”:”name2”,”mobile": "15044447278"}         | NULL      |
+-----+-------------------------------------------------------------------+-----------+
6 rows in set (0.00 sec)
 
 
对mysql 5.7 好感度*2啊。。卧槽。 
 
猜测一下虚拟列的做法：
 
ALTER TABLE json_test  ADD user_name varchar(128) GENERATED ALWAYS AS (json_extract(data,'$.name')) VIRTUAL;
应该写入的时候做一个trigger 每个json都运算json_extract(data,'$.name') ，然后写到一个新的不可修改的列里。
 
��个就可以让原来的行存和文档有一个非常完美的结合，当业务变化大的时候，放到json里面，而当变化稳定下来，就迁移到行存里。
 
完美。 推荐！

mysql mongodb

dubaiToT

dubaiToT

0 关注 0 粉丝 0 动态

关注 关注

相关推荐

Golang操作MySql数据库的完整步骤记录

MySQL是业界常用的关系型数据库，在平时开发中会经常与MySql数据库打交道，所以在接下来将介绍怎么使用Go语言操作MySql数据库。Go语言中的database/sql包提供了保证SQL或类SQL数据库的泛用接口，并不提供具体的数据库驱动。我们常用的数

CoderToy 2020-11-16

MySQL主从复制原理以及需要注意的地方

最近在写Mycat专题，由于不少小伙伴最近要出去面试，问我能不能简单写下MySQL的主从复制原理和注意事项，因为在之前的面试中被问到了这些问题。 Master 将数据改变记录到二进制日志中，也就是配置文件 log-bin 指定的文件， 这些记录叫做二进制日

emmm00 2020-11-17

Mysql联表update数据的示例详解

在MySQL中，可以在 UPDATE语句 中使用JOIN子句执行跨表更新。employees表将存储在员工编号，姓名，工作表现和工资的数据。employees 和 merits 表之间以是 performance 字段相关联的。对于 employees 表

王艺强 2020-11-17

MySQL数据类型优化原则

MySQL支持的数据类型很多，选择正确的数据类型对于高性能至关重要。下面几个简单的原则都有助于做出更好的选择。应该尽量使用可以正确储存数据的最小数据类型。如果无法确定哪个数据类型时最好的，就选择你认为不会超过范围的最小类型。比如用MySQ内建的类型而不是使

ribavnu 2020-11-16

专业级的MySQL开发设计规范及SQL编写规范

在团队开发过程中为了项目的稳定，代码的高效，管理的便捷制定内部种开发设计规范是必不可少的，命名规范的对象是指数据库SCHEMA、表TABLE、索引INDEX、约束CONSTRAINTS等的命名约定。数据库创建时必须添加默认字符集和校对规则子句。设计应至少满

bianruifeng 2020-11-16

Mysql 查询JSON结果的相关函数汇总

计算 JSON 深度，计算方式 {} [] 有一个符号即为一层，符号下有数据增加一层，复杂 JSON 算到最深的一次为止，官方文档说 null 值深度为 0，但是实际效果并非如此，列举几个例子。计算 JSON 最外层或者指定 path 的长度，标量的长度为

wangshuangbao 2020-11-13

Mysql 实现字段拼接的三个函数

给运营导出数据时，难免需要对字段进行拼接，如果 Mysql 可以完成的话，就可以少些很多代码。不过如果有字段值为 NULL，则结果为 NULL。上面这种方式如果想要使用分隔符分割，就需要每个字段中间插一个字符串，非常麻烦。concat_ws() 可以一次性

苏康申 2020-11-13

浅谈MySQL中的自增主键用完了怎么办

" (然后，你就可以回去等通知了！我们以无符号整型为例，存储范围为0～4294967295，约43亿！我们先说一下，一旦自增id达到最大值，此时数据继续插入是会报一个主键冲突异常如下所示。因此，表中的真实id必然会出现断续的情况。

vivenwan 2020-11-13

MySql索引使用策略分析

(建立索引会占用磁盘空间的索引文件。2.很少数据的列也不应该建立索引,比如 一个性别字段 0或者1,在查询中,结果集的数据占了表中数据行的比例比较大,mysql需要扫描的行数很多,增加索引,并不能提高效率

moyekongling 2020-11-13

mysql 如何动态修改复制过滤器

2、这个rds上有一个本地的ECS只读从库，这个只读从库会实时同步线上的rds数据库中的数据，这个只读从库供业务方查询使用

gloryli 2020-11-12

MySQL ddl语句的使用

数据定义语言create、drop、alter语句 。定义对数据库记录的增、删、改操作。定义对数据库、表、字段、用户的访问权限和安全级别。这小节主要了解下数据定义语言DDL。我们用它对数据库、表进行一些管理操作，比如：建库、删库、建表、修改表、删除表、对字

云中舞步 2020-11-12

MySQL中使用binlog时格式该如何选择

每一条会修改数据的sql都会记录到master的bin-log中。slave在复制的时候sql进程会解析成和原来master端执行过的相同的sql来再次执行。另外就是,由于mysql现在发展比较快，很多的新功能加入，使mysql的复制遇到了不小的挑战,自然

要啥自行车一把梭 2020-11-12

mysql 8.0.22 安装配置图文教程

解压后的目录并没有的my.ini文件，没关系可以自行创建在安装根目录下添加的my.ini ，写入基本配置：。# 允许连接失败的次数。初始化MySQL，在安装时，避免权限问题出错我们尽量使用管理员身份运行CMD，否则在安装时会报错，会导致安装失败的情况，如下

aydh 2020-11-12

解决Navicat Premium 连接 MySQL 8.0 报错\"1251\"的问题分析

人闲太久，努力一下就以为是在拼命。1251 - Client does not support authentication protocol requested by server; consider upgrading MySQL client. My

kuwoyinlehe 2020-11-12

MySQL数据操作-DML语句的使用

DML数据操作语言，是指对数据库进行增删改的操作指令，主要有INSERT、UPDATE、DELETE三种，代表插入、更新与删除，这是学习MySQL必要掌握的基本知识。方语法中 [] 中内容可以省略。值的顺序和表中字段顺序须保持一致。

minerk 2020-11-12

详解 MySQL中count函数的正确使用方法

当搞清楚count函数的运行原理后，相信上面几个问题的答案就会了然于胸。为了解决上述的问题，我创建了一张 user 表，它有两个字段：主键id和name，后者可以为null，建表语句如下。`id` int NOT NULL AUTO_INCREMENT C

vitasfly 2020-11-12

MySQL 基于时间点的快速恢复方案

万幸，这份数据是平台上某些商品的价格，基本上是有限个商品，然后价格值也都是固定的，之前有对这个价格表进行备份，于是给他直接重新导入了一份价格表的数据，这个问题也算是解决了。新建一个实例，全库还原，然后应用备份的binlog，一直去追，追到数据被该坏的时间点

jazywoo在路上 2020-11-11

MySQL外键约束的实例讲解

MySQL的外键约束是用来在两个表之间建立链接的，其中一个表发生变化，另外一个表也发生变化。从这个特点来看，它主要是为了保证表数据的一致性和完整性的。也就是说，只要外键的每个非空值出现在指定的主键中，这个外键的内容就是正确的。

敏敏张 2020-11-11

MySQL用truncate命令快速清空一个数据库中的所有表

用文本编辑器把每条truncate语句前后的“|”替换为空字符，方便后面一次复制多条执行。truncate与drop是DDL语句，执行后无法回滚；delete是DML语句，可回滚。truncate会清空表中的所有行，但表结构及其约束、索引等保持不变；dro

世樹 2020-11-11

修改MySQL8.0 默认的数据目录(快捷操作无配置)

使用场景：我们使用的是阿里云，单独购买了数据盘，MySQL 8.0 数据库默认装在系统盘上，为了考虑安全性和空间问题，我们需要将默认的数据库目录更改到其它位置。操作系统：CentOS 7.6 数据库：MySQL 8.0 查看我本人更多原创文章，请点击

zry 2020-11-11
dubaiToT

dubaiToT

W3CSchool教程
HTML 教程
CSS 教程
Bootstrap 教程
Javascript 教程
jQuery 教程
后端教程
C 教程
Java 教程
PHP 教程
Python 教程
Go 教程
移动开发
Android 教程
Swift 教程
Kotlin 教程
jQuery Mobile 教程
ionic 教程
关于我们
新闻动态
联系方式
招聘英才
安科实验室
帮助与反馈

安科网(Ancii)，中国第一极客网

Copyright © 2013 - 2019 Ancii.com

京ICP备18063983号 京公网安备11010802014868号