MySQL实现中位数算法
本次文章目的:
MySQL并没有专门的中位数算法,而对于SQL不熟悉的人,书写中位数,只能通过Java等语言实现。并非推荐使用MySQL完成中位数计算,以下实现,仅为了通过算法解析的过程中,了解一些MySQL常用与不常用的功能、函数,并开拓思维。
当然,对于一些临时性的要求,需要制作一些临时性的算法测试、校验、导出, 能使用MySQL完成这类算法,就凸显出其效率。
说到中位数,我们就需要一批数据来进行测试和实现,创建如下表:
DROP TABLE IF EXISTS CaseRent;
CREATE TABLE CaseRent(
ID int(6) NOT NULL AUTO_INCREMENT,
ResidentialAreaID int(6) DEFAULT NULL,
CaseFrom varchar(30) DEFAULT NULL,
Price int(6) DEFAULT NULL,
PRIMARY KEY (ID)
);
称之为出租案例表,关键字段有:小区ID、案例来源及价格。
接下来通过随机数来给出租案例表赋值:
INSERT INTO CaseRent (ResidentialAreaID, CaseFrom ,Price)
SELECT ROUND((RAND()*100)+1),'链家在线',ROUND((RAND()*8000)+1000)
该语句包含知识点如下:
1.通过 INSERT INTO ... SELECT 进行赋值(用途广泛,创建表亦可以使用)
2.运用Rand() 随机数函数,ROUND() 四舍五入函数,完成小区ID从0~100 ,价格从1000~9000的随机录入。
一条数据当然不够,我们可以使劲的多点几下执行,使数据增加到近10条。这时候我们修改一下赋值语句
INSERT INTO CaseRent (ResidentialAreaID, CaseFrom ,Price)
SELECT ROUND((RAND()*100)+1),'链家在线',ROUND((RAND()*8000)+1000) FROM CaseRent
继续反复来N下,之后将来源“链家在线”修改为“房天下”,进行一次赋值。
INSERT INTO CaseRent (ResidentialAreaID, CaseFrom ,Price)
SELECT ROUND((RAND()*100)+1),'房天下',ROUND((RAND()*8000)+1000) FROM CaseRent
模拟数据到此完成!示例如下:
实际上,网上的中位数花式百出,但无一不是:代码篇幅长、需要自我关联 或者 使用上临时变量。
当然也有类似我们接下来要讲的方式。无论哪种方式,都需要更多的了解和扩展自己所知。
接下来以刚才我们自定义的模拟数据为例子,安排第一个问题:
1.查找小区ID = 99 的价格中位数
这类的中位数,可以说是最简单的,而且网上大部分中位数,均针对此类中位数(单条件),从上述网站就可以看到,其问题与我们的类似,但其代码量可谓不少。
我们来分析问题:其获取价格中位数,就必须使用ORDER BY 来实现排序,排序后,统计总条数,来获取中间一条的价格作为结果(如果为偶数,可以取2条均值,亦可以取前一条 例如 6条数据,可以取第3、4 条进行均值计算,这里以取前一条为算法模拟)
那么第一步,无疑是要进行价格从小到大的排序:
SELECT * FROM CaseRent WHERE ResidentialAreaID = 99 ORDER BY Price
排序之后,ID显的杂乱无章,关如此,我们人为的话,只能去手动数条数进行查找, 因此我们需要拥有一个新的自增ID,以此来更快的得知其对应的排名。
如何得到新的自增ID呢? 我们可以新建一张表, 通过INSERT INTO ...SELECT 来完成新数据的录入,以此达到数据的ID自增:例如:
INSERT INTO NewCaseRent(ResidentialAreaID,CaseFrom,Price)
SELECT ResidentialAreaID,CaseFrom,Price FROM CaseRent WHERE ResidentialAreaID = 99 ORDER BY Price
不过这样我们就需要建表了,这就显的很麻烦,因为一个自增,而新建一张表,入不敷出,
那么我们就需要一个变量,来实现自增功能。
同JAVA/Python等开发语言一样,Mysql也有变量,通常以@开头为用户自定义变量,以@@开头为系统变量。
那么我们怎么使用变量?很简单,通过SET创建并赋值变量值, 再通过SELECT查询结果,例如:
SET @ID = 0;
SELECT @ID;
有了变量,我们可以将变量作为新的自增ID,来代替创建一张新表的操作了,
通过变量自加操作,完成新的自增ID功能:
SET @ID = 0;
SELECT @ID:=@ID+1 AS ID,ResidentialAreaID,CaseFrom,Price FROM CaseRent WHERE ResidentialAreaID = 99 ORDER BY Price
注意几点:
1.在SELECT中,给临时变量赋值,使用 :=
2.每条语句,从底层讲,都是循环查询,因此在语句上直接自增,就可以实现逐条累加。
当然,上面的语句其实是2条语句,这样放到JAVA或者其他语言中执行,可能不方便,因此也可以修改成如下语句:
SELECT @ID:=@ID+1 AS ID,ResidentialAreaID,CaseFrom,Price FROM CaseRent,(SELECT @ID:=0) b
WHERE ResidentialAreaID = 99 ORDER BY Price
结果示例:
效果很好,接下来我们要做的,就是获取ID=总条数/2 的那条数据了。
思考一下,如何才能简单的得到结果?
SELECT * FROM (
SELECT @ID:=@ID+1 AS ID,ResidentialAreaID,CaseFrom,Price FROM CaseRent,(SELECT @ID:=0) b
WHERE ResidentialAreaID = 99 ORDER BY Price ) a WHERE ID = @ID/2
通过简单的中位数选取,深刻认知Mysql临时变量的用法。
接下来引入加深层次的中位数:
1.根据案例来源,分别统计不同来源,小区ID=99的中位数。
分析问题:比第一步多了一个条件,其结果也多了一条数据。
那么该怎么做呢?
我们知道,排序的时候,需要按照 案例来源、价格 2个条件进行排序了,如果直接自增ID, 会是什么样的呢?
SELECT @ID:=@ID+1 AS ID,ResidentialAreaID,CaseFrom,Price FROM CaseRent,(SELECT @ID:=0) b
WHERE ResidentialAreaID = 99 ORDER BY CaseFrom,Price
很明显,如果想要实现真确的自增ID, 到了链家在线这一步,ID需要重新从1开始计算。
那么难道我们分成2次统计? 如果案例来源有N个,这个方式明显不行。
接下来引入Mysql函数 IF
IF ( 条件 , 真 , 假 )
为什么引入IF? 我们需要判断排序后自增的时候,案例来源是否和上次的一样,如果不一样 说明切换到了新来源,这时候将@ID设置为从1开始,就可以实现2个来源不同的自增ID。
要判断来源是否一样,我们还得加个临时变量 @CaseFrom
复制代码
SET @ID:=0,@CaseFrom='';
SELECT IF(@CaseFrom!=CaseFrom,@ID:=1,@ID:=@ID+1) AS ID,ResidentialAreaID,CaseFrom,Price,
@CaseFrom:=CaseFrom wy
FROM CaseRent WHERE ResidentialAreaID = 99 ORDER BY CaseFrom,Price;
这里的wy字段,就纯粹是为了赋值CaseFrom。对其他操作无用。
结果如下:
但是问题来了。 @ID已经不能直接用来 判断Count(*)/2了 。 因为@ID 已经是链家在线的ID,而不是房天下的。
通过创建临时表:临时完美通俗的解决该问题:
临时表Temporary只在当前会话使用,其余会话创建相同名称临时表,不互相冲突,不直接生成实体表。
但临时表不能自我关联。
复制代码
SET @ID:=0,@CaseFrom='';
DROP TABLE IF EXISTS CS_1;
CREATE TEMPORARY TABLE CS_1
SELECT IF(@CaseFrom!=CaseFrom,@ID:=1,@ID:=@ID+1) AS ID,ResidentialAreaID,CaseFrom,Price,@CaseFrom:=CaseFrom wy
FROM CaseRent WHERE ResidentialAreaID = 99 ORDER BY CaseFrom,Price;
DROP TABLE IF EXISTS CS_2;
CREATE TEMPORARY TABLE CS_2
SELECT CaseFrom,FLOOR(Max(ID)/2) CenterID FROM CS_1 GROUP BY CaseFrom;
SELECT * FROM CS_1 a INNER JOIN CS_2 b ON a.ID = b.CenterID AND a.CaseFrom=b.CaseFrom;
这就显的拖沓了,写了这么多代码,创建了2张临时表,关联后获取结果。 不过只是相对而言, 对于一些临时性的操作,计算、导出的时候,就算是python编写个脚本,其代码量也远远大于这些。
上述方式,通过临时表 + IF 的方式,实现了多层次的中位数获取。但是我们知道,通过IF判断,意味着我如果添加新的层次,例如:
1.获取每一个小区、每一个来源的中位数。
这样我们就得增加一个小区ID的临时变量,不仅案例来源改变,需要重置ID为1, 小区ID改变时,也要重置为1, 这样的代码如下:
复制代码
SET @ID:=0,@CaseFrom='',@ResidentialAreaID=0;
DROP TABLE IF EXISTS CS_1;
CREATE TEMPORARY TABLE CS_1
SELECT IF(@CaseFrom!=CaseFrom,@ID:=1,@ID:=@ID+1) AS ID,
IF(@ResidentialAreaID!=ResidentialAreaID,@ID:=1,1) AS ID2,
ResidentialAreaID,CaseFrom,Price,@CaseFrom:=CaseFrom wy,@ResidentialAreaID:=ResidentialAreaID wy2
FROM CaseRent ORDER BY ResidentialAreaID,CaseFrom,Price;
DROP TABLE IF EXISTS CS_2;
CREATE TEMPORARY TABLE CS_2
SELECT ResidentialAreaID,CaseFrom,FLOOR(Max(ID)/2) CenterID FROM CS_1 GROUP BY ResidentialAreaID,CaseFrom;
SELECT * FROM CS_1 a INNER JOIN CS_2 b ON a.ID = b.CenterID AND a.CaseFrom=b.CaseFrom
AND a.ResidentialAreaID=b.ResidentialAreaID;
多了一个IF判断,多了一个临时变量,多关联了一个字段。
这对熟悉并了解该逻辑的人来说并没有增加多少代码量,但其多了一层逻辑,需要了解,这就可能照成混淆。
看上去很多,其实相较于其他方式,已经很精简了,不过还没完,我们还有很多方法可以尝试!
例如编写Mysql 自定义函数、存储过程来实现,不过这就有点偏离了。
接下来换一种方式实现。
通过 GROUP_CONCAT 和 SUBSTRING_INDEX实现中位数算法
Group_concat 一般不会太陌生,一般伴随着Group By 使用,当然也可以不实用Group by
通过Group_concat 可以将结果字段 默认通过 逗号 分割,组成一个新的字符串。
例如:
SELECT GROUP_CONCAT(Price) FROM CaseRent WHERE ResidentialAreaID = 99;
其结果如下:
而GROUP_CONCAT中,还可以写一些SQL代码。例如
GROUP_CONCAT( Price ORDER BY Price )
或者:
GROUP_CONCAT( DISTINCT Price )
是不是很方便,可以自行排序、剔除重复等操作,组成一个新的字符串。
再介绍另一个函数:SUBSTRING_INDEX
先看一下结果:
SELECT SUBSTRING_INDEX('一批,数,据',',',1)
= 一批
SELECT SUBSTRING_INDEX('一批,数,据',',',2)
= 一批,数
SELECT SUBSTRING_INDEX('一批,数,据',',',3)
= 一批,数,据
很明确了, 第一个参数放字符串,第二个为分割字符,第三个为取到第几个字符。
那就再说一个 -1 , -1 很常见,Redis、python 中 分割、查找字符经常使用,意为反向取值, 例如:
SELECT SUBSTRING_INDEX('一批,数,据',',',-1)
= 据
结合这两种函数的特性,就能完成中位数获取了。
我们来看一下:
SELECT SUBSTRING_INDEX(SUBSTRING_INDEX(GROUP_CONCAT(Price ORDER BY Price),',',Count(1)/2),',',-1) zws
FROM CaseRent WHERE ResidentialAreaID = 99;
以上涉及了2个函数, SUBSTRING_INDEX 以及 GROUP_CONCAT,
通过GROUP_CONCAT将结果排序后组成逗号分割的新字符串, 并通过SUBSTRING_INDEX, 获取到总量/2的结果,再通过SUBSTIRNG_INDEX -1的获取倒数第一个值,即为中位数结果。
那么如果加上案例来源获取中位数,这代码会变成什么样?
SELECT CaseFrom,SUBSTRING_INDEX(SUBSTRING_INDEX(GROUP_CONCAT(Price ORDER BY Price),',',Count(1)/2),',',-1) zws
FROM CaseRent WHERE ResidentialAreaID = 99 Group By CaseFrom;
再加上区分小区呢?:
SELECT ResidentialAreaID,CaseFrom,
SUBSTRING_INDEX(SUBSTRING_INDEX(GROUP_CONCAT(Price ORDER BY Price),',',Count(1)/2),',',-1) zws
FROM CaseRent Group By ResidentialAreaID,CaseFrom;
似乎很简单,但是GROUP_CONCAT有个默认承载长度 1024
如果不修改参数的情况下,做大量数据的中位数统计,会超出GROUP_CONCAT的承载长度,导致计算错误。
而一般情况下,我们无法修改服务器的Mysql配参,可以通过:
show variables like 'group_concat_max_len'
来参考当前参数。
以及:
-- 以当前会话,临时修改GROUP_CONCAT支撑长度。
SET @@GROUP_CONCAT_MAX_LEN = 1024000;
当然,如果有必要,可以直接通知运维修改一下参数长度,如果不常用,可以自行使用这种方式修改后临时使用;因此数据量大的情况下,正确的写法如下:
复制代码
SET @@GROUP_CONCAT_MAX_LEN = 1024000;
SELECT ResidentialAreaID,CaseFrom,
SUBSTRING_INDEX(SUBSTRING_INDEX(GROUP_CONCAT(Price ORDER BY Price),',',Count(1)/2),',',-1) zws
FROM CaseRent Group By ResidentialAreaID,CaseFrom;
到此,中位数算法结束。
主要知识点:
临时变量
临时表
系统变量
IF
GROUP_CONCAT
SUBSTRING_INDEX