海量结构化数据的计算探讨
电信运营商每天需要对生产系统产生的海量数据进行分析,首先要从各远端生产系统提取数据,清洗加工等等(ETL),后续就是数据的运算处理,数据量相当大,每天都是TB级,但主要以结构化数据为主,故对于此类有钱的主必然使用oracle。
据我观察对于数据的处理基本上都是采用存储过程进行处理,举个简单的例子,抽取用户的3个月消费数据进行一些类似平均本地通话时长,平均本地通话费用...等等诸如此类的运算。最直接的思路就是写个存储过程,分别取这3个月的消费数据放入表A中,通过分组、求和、平均即可得出指标,然后将运算结果插入目标结果表B。
在此,请问各位大牛,在遇到此种场景如何进行处理的?
<!--EndFragment-->相关推荐
yangkang 2020-11-09
lbyd0 2020-11-17
sushuanglei 2020-11-12
85477104 2020-11-17
KANSYOUKYOU 2020-11-16
wushengyong 2020-10-28
lizhengjava 2020-11-13
星月情缘 2020-11-13
huangxiaoyun00 2020-11-13
luyong0 2020-11-08
腾讯soso团队 2020-11-06
Apsaravod 2020-11-05
PeterChangyb 2020-11-05
gaobudong 2020-11-04
wwwjun 2020-11-02
gyunwh 2020-11-02
EchoYY 2020-10-31
dingyahui 2020-10-30