深度挖掘三类价值信息 运营商离大数据有多远
在云计算、大数据和移动性的技术浪潮下，IT系统在电信运营商业务中扮演着越来越关键的角色，从后台支撑系统转型为核心业务系统。来自经济学人信息部的调查显示，一半以上的受访企业主要依赖IT部门提高运营效率。在所有受访者中，具有最高效能的公司，即那些财报表现优于其同行的公司，为IT在其业务的关键领域确定了不同的角色。2013年，运营商将投入更多的财力和人力改造IT系统。
在今年的“IT月”报道中，我们将从大数据、云计算、IT集中化以及安全等四个方面重点探讨，运营商是如何利用这些技术把IT系统变成公司业绩增长的新引擎。
如今看来，“忽如一夜春风来，千树万树梨花开”形容大数据的宣传效果不足为过，而代表其释放价值有点夸大其词了。
“Verizon去年10月着手研究大数据。对于Verizon来说，大数据还是一个新生事物，处于探索阶段。其实，在一项技术尚未产生规模效益之前，运营商是不会轻易改变其IT基础设施架构的。”Verizon顾问杨俊杰在接受《通信产业报》(网)记者采访时表示。
不过，作为Verizon Marketing部门的CRM顾问，杨俊杰认为大数据代表了运营商IT系统的未来走向。就是在去年10月，美国Verizon成立精准营销部门Precision Marketing Division。
目前，多家咨询公司给出分析报告，认为电信和互联网是大数据最有作为的两个细分市场。“作为网络的经营者，运营商掌握着用户最为全面的信息。如果对这些数据进行深度利用，将给运营商带来显著的价值。”多位受访者向记者表示。
美国管理学家、统计学家爱德华·戴明说过，“除了上帝，任何人都必须用数据来说话。”全球范围内的电信运营商正在用行动来实现网络“说话”的目标。
管道就是数据金矿
分析报告显示，智能终端的发展带来了运营商数据流量的指数级增长，在过去18个月中，移动互联网流量增长了近10倍。而另一份来自思科的数据报告则显示，2001年，全球IP流达到1EB所需时间为一年，而发展到2013年，时间大幅缩短仅仅需要一天，2016年再次缩短至半天。
运营商的网络每天正在产生巨大的信息量。以上海电信举例，徐家汇商圈每分钟产生8万条位置更新的信息，整个上海市每小时有300万次移动电话呼叫，每天有70TB-100TB的数据访问量，每天有30亿次互联网点击量。显然，这些巨大的信息量背后就是一座数据金矿。
“这些信息全部产生于运营商的管道。管道就是运营商掘金大数据的金矿。在这个管道中，运营商将获得三类最有价值的信息，分别是移动用户的位置信息、信令信息以及网管和日志。”中兴通讯大数据总工程师叶云在接受《通信产业报》(网)记者采访时说。
位置信息已经开始让西班牙电信获益。在成立大数据部门后，西班牙电信推出首款产品“智慧足迹(Smart Steps)”，该产品对某个时段和某个地点的用户流量和其关键影响因素进行分析，并将洞察结果面向政企客户提供。
这些洞察结果可为零售商在新店设计和选址、商品促销方式等提供决策支撑，从而帮助零售商更好地洞察客户需求，提升营销业绩。
而通过针对位置和信令数据建模，运营商还可利用大数据支持公共事务。中国移动项目经理何鸿凌介绍，运营商可以建立用户“时-空”特征分析模型，根据历史信息和当前信息，服务于交通规划、重大活动和突发事件。
大数据来临之前，运营商进行数据分析的来源更多基于BSS系统和CRM系统。“相比于BSS系统来说，管道产生的数据更具价值。”叶云说。
Teradata中国区通讯行业总经理吴传宇举例向记者进一步阐述了网络侧数据的重要性。他讲到，Teradata和某个运营商合作，评估用户对运营商服务的满意度。最早基于BSS数据来评估，分析结果显示，用户满意度很高，交费及时，几乎无投诉率。
然而现实情况却是这家运营商的用户离网率持续提升。于是，Teradata建议引入OSS侧的信令数据进行综合评估。信令数据显示发现很多用户其实经常打不通电话，或者频繁发生掉线，下载内容速度也非常慢，用户感知非常差，这也是导致用户离网的关键原因。
“BSS系统关注的更多是营销类数据。因此，运营商要做大数据，必须将BSS侧和OSS侧数据相融合，形成全网数据。”吴传宇表示。
山西移动便通过引入网络大数据，和BSS侧数据融合，精确观察了微信、手机QQ、米聊等OTT业务对运营商传统业务影响究竟有多大，并制定了正确的市场决策。
然而，要实现BSS域和OSS域的数据融合，运营商却遇到了挑战。电信运营商的IT架构通常被人比喻成“烟囱式”架构，数据孤岛大量存在。要想对这些数据进行规模整合，并不是一件容易的事情。
中国移动研究院首席科学家曾在微博上表示，“尽管电信运营商具有对用户行为进行分析的天然条件，但是运营商基于基础设施自底(能力和技术)向上(市场需求)的业务发展模式和运营商传统上以事件驱动的业务体系结构的约束，至今难以产生直接的市场价值。”
对此，吴传宇表示，厂商推出的大数据解决方案正在弥补这一缺陷。
Hadoop不是万能钥匙
在大数据探索的进程中，运营商逐渐摆脱了对Hadoop技术的认知误区。犹记得大数据兴起之时，Hadoop风生水起，它被认为是业界应对大数据挑战的一剂良药。
然而在实践过程中，人们发现Hadoop在用作数据深度挖掘时存在效率低下等问题，远不及传统的数据仓库好用。但Hadoop成本低，用作数据存储具有数据仓库无法比拟的优势。
Teradata解决方案高级总监姜欣用一个形象的比喻来说明Hadoop在大数据发挥的作用。“大数据就是一个淘金的过程。淘金过程中，首先需要把矿石挖掘出，就需要有运输的工具和堆放的位置，那么Hadoop就等同于这个工具和位置，更多的是传输和存储数据。之后，需要进行矿石的提炼，从而淘出金子。这时候用Hadoop的话，花费的人力和物力会大大增加，时间成本也会增加。”
中国联通的大数据应用代表“移动通信用户上网记录集中查询与分析支撑系统”便是采用Hadoop技术实现了实时查询的功能。每天可处理700亿条上网记录，将用户上网查询记录的系统响应时间缩短至一秒，大大提升用户感知。
从目前情况看，任何单一技术都不足以高效低成本地支撑大数据整个架构。何鸿凌在“2013 Teradata大数据峰会”的演讲中指出，大数据时代，运营商需要分工严密的混搭结构，包括传统数据仓库、新型数据关系库和Hadoop，以充分发挥各个平台的优势。
而且，他强调，这些技术要有效的形成“混搭”，而不是“乱搭”，不能变成“竖井”，需要集成为统一的大数据架构。中国移动目前便初步形成了以传统数据仓库为基础的统一大数据架构。
其中，主数据仓库用来存储“热”数据，进行高效数据加工，支撑KPI、月报的及时呈现，支撑数据的高可靠性低时延访问;新型的关系数据库作为深度分析平台，则用户存储“温”数据，支撑各类高级分析和数据挖掘;Hadoop用来存储“冷”数据和非结构化原始数据，实现自定义、灵活的数据加工和挖掘工作，以及大规模简单数据查询工作。
两大盈利方向
大数据作为运营商待挖掘的金矿，其价值来源于两个方面，其一是改善用户体验，针对用户实现精准营销，提升营业利润;其二是将数据分析结果作为一种服务提供给企业客户，帮助他们实现更多的价值。
叶云告诉记者，DAAS(Data As A Service)带来的价值更多，更值得运营商重视。“电信运营商作为大数据时代重要的数据聚合者，通过数据开放，形成大数据价值生态圈，更加充分挖掘其潜在价值。”他说。前面提及的西班牙电信的智慧足迹产品便代表了第二个方向。
值得一提的是，运营商需要解决好用户隐私的问题。“近年来客户隐私被滥用的现象时有发生。而大数据时代，这一威胁正在被放大。保护客户隐私既是对法律法规的遵从，更是企业的社会责任。”何鸿凌表示。
据了解，Verizon在成立大数据部门的前一年就调整了公司的隐私政策，为合法利用用户数据打下了基础。2011年10月，在一项有关隐私政策变化的声明中，Verizon称公司将利用其收集到的用户访问的网站、使用的应用程序以及他们的地理位置等信息，来“撰写商业和营销报告”以及“制作与用户关联度更大的移动广告”。同时，Verizon还准备将这些分享给其他公司。