关于BI商业智能的“8大问”|一文读懂大数据BI
这里不再阐述商业智能的概念了,关于BI,就从过往的了解,搜索以及知乎的一些问答,大家困惑的点主要集中于大数据与BI的关系,BI的一些技术问题,以及BI行业和个人职业前景的发展。这里归纳成8个问题点,每个问题都做了精心的解答,希望能给大家带来帮助。
问题1:商业智能BI和大数据是什么关系,如何选择?
BI(BusinessIntelligence)即商业智能,它是一套完整的解决方案,用来将企业中现有的数据进行有效的整合,快速准确的提供报表并提出决策依据,帮助企业做出明智的业务经营决策。
大数据(Big Data)是指在可承受的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产。
两者是不一样的概念,BI相对于大数据更倾向于决策,适合支持经营指标支撑类的问题,大数据则内涵更广,倾向于刻画个体,更多的在于个性化的决策。
现今,大型互联网企业采用hadoop一类的大数据架构——数据仓库——自己研发的报表、OLAP分析等,或者前端选用成熟的商业智能报表和BI分析软件,像FineBI之类的大数据BI都能对接大数据平台。传统企业,小型的公司没有那么多的业务分析的需求,大多寻求excel、业务系统的简单报表功能或者专业的报表工具来解决问题;一般中大型企业数据量大时会构建数据仓库,用BI在前端分析展现。当然很多传统企业针对特定业务(比如用户画像、风控分析)采用大数据技术。
整体来讲,选择大数据还是BI依据需求来定,大数据组件大多开源,需要大量的人力开发。BI大多商用,需要一定资金和一定时间的项目实施。
问题2:什么是大数据BI?什么是自助式BI?和传统BI有何区别?
大数据BI
大数据BI有这样几类特性:能对接hadoop一类的大数据平台,做数据分析;能处理大数据量(亿级以上),响应速度快,比较考验的是BI的数据处理计算性能和数据库性能。
传统BI &自助式BI
传统BI重在于数据平台搭建,提供报表服务,以IT为主导;自助式BI重在于数据分析,以业务分析为主导。两者的数据处理流程相通。
传统BI:通常指企业内部大而全的统一报表或分析平台,代表性的老牌BI工具厂商如 IBM的cognos,Oracle的OBIEE,SAP的BO等均包含丰富的功能模块,比较适合于打造一体化的大而全的统一平台。传统BI一般面向IT研发人员,他们多集中在企业的技术部门,传统BI的打造方式基本如下:
自助BI:面向的是不具备IT背景的业务分析人员,与传统BI相比更灵活且易于使用,而且一定程度上摆脱对IT部门的大幅度依赖。不同于以往“IT主导的报表模式”,转而向“业务主导的自助分析模式”发展。自助BI通常的应用场景:
问题3:BI的多维数据模型和OLAP是什么,实用价值在哪?
试想一下分析业务数据时场景,经常会从不同的角度来审视业务的衡量指标。例如分析销售数据,可能会综合时间周期、产品类别、分销渠道、地理分布、客户群类等多种因素来考量。这些分析角度虽然可以通过报表来反映,但每一个分析的角度生成一张报表,各个分析角度的不同组合又生成不同的报表,每尝试分析一次,就得抽一次数,这会使得IT人员的工作量相当大。
而OLAP的作用就是尽可能将所有的维度条件及聚合值都准备好,供使用者在分析时可以按照任意维度来分析。
以BI的实际应用来讲,拿到数据,可能需要下钻到比较粗的粒度观察数据,比如从日期时间维度、从地域品类维度来分析数据,对应到BI的操作上,就是拖拽维度、过滤排序、维度切换,钻取等操作,cube或者数据仓库就要响应这种操作,这就使用到了下钻、切边、切块、转轴等功能。
问题4:商业智能BI在数据分析工作中的作用,是必要的吗?
在数据分析过程中,BI也算是一个工具,能自助取数,用于快速分析,制作分析报表。很多互联网、零售、金融企业会有自己的数据分析团队会专业的分析人员,使用的工具可能从SPSS、SAS、R、Python不等,这些工具能对准备好的数据做数理统计分析,取数的工作大多还是要交给IT人员去做。像目前的自助式BI因为上手很简单,对于多维度的数据可以从各方面来展示,而且能及时生成数据报告,可在平台上管理报表和分析表单。所以是否有必要,因需求而异。
问题5:BI如何选型,需要考虑哪些点?
BI工具可分为传统型BI以及自助型BI。传统型BI,国外以SAP BO、cognos、Oracle BIEE等为主;自助型BI,比如国外的Tableau、Qlikview,国内的FineBI、永洪bi等等。
站在产品的企业的角度,可以从领先能力、产品能力、服务能力以及价格能力去着手衡量。可通过海比研究给出的一套《BI选型指标体系》来判断。
1、领先能力=行业地位+领先性
比如公司在行业中的低位、市场占有率、公司在该领域的专注性以及技术的领先性。商业智能目前的市场格局不算大,可扩展到报表领域去衡量。
2、产品能力=公司产品线+核心产品功能+解决方案
一般来讲,公司的产品线越完整,相关产品的整合能力越强,越好。但是,最重要的还是产品的功能是否实能解决企业最关注的的问题,是否能覆盖更多行业,BI解决的是行业通用性的问题,解决能力越强,产品越优秀。
3、服务能力=服务专业能力+维护能力
BI的实施很考察人员的专业性,过去由于国外IT巨头的称霸,很多产品的项目都承包给第三方实施,造成服务脱节。现在很多涌现的国内软件公司一般都会有专业的实施团队,本地化服务很占优势,所以这一点不妨考虑本土产品。
4、价值能力=成功案例+性价比
选型前可看看同行业的企业伙伴们用的是什么类的BI工具,使用情况如何。包括从功能费用、项目实施费用综合考虑来看的性价比。
问题6:如何实施BI?
实施BI的前提,最重要的是基础数据的统一。比如货品信息,客户信息,公司内部信息。缺少的数据虽然可以临时补,但是随着公司业务的扩展,这种数据化运营的方式需要不断精细,数据管理的规范任务要落实到业务员的考察,如果得到领导的支持会更容易推动。有了这些齐全的数据,BI的实施才有保障。
然后是业务的统一。比如销售模式,采购模式,结算方法,质量管理的统一。比如销售模式不统一,有的分公司先结算后配送,有的公司先配送后结算,业务形式不统一,口径不统一,就会造成数据的时间差。
其次是业务部署。每个公司的业务部署不同,有的是集中部署有的是分销部署,如果BI是放在总部实施,需要将各地分散的数据统一起来,建立数据仓库,保持基础数据的统一,但其中,如何提高速度,如何优化配合方式,这点需要研究。
BI人才储备是否足够,需要业务人员和信息人员的积极配合,这个效果才能够比较良好的推动,而且还能够持续的发展。为了让技术和业务人员更好地贴合,要将技术和业务有效结合,最大效率的把报表和BI系统的功能发挥出来。
对于上BI,还有其他考虑,比如价格预算,比如是否用开源,比如后续开发和维护,这里做个统一的解释。
明确业务需求:强烈的业务需求,明晰的业务目标,能否抓住核心是一个项目成败的关键。
“产品+定制+服务”的建设思路:是否要选择开源的产品?如果你有很强的开发能力,可以考虑。但建议专业的事情还是交给专业的工具来做,传统企业不比互联网企业,互联网企业是以数据来驱动的,与传统企业的模式不一样,再说,后续维护也是成本啊。业务项目建设如果不借助比较成熟的产品工具,从技术代码进行创新式的开发,不经过迭代以及检验很难规避风险,很难形成一个成熟的产品。如果觉得国外BI产品“庞大”,完全可以选择FineBI这一类轻量化的工具。
最后,就是认清技术力量的现状,不妨建议敏捷开发、迭代开发和重构,注重技术和管理的配合。
问题7:做BI人的前景在哪里?
刚入门BI这一领域的人,未来的职业发展可以走技术、走管理、走开发。
1、走技术方向:(按照技术路线进行划分)
ETL,这块是BI永恒的重点之一,需求也是一直持续,只是相对来说,ETL会比较枯燥。在这一块,掌握一两款顺应潮流的大工具,拥有相应年限的工作经历,行业性要求不太高,可以找到一个不错的岗位。DS、INFA、SSIS这些都是蛮有需求的。
数据仓库,主要指的数据仓库设计,架构设计等,一般来说LEVEL会比较高,薪水待遇也还行,属于偏高端人才了,一般都会要有5年、7年或更多年限的经验,对行业性经验要求比较高。
前端应用,SAP BO、COGNOS、BIEE等工具的熟练应用,可以做甲方内部顾问也可以做乙方项目顾问。从前端切入去接触到更多业务和需求,对提高自己的业务水平有好处。
数据挖掘数据分析方面,这块个人认为是最有前景的,数据分析师的需求一直在增加,但和BI的背景不是非常贴合,要学数据统计学知识,R、Python语言等,学的东西很多。
2、走管理路线
管团队管某块业务,做项目总监,而后上升到CIO之类的,偏向管理属性,对人的沟通交流尤其是与高层交流的水平较高,比较IT在企业大多属于业务支撑部门,很多事情很难推动,同时还要思考如何提升IT在企业的地位,这个你只要观察自己的部门领导怎么做的,慢慢摸索了。
3、走开发
第三方软件开发公司了,比如SAP之类的公司(有点难度),或者国内帆软、永洪等其他BI公司的软件开发了,难度是要有一定的程序开发基础,但是对业务的理解也能带来一些帮助。再或者是去一些创业公司带团队做BI产品,现在做前端可视化分析的公司有很多,虽然不完全类同于BI,但有很多共通之处。
问题8:如何系统的学习BI知识?
这里给出一个学习框架
1、学习数据库知识, 掌握基础技能SQL
2、技术选择:数据仓库 / ETL / 前端开发等等
3、 选择技术工具:
数据仓库-Oracle、SAP HANA、Hadoop都是主流;
ETL- informatica 、kettle;
自助式BI工具-Taleau、帆软FineBI、Power BI
4、学习业务知识
5、实操数据分析工作