你知道关于数据挖掘与数据分析的区别吗?
随着大数据的火爆,市场上对大数据相关人才的需求与日俱增,这也导致了大数据相关人才出现了供不应求的状况,从而引发了一波关于大数据的学习浪潮。大家可以先了解一下关于大数据相关的岗位分类,以及各个岗位需要掌握那些相对应的技能。当然作为大数据行业最为重要的职位:大数据挖掘和大数据分析更是受到了与众不同的待遇。人们不时地会混淆大数据分析技术和数据挖掘的关系,把一些数据挖掘的成果直接当成大数据的成果。虽然大数据分析的成果确实和数据挖掘一样,都需要靠算法驱动的。但是二者也有明显的不同。
数据挖掘
简单的来说,就是利用数据分析产生深层次有价值的理解。基于以上各种方式获得的数据,我们可以做最简单的统计分析、用户及品牌理解、用户画像、各品牌或各产品型号之间的关系等等,了解现在和历史并争取预测未来。
常用的工具是Python/R/SPSS等,算法包括最简单的统计、稍微复杂一些的Machine Learning、Deep Learning以及CollaboraTIve Filtering等等。
数据分析
通过分析和挖掘全量的非抽样的数据辅助决策。大数据可以实现的应用可以概括为两个方向,一个是精准化定制,第二个是预测。比如像通过搜索引擎搜索同样的内容,每个人的结果却是大不相同的。再比如精准营销、百度的推广、淘宝的喜欢推荐,或者你到了一个地方,自动给你推荐周边的消费设施等等。
常用的工具有Hadoop、HPCC、Storm以及Apache Drill等等。
大数据分析与数据挖掘的区别
从概念上可以认为,大数据分析是数据挖掘的一个子集。在通常的概念下,他们之间是有差别的,但是严格意义下,大数据的所有成果都可以纳入数据挖掘的成果范畴。
1.首先要了解数据挖掘与数据分析之间的关系。
《谁说菜鸟不会数据分析》中有如下介绍:数据挖掘其实是一种高级的数据分析方法。数据挖掘就是从大量的数据中挖掘出有用的信息,它是根据用户的特定要求,从浩如烟海的数据中找出所需要的信息,以满足用户的特定需求。数据挖掘技术是人们长期对数据库技术进行研究和开发的结果。一般来说,数据挖掘主要侧重解决四类数据分析问题:分类、聚类、关联和预测,重点在寻找模式与规律。
2.数据分析与数据挖掘的本质都是一样的,都是从数据里面发现关于业务的知识。
3.数据分析师出对行业要了解外,还要懂得一些统计学、营销、经济、心理学、社会学等方面的知识,当然能了解数据挖掘的一些知识会更好。数据挖掘工程师则要求比较熟悉数据库技术、熟悉数据挖掘的各种算法,能够根据业务需求建立数据模型并将模型应用于实际,甚至需要对已有的模型和算法进行优化或者开发新的算法模型。想要成为优秀的数据挖掘工程师,良好的数学、统计学、数据库、编程能力是必要的。
4.另外从事数据挖掘工作需要各种专业的人才一起参与,如计算机、统计学、数学等,数据挖掘工作包括算法研究开发、ETL、业务建模、系统开发等等,所以要看你的工作偏向哪方面,如果是业务建模分析,那就要熟悉业务,并对各种常用算法原理、优缺点比较熟悉,至于具体如何实现,统统交给数据挖掘软件和计算机去处理吧!如果是算法开发,那就要非常熟悉各种算法,并精通一门编程语言,才能开发出适合业务分析的算法。
数据分析师与数据挖掘工程师的相似之处:
1.都跟数据打交道。
他们都是做数据方向的,如果没有数据或者搜集不到数据,都无法工作。
2.知识技能有很多交叉点。
他们都需要懂统计学,懂数据分析一些常用的方法,对数据的敏感度比较好。
3.在职业上他们没有很明显的界限。
不管是数据分析师还是数据挖掘师在国内的需求量都是越来越大,发展前景不可估量,在一个领域钻研精透,没有理由不成功!
分享 IT 技术和行业经验,请关注-技术学派。