为大数据与人工智能而生新职业:算法师

为大数据与人工智能而生新职业:算法师

大家应该还记得《黑客帝国》里面Leo躲避枪林弹雨的高难度动作,这部电影,充满了大数据与人工智能的色彩。算法师通过对数据库的标记、对数据库的检测、编排,甚至对敌人发出攻击,当时看起来相当科幻的镜头,如今已经是被广泛运用的技术。

所谓大数据,即是在从各种各样类型的数据中,快速获得有价值信息的能力。明白这一点至关重要,也正是这一点促使该技术具备走向众多企业的潜力。

从亚马逊的比价推荐,Nefilix公司对《纸牌屋》受捧的成功策划、微软纽约研究院的经济学家David Rothschild对奥巴马到奥斯卡到NBA数据的精准预测,已经充分证明了这不是一项噱头技术。

大数据有四个明显的优势:第一,数据体量巨大。从TB级别,跃升到PB级别;第二,数据类型繁多。前文提到的网络日志、视频、图片、地理位置信息等等。第三,价值密度低。以视频为例,连续不间断监控过程中,可能有用的数据仅仅有一两秒。第四,处理速度快。

人工智能是一个非常复杂的方向,也是一个跨学界的计算机学科,涉及到其他方面的知识,主要内容在于计算机学习人类的自然语言处理。我们无需去遐想如智能终结者这样科幻的画面,那是科学家的要研究的事。现实生活中,我们已经看到越来越多的大数据与人工智能结合的产品,如苹果的Siri,它包含语音识别(Speech Recognition),是自然语言处理(Natural Language Processing)的一部分。在实际的应用中,起到了不少作用,包括智能手机上的服务调配,能解决用户日常的需求。

为大数据与人工智能而生新职业:算法师

那么这是否大数据与人工智能的结合的切合点?我们来看看简单原理:

在《大数据:改变我们生活、工作、思考的革命》一书中,作者维克多•梅耶提到,现在的电脑系统是根据编写程序时明确要求它们遵循的规则来进行运算的。因此,当一个结果偶尔无可避免地出错的时候,我们可以回过头Recode。无论电脑代码如何复杂,任何代码都是可以追中并理解运算的基础。

但大数据的追踪变得困难许多。首先算法预言的基础可能会复杂得让常人难以理解。谷歌翻译在判断一个单词的翻译方法却动用了数十亿页的翻译资料。 这种基于海量数据大量的统计运算,使得人们几乎不可能追踪算法具体的因素。同时,由于大数据的规模体量,其运作的规模也超乎我们的想象。谷歌分辨几个搜寻关键词和流感的关联是测试四亿五千万个数学模型的结果。

如果要说服客户使用这套技术,便需要算法师来帮助调整,从事这个职业的人,都需要哪些要求?

首先,这些专业人士是计算机科学、数学和统计学方面的专家。日常工作中,他们会检查大数据的分析和预报。他们会评价数据源,分析预报,作出底层的算法模型,当人们需要检测算法的原理,他们会调出算法的结果、统计方法及数据库。简单说,算法师担当的是一个筛选数据的职能。

计算机发展至今,积累的庞大数据库需要有人对其进行编排组织,给以针对性地利用。在这里算法师又分为外部算法师与内部算法师。外部算法师可以在政府需要的时候,比如法庭发出命令或颁布规章,以中立审计师的身份检查大数据预报的准确性或合理性。算法师可以为大数据公司提供服务,给予专业的审计服务。

相关推荐