科大讯飞的语音云大数据实践之路
文由 【FMI飞马网】原创,原文链接:科大讯飞的语音云大数据实践之路
在几乎全民AI热的今天,有人说,语音识别将会是第一个爆发大众级应用的领域。说到语音识别,相信作为国内语音识别领域领军企业的科大讯飞是最有发言权的。而对于正在语音识别领域钻研的企业,相信了解一下科大讯飞的实践经验时必要的。
在飞马网举办的FMI人工智能大会上,来自科大讯飞数据研究员算法部负责人的吕昕为我们详细介绍了科大讯飞的语音云大数据实践之路。
吕昕
据吕昕介绍,科大讯飞的语音平台在2010年发布,这个AI平台,经过七年的发展,现在已经有39万的开发者,在平台上使用科大讯飞的AI能力进行一些人工智能相关的开发。
科大讯飞一致认为,整个人工智能分为三个阶段。
第一阶段,计算智能。它的比较典型的应用就是最早的一个深蓝的暴力穷举,以及后面的搜索引擎的一个匹配。在这个方面是一个比较早期的AI应用,这个阶段已经过去很多年了,而现在如果再继续做一个搜索引擎,别人是不认为你们是在做AI这个事。
第二个阶段的人工智能属于感知智能。就是让机器能力,就是现在最流行的语义识别、图像识别,还有一些语义理解相关的。讯飞的开放语音云平台智能交互解决方案主要是在感知,都是一些感知智能相关的一些技术。
第三个阶段叫做认知智能。这是一个比较缥缈,或者现在整个学术界都在努力做,也没有成熟的方案。在这个阶段,需要让机器能理解,会思考,在这个领域,科大讯飞也是在做一些探索,但是技术还不是非常成熟。所以,目前平台暂时不支持这些功能。
而平台主要支持的功能是这么两类:
第一,身份的确认。因为科大讯飞是做云出身的,所以对云的处理非常强。现在这个应用,最早是在公司里面作为考勤的APP,因为一个维度的确认如果不准,两个维度其实是非常准的。
第二,以人机交互为中心。依托于语义合成,语义理解,和语音识别。目前这样一个语音的平台已经经过升级,现在是第二代的语音平台的检测方案。就是AI的能力,大家最早的平台都是这样的,偶然每个AI的能力是分开的,如果你需要识别,就去调识别引擎,现在我们直接认为,AI最重要的,AI最核心的并不是单个能力,而是需要多个AI能力的复合使用解决一些特定的问题。比如你就这样语音翻译,就是你说一句中文,翻译成英文,读出来,这个先调动识别引擎,再调翻译引擎,再调合成引擎,现在这一套,会顺序的把它调完实现一个功能。
在近40万开发者用户当中,有来自多个不同的行业,这也使得科大讯飞的数据更加全面、客观。
在用户数据里可以得到很多用户数据的维度,但是不同维度的数据价值是不一样的,我们需要从用户的一次性维度,可以产生这四类,但是我们需要找到价值比较高的数据,对它进行优先级比较高的挖掘,从而得到更加有效的信息。
用户交互分为四类:
第一类,用户的地理位置。在智能交互的大部分场景里面,用户会把一些GPS数据拿过来请求,所以我们还可以得到一些GPS数据。
第二类,APP的行为。你需要告诉他在什么场景,在什么APP上调用这样的服务,所以在APP内部,我们知道对APP的使用行为,APP的使用行为,它的覆盖面非常广,用户只要使用这个APP,就有这样的数据过来,它的挖掘也是比较简单的。
第三类,用户的关键词。我们可以对文本进行挖掘,从文本里挖掘用户感兴趣的关键词。
第四,机型设备。为了做一些AI设备适配,它在分析的时候有一个价值。
另外,我们把数据分成四大类,通过四的类分别的分析,然后合起来,得到一个用户非常直观的一个属性的描述。有了这些之后,建立了讯飞用户数据平台,构建这个平台有三个目的。
第一,首先是为了用户的分析。因为有了数据,就可以分析用户是什么样的。 第二,可以对用户进行深度挖掘。给用户打一些标签,给用户提供个性化的服务,提升用户体验。
第三,受众挖掘。比如和开发者建立合作关系的时候,进行一些和广告相关的业务合作以及一些其他的个性化业务。
而整个平台用户标签体系的构建主要是受两方面的影响:
一、数据。有没有数据,有什么样的数据,才能构建什么样的标签。
二、业务需求是什么。
那么问题又来了:是不是我们使用语音的数据做一个调用就足够了?
答案当然不是。吕昕告诉我们,语音云的数据就是好几类的,当我们做这样一个用户标签体系的时候,我们只用语音数据,它的覆盖是有限的,如果把所有数据都融合到一起,对用户标签的补充,使得用户标签更加全面,这是很有意义的。
广告数据最大的意义并不是来刻划标签,而是用来做一个标签验证。
其次,吕昕还为我们分享了两类标签构建的算法:
第一类,基于文本。通过关键提取的技术,来了解用户的需求,提高推荐的准确率。
第二类,基于APP的。对APP的刻划是基于用户使用APP的频率,比如将用户最近一个月之内的APP进行表征。另外,在刻划APP的时候,并非只是按照APP使用次数,而是对用户的APP客户基于用户对每个APP的兴趣,相比APP平均分配的一个东西。
IdMapping,就是做用户各个维度的账号的打通,基本所有做大数据的公司都在做。打通之后,不仅用户UA的计算会更加的精准,而且当用户换了一个设备,换了一个新设备的时候,打的标签我可以用。IdMapping这个事情,其实跟标签有关系,但是它有一个好处,给标签插上翅膀,使标签有更大的利用价值,并且使标签可以在更多的领域发挥这样的价值。
那么我们有了标签之后,标签可以做什么?
第一,可以做数据分析报告,基于标签做用户分析。
第二,可以做定向的受众的Target,就是个性化推送,广告的一些推送相关。
DMP助力广告平台
精准营销的三个目的:第一,潜客挖掘。第二,提升广告效果。第三,卖数据给需要的厂商。
目前DMP平台的数据营销的各个领域:行为分析、品牌分析、竞品分析、受众分析多个领域实现了全覆盖。
以下是吕昕与观众的Q&A:
Q:你们对数据分析的时候给用户加标签,标签是哪里来的?是人工维护的吗?
A:就是之前说的一个标签体系是我们的五大类,2000多个细分的标签分类,然后是每一类标签都是一类一类使用,基于一个模型也好,自然语言处理方法也好,使用人工分析一个一个做出来的,因为标签这个其实说白了,它里面使用机器学习能解决的范围很少,里面有大量的脏活需要人工去做,尤其是在智能前期的储备上。
Q:我们怎么去识别在语音云平台上,怎么去识别用户购买的这样的行为数据?
A:这其实并不是一个用户购买的行为数据,我们其实用用户输入的文本,如果想去购买这个东西,首先可能有一个搜索行为,基于语音云平台,得到用户对纸巾可能感兴趣,可能购买的用户,这个虽然不太准,但是这只是一个消费的解决方案。