同学|雷军:小爱同学5.0背后的人工智能

在月初举办的MIDC开发者大会上,我们发布了最新一代的小爱同学——小爱同学5.0。全新的小爱同学带来了五大升级,覆盖了囊括影音娱乐、生活服务、信息查询、出行路况等8大领域1400+技能,成为大家生活中离不开的智能生活助手。
从2017年3月21日,“小爱同学”第一次与大家见面,到现在仅仅4年时间,小爱同学激活的设备数已经达到达2.28亿,月活已经达到7840万,累计唤醒617亿次,小爱同学也成为目前行业内唯一一个拥有大规模落地场景的语音助手。
同学|雷军:小爱同学5.0背后的人工智能
文章插图
新一代小爱同学
全新五大升级
新一代小爱同学的5大升级包括:全场景智能协同、对话式主动智能、定制化情感声音、多模态融合交互和智慧学习好助手。
小爱同学5.0
同学|雷军:小爱同学5.0背后的人工智能】全场景智能协同
目前,拥有5件及以上连接小米AIoT平台的设备用户已达560万。随着用户家中的智能设备越来越多,使用和操作也变得更加复杂。全场景智能协同就是让小爱同学5.0成为控制家中众多IoT设备的大脑,当你发出一条需求指令时,小爱同学会进行统一决策,家中多个设备进行协同配合,达到“再多设备,都能化繁为简”的效果,是当之无愧的“智能生活助手”。
同学|雷军:小爱同学5.0背后的人工智能
文章插图
想要达到智能协同,这其中需要解决的问题非常复杂。不仅要根据设备距离、活跃状态、形态等综合条件判断,自主选择出设备能力最能满足当前语义需求的设备,甚至还需要预测用户潜在的设备控制需求,适时主动的作出提醒和建议。
截止2020年6月,使用协同唤醒的总用户数已达94.4万,同时唤醒的拦截次数已达9.4亿。
小爱同学5.0
对话式主动智能
有别于传统移动互联网APP或信息流被动猜测用户的形式,对话式主动智能产品形态是小爱同学以自己的方式和节奏与用户互动沟通,像人一样发起问题来增进对用户的了解。
同学|雷军:小爱同学5.0背后的人工智能
文章插图
主动对话本身就是高级智能的体现,它意味着人工智能不仅仅存在于与用户互动的短暂过程中,而是在更长的时间内不断的进行思考和计算,需要像人一样,拥有“记忆”。
小爱同学5.0通过强大的自然语言处理技术,主动学习其中关于用户的知识,从而建立记忆。这有赖于小米自然语言处理技术(MiNLP)的深厚积累,MiNLP目前已迭代到3.0版本,支持30多个业务场景,日调用次数达80亿。
在记忆的存储方面,小爱同学云端大脑会为用户建立多维度的个人画像,实现全设备个人信息互联互通。小爱同学的所有功能,会对内共享这些关于用户的“记忆”,每次交互结合个人画像进行计算,产生出面向用户个人的个性化结果。
同学|雷军:小爱同学5.0背后的人工智能
文章插图
小爱同学5.0
定制化情感声音
为了满足用户提出的,可以跨越地理、时间阻碍,随时随地就可以得到陪伴感的“情感诉求”,小爱同学定制声音项目应运而生。
定制化情感声音的实现,不是仅依靠常规声音处理技术就可以做到的。首先需要能够对用户音频数据进行预处理。然后是提取关键声学特征,区别不同音色在频谱上的表现。最后是通过定制合成音库训练的基础模型,进行自适应学习,最终才能可实现只需少量的用户录音,就能取得很好的合成效果。
同学|雷军:小爱同学5.0背后的人工智能
文章插图
除了定制声音功能以外,小爱同学5.0针对粤语也进行了深度的优化,并在8月份开启了粤语在音箱上的内测。本月中旬,我们已正式启动在手机及电视上小爱同学粤语功能的内测,预计在月内,小爱同学粤语功能将陆续开放到所有音箱上。
同学|雷军:小爱同学5.0背后的人工智能
文章插图
小爱同学5.0
智慧学习好助手
小爱同学5.0将学习作为一个重要的升级模块,整合了海量的优质的K12网课资源,精选1000+网课视频资源,与读书郎、义方教育等35家优质资源方达成了合作,并拉通了电视/音箱/手机教育会员同步。
同学|雷军:小爱同学5.0背后的人工智能
文章插图
课程表是学生学习中最基本的一个工具类需求。我们把课程表与小爱同学结合在一起,打造了一个拥有国内首发AI拍照导入课程功能等先进人工智能技术加持的AI课程表。
另外一大工具,就是翻译。为了让翻译更高效、更精准,小爱同学团队在文本前处理模块进行了优化,包括基于语言规则和模型的文本顺滑技术、融合上文内容的实时文本纠错算法、基于多语言预训练模型的实时语义断句算法等。