IT创事记■以后去网店砍价，良心再不会痛了，有了华为和它的开发者文/IT创事记祁萌“亲

文/IT创事记祁萌
“亲，欢迎再次光临小店哦！”当屏幕上闪现出这行熟悉的文字，意味着你辛劳的网淘工作终于告一段落，该洗洗睡了。
“店家也很辛苦……”你想起自己各种刁钻的提问、无厘头的质疑，以及“丧心病狂”的砍价，良心隐隐作痛。

文章图片
不过很快，你就不会痛了。因为你知道，被你折磨的对象可能是一个机器人。
没错，当我们愉快地网购时，科学家们正在人工智能这条路上越走越远。未来的机器客服不会是你今天看到的那种呆萌态，而是“多模态” 。
田奇教授是华为诺亚方舟实验室计算视觉首席科学家、IEEEFellow（国际电气与电子工程师协会院士）。他最新的关于多模态学习的工作成果，是在ACM多媒体会议2019上获得了一个最佳论文提名。
IEEE院士身份与论文提名都是全球科学家“含金量”极高的荣誉。
这篇论文涉及的场景是如服装、手机、手表等电子商务场景下的多模态人机对话系统。所谓多模态，可以简单理解为多种交流模态的融合，例如在和网店客服交流中输入一段文字，再发送一张图片来描述需求，就用到了两种交流模态。
当你开启汉语八级模式，说“我不是这个意思，我的意思是你稍微意思意思就可以”这句话时，机器客服真的会明白，你并不是对那双手套的颜色有什么意见，而只是穷而已。
它会通过多模态信息、上下文，以及用户数据（例如性别等）来建立多模态查询、搜索数据库并返回结果。
“从实验结果上看，我们提出的多模态对话系统——魔术模型——在图像选择和文本生成上都取得了很好的结果。 ”田奇教授在3月28日华为开发者大会2020(Cloud)上对开发者们说。
目前在华为云，这样的开发者在全球有160万。 2019年，华为在发布沃土计划2.0时说，要在5年内让这个数字达到500万。
田奇教授在会议中介绍他关于数据生成的研究方向，就是希望让全球的AI开发者能和他，以及今天160万、或未来的500万开发者们一起工作。

文章图片
他在演讲当天主持发布了华为的计算视觉研究计划（以下简称视觉计划），并邀请全球AI专家参与研究。
他表示，基于华为昇腾AI处理器的Atlas人工智能计算平台将为该计划提供算力支撑，研究成果将在华为全场景AI计算框架MindSpore实现并开源给业界，让全球AI开发者可以以此为基础持续创新。
“我们认为，多模态学习将会是未来机器视觉的主流模式。 ”田奇说。
没错，聪明的客服只是“魔术模型”的一次有益尝试。目前在中国市场，多模态学习的主要热门应用领域有智能驾驶和智能多媒体。
例如在自动驾驶中，会涉及图像雷达、激光雷达和GPS等多种模态的信号，由于这些多模态信号天然的互补性，它们在性能上表现出了比单一模态信号更优的鲁棒性。
多模态学习只是田奇教授研究领域的鳞爪。今天，计算机视觉面临有三大挑战——如何从数据中挖掘有效信息，怎样设计高效的视觉识别模型，以及如何表达并存储知识等。
围绕这些挑战，华为的计算视觉基础研究也覆盖了数据、模型和知识三大领域。
在如何从海量数据中挖掘有效信息——即“数据”这一课题下，田奇教授关注有两个典型的应用场景，包括如何利用生成数据训练模型，以及如何对齐不同模态的数据。
在计算机视觉研究领域，数据本身的采集和标注是非常昂贵的。即便一个单视觉任务，它的数据标注量就可能达到成百上千万。无论业界还是华为，数据成本都是痛点。这也是田奇教授认为，数据生成是解决标注瓶颈的关键技术方向的原因。