VR陀螺|微软新项目：让AR眼镜HoloLens成为视障人士的眼睛( 二 ) 以下文章来源于微软研究院AI头条

文章图片
微软研究院首席研究员EdCutrell与项目中经过改装的HoloLens设备
HoloLens的进化
明确了ProjectTokyo想要创造什么样的AI体验，研究团队以微软混合现实眼镜HoloLens为基础构建AI技术。
HoloLens能将全息图投影到用户可操纵的真实世界中，为构建与环境实时交互的AI代理提供了非常好的基础。 HoloLens的灰度相机阵列可提供接近180度的环境视角，它的高分辨率彩色相机能够高精度地进行面部识别，而位于用户耳朵上方的扬声器能够提供空间感极其真实的音频，让声音从特定的方位响起。
研究团队中的机器学习专家开发了一系列计算机视觉算法来识别环境中不同人的位置信息。其中一个模型用于检测环境中人的姿势，计算他们相对于用户的位置和距离，另一个则能够分析高分辨率相机拍摄的照片流，来识别和匹配照片中的人物是谁。随后这些信息将通过音频提示告诉用户。
比如，如果设备在用户左侧一米远处检测到朋友A ，用户左耳将听到咔嗒声，听起来像是来自左侧一米远处。用户想知道这个人是谁，一个嗡嗡的音效会将用户的视线引向A所在的方位。当HoloLens的中央摄像头对准了A的脸部，用户会听到一个尖锐的咔哒声提示用户已经面朝A了。如果系统识别出了A ，就会为用户念出A的名字。
作为音频工程师， PeterBosher在项目早期参与了音频体验的部分， “我特别喜欢这个工具为失明的我们带来的这种‘凝视’的感觉，它能让我们有一些肢体语言上的沟通。 ”

文章图片
盲人音频工程师PeterBosher（中）在微软剑桥研究院查看系统的最新版本
与视障社区一起制作原型
随着研究团队对技术的开发，研究人员开始进一步与视障社区合作，邀请盲人或视力不佳的成年人来亲身体验和测试这项技术，提供真实的反馈信息。
有几位用户认为不停地转动头部让人感到很尴尬，希望能在头部固定的情况下轻松地获取系统收集的信息。这些反馈又使研究团队开发了更多功能，比如在用户头部固定时，系统能用具有空间感的声音，对辨认出的所有人作一个概述。
如果我们感受到他人的视线，我们会从眼神交流开始自然地和对方展开交谈。研究团队据此研发了另一个实验性的功能，当环境中的某个人看向用户时，系统会在那个方向发出提示音，但这个提示音后不会出现对方的名字。
“不给出名字会让你将注意力转向那个试图引起你注意的人，将头转向他们，而当你直视对方时，系统会告诉你他的名字。 ”Grayson向一位体验者解释这个细微的设计。
“我完全同意这一点，视力健全的人就是这样反应的。他们从眼角捕捉到某个人，然后转过头去叫他们的名字。 ”这位体验者说。
经过改进的HoloLens ，摄像头上方还装有一个LED灯带，白色表示正在追踪接近用户的人，绿色代表已为用户识别这个人。这个功能可让与用户交流的朋友知道他们已经被“看见”了，使交流更加自然，也能让他们自由地选择进入和移出设备的视野。
帮助视障儿童学习社会互动
随着研究的深入，研究团队发现，这项技术还拥有帮助盲人或弱视儿童发展社会互动能力的潜力。
此前的研究表明，约有三分之二的失明或弱视儿童表现出了与自闭症儿童相似的社交行为，比如在谈话中似乎没有在与谈话对象交流，常常将头靠在桌子上露出一只耳朵。于是，研究团队开始探索这一技术是否可以帮助他们学习发起和维持与他人的社会互动。
Theo参与到这项体验中，来帮助研究团队更好地让系统适配儿童的行为特征。比如孩子们总是喜欢坐在一起，但常常坐不了几分钟就起身跑来跑去。 Theo回忆起最初测试的场景， “系统有时会同时报出两个名字，这让我很难听清，所以我说这一点需要改动。 ”