VR陀螺|微软新项目:让AR眼镜HoloLens成为视障人士的眼睛

以下文章来源于微软研究院AI头条 , 作者微软亚洲研究院
导读:
【VR陀螺|微软新项目:让AR眼镜HoloLens成为视障人士的眼睛】根据2019年世界卫生组织(WHO)估计 , 全世界有盲人约4000万—4500万;其中中国盲人数量最多 , 达到500万 。 虽然他们只占全球77亿人中的0.58% , 但他们与其他处于贫穷饥饿中的人一样极其需要帮助 。
近日 , 由微软研究院首席研究员EdCutrell和微软剑桥研究院高级研究员CecilyMorrison共同发起的ProjectTokyo中 , 研究员们计划让AI结合HoloLensMR眼镜 , 成为视障人士的眼睛 。
12岁的失明男孩Theo坐在厨房的一张桌子旁 。 他戴着微软HoloLens左右转动头部 , 摄像机、深度传感器和扬声器环绕着他的沙棕色头发 。
当他面朝微软剑桥研究院高级研究软件开发工程师MartinGrayson时 , Theo听到一声提示音 , “Martin”从他耳朵上方响起来 。
“Martin , ”西奥笑了 , “它用五秒让我认出了你 。 ”Martin站在一个齐膝高的黑箱旁 , 其中的计算硬件正支持着Theo使用的机器学习模型的运行 。
Theo再次转动头部 , 又一个名字响起来 , “Tim” 。
“Tim , 你在那里!”Theo高兴地“看”向TimRegan , 他是微软剑桥研究院的高级研究软件开发工程师 , 同时也是Theo的编程老师 , 每两个月 , Theo都会去Regan家中学习编程课程 。 Regan此前在研究项目CodeJumper中认识了这个失明的男孩 , CodeJumper是专门为视障儿童开发的物理编程语言 , 用一种可触摸的方式 , 让对计算机科学感兴趣、但视力上有困难的孩子们体验编程的乐趣 。
他们正在进行的项目ProjectTokyo希望为人类定制智能个人代理 , 用AI技术来延伸人们能力的界限 。 对长期身处黑暗与未知的Theo来说 , 能够实时地“认出”周围的人们 , 是一种非常新奇的体验 。 “不仅仅是说话的人 , 那些没有说话的人 , 我从来不知道他们是谁、在哪儿 。 AI技术让我能用这种特别的方式感知到他们的存在 。 ”
ProjectTokyo有着更长远的研究愿景——构建能够扩展所有用户能力的智能个人代理 , 不仅仅是能够完成特定任务的端到端的系统 , 而是构建一个能自适应每一个人的不同需求的AI服务系统 。
VR陀螺|微软新项目:让AR眼镜HoloLens成为视障人士的眼睛
文章图片
微软剑桥研究院高级研究软件开发工程师MartinGrayson(左)和微软研究院高级研究员CecilyMorrison(右)正在进行测试
源自巴西残奥会的灵感
ProjectTokyo诞生于2016年 , 由微软研究院首席研究员EdCutrell和微软剑桥研究院高级研究员CecilyMorrison共同发起 , 他们此前都有与盲人和弱视群体一起设计技术的经历 , 因此决定从视障群体入手 , 看看智能个人代理能如何帮助他们增强和扩展能力 。 “视障群体往往是新技术的早期采用者 , 是非常好的合作对象 , ”CecilyMorrison说 , “我们一起想象未来关于人工智能的新体验 。 ”
在前期调研中 , 他们跟随一群参加巴西残奥会的运动员和观众 , 从英国出发前往里约热内卢 , 观察他们在机场、运动场馆、观光游览等种种活动中 , 如何与他人进行互动 。 Cutrell注意到 , “我们人类对如何与人互动有非常细致和详尽的社会理解——了解周围是谁 , 他们在做什么 , 与我的关系是什么 , 但对于盲人来说 , 这些我们认为理所当然的线索都消失了 。 ”
研究团队与盲人和弱视社区一起举办了一系列研讨会 , 来探讨有哪些潜在的技术能够为他们改变这一点 。 参与者中 , 有一位50多岁的盲人音频工程师PeterBosher提到一个常见的场景 , “当两三个以上的人共处一室 , 人们会开始用眼神交流和肢体语言来表示‘我在和这个人或者那个人说话’ , 这一点对盲人来说真的非常困难 。 ”
因此他提出 , 有没有一种技术能够为盲人提供他们周围的人的信息?这一想法立刻引发了大家的共鸣 。