「Deep Tech深科技TB」提臂、握拳、翻肘！简单手势+肌肉信号近乎“无缝”操控无人机爱因斯坦曾说

爱因斯坦曾说， “唯一真正有价值的东西是直觉” 。
但直觉这种东西很难言传身教，尤其是对机器而言。如何让机器感知人类直觉并作出正确的反馈？这可能是每个人都会关心的问题。

文章图片
我们想与机器实现如人与人间那样的无缝交流，但使用预先指定的语音/触摸屏命令或设置复杂的传感器后，往往让机器变得很笨拙。让机器理解我们的非语言暗示，比如手势，可能是实现更广泛人机协作的重要一步。此外，肌肉信号也可以为机器提供难以从视觉上观察到的状态信息。
一项来自麻省理工学院计算机科学与人工智能实验室（MITCSAIL）研究学者的新研究，或许可以实现“近乎无缝”的人机协作。相关论文已发表在本月ACM/IEEE国际人机交互会议上。
“我们设想这样一个世界——机器可以帮助人类进行认知和体力劳动。但要做到这一点，机器需要主动适应人类，而不是人类去适应机器。 ”麻省理工学院计算机科学与人工智能实验室主管、论文作者之一丹妮拉·罗斯（DanielaRus）教授说。
在一个名为“Conduct-A-Bot”的系统中，研究人员通过在肱二头肌、肱三头肌和前臂上放置肌电图和运动传感器，使用简单手势和肌肉信号成功操控了机器的动作。该系统旨在减少普通用户与机器交互的障碍，通过使用少量可穿戴传感器和即插即用的机器学习算法，为人类与机器助手或其他电子设备进行更自然的交流建立了新的可能。
研究学者表示，该系统可用于各种潜在场景，包括电子设备上的导航菜单和监督自主机器人。在这项研究中，测试对象为“ParrotBebop2”无人机，通过旋转手势、握紧拳头、紧绷手臂和移动前臂等动作，控制无人机向左右、上下和前后移动，以及旋转和停止。
结果显示，无人机在1500次实验中正确识别了82%的手势，识别准确率较高。

文章图片
图｜各类手势的识别准确度。（来源：CSAIL）
在无人机试验中，基本手势对应动作如下：
紧绷上臂，使无人机停止运动（类似于人在犯错时表现出的短暂畏缩）：肱二头肌和肱三头肌信号；
单手左右、上下摆动，使无人机侧向或垂直移动：前臂肌肉信号（用前臂加速度计指示手的方向）；
握拳，使无人机向前移动：前臂肌肉信号；
顺时针/逆时针旋转，使无人机转向：前臂陀螺仪。

文章图片
图｜使用手势、可穿戴肌肉和运动传感器操控无人机。（来源：CSAIL）
快速理解人类手势，有助于机器对人类在日常生活中使用的非语言信号作出正确反馈。 “该系统可以帮助我们与机器进行无缝互动，就像人与人那样。 ”论文第一作者约瑟夫·德尔普雷托（JosephDelPreto）表示。
在此次无人机试验中，该系统无需离线校准或训练数据就能检测预定义的手势，只需简单佩戴EMG（肌电图）和IMU（惯性测量单元）传感器，就可以远程操控无人机。佩戴在肱二头肌和肱三头肌上的肌电图传感器用于检测上臂肌肉何时紧绷，前臂上的肌电图和运动传感器则用于检测手势和肌肉信号。

文章图片
图｜肌电图传感器监测肱二头肌、肱三头肌和前臂肌肉。（来源：CSAIL）
当研究人员在做控制机器的手势时，该系统会根据来自肌肉的信号进行自动校准，从而使普通用户可以更快、更容易地与机器互动。在这一过程中，该系统利用机器学习算法同步处理采集到的肌肉信号，实时检测手势，且无需进行任何离线校准。
机器学习分类器使用可穿戴传感器检测手势。无监督分类器对肌肉和运动数据进行处理，并对其进行实时聚类，学习如何将手势与其他动作区分开来，神经网络也可以通过前臂肌肉信号预测手腕的弯曲或伸展。