手势交互新突破！ContactPose或助力未来XR无手柄？手势追踪被视为人机交互（H

手势追踪被视为人机交互（HCI）/人类数据交互（Human data interaction ， HDI）中最直观的交互模式之一，是混合现实（XR）终端交互的最新趋势。
在XR领域中，手部运动轨迹的感知与追踪是改善用户在不同技术领域和平台体验的一个重要组成部分。手部追踪技术在未来可以帮助用户“解放双手” ，人机互动不再需要通过手柄控制，实现真正的解放双手，让用户以最直观的方式体验在增强现实和物理世界之间的融合。
文章插图
最近热度不断攀升的Oculus Quest 2一体机，在手势追踪识别功能上进行了一系列升级，除了早期的特定手势操控主界面，最新解决方案甚至实现了基于手部追踪的全文本输入操作——即便如此， Oculus对于目前在手势识别技术上取得的成就依然不是非常满意。
Oculus曾表示，尽管手势是一种有潜力的新型输入方式，但由于计算机视觉与定位技术的局限，手势识别技术的实际应用场景也受到限制。因此， Oculus一直在探索一些有用的技巧来帮助开发者适应手势的局限性，甚至为了让虚拟世界更具3D效果、更加智能地对手势进行回应， Oculus已收购两家虚拟现实手势和3D技术的创业型公司 Nimble VR和13th Lab ，以改善其一体机的手势控制功能。
目前，由于涉及复杂的手指手掌结构和相关软组织在运动时的变化，以及手和物体之间的接触互动有着非常复杂的接触点位和运动区域，强大的实时手部运动感知和追踪已成为公认的一项极具挑战性的计算机视觉任务，是科技研究领域中的大热项目。
手部交互领域的一项新突破：ContactPose数据集
就在今年，美国三大理工学院之一的佐治亚理工学院，其机器学习中心更新了有关手部追踪模型数据的新研究 -- ContactPose ，一个手部抓握物体时触点动态变化的数据集。
· ContactPose链接

文章插图
ContactPose数据集通过机器学习（ML）和热像仪捕获记录手部抓握不同物体时的每个3D关键触点的变化，精准缩小手势追踪轨迹的总体性偏差。
ContactPose利用热像仪将被抓握的受作用物体进行热图像纹理网格化，极大程度的减少外部设备干扰，可以支持实现更加敏感精准的手势交互追踪，对于未来开发虚拟现实人机交互建模技术至关重要，该论文研究已被ECCV 2020 （2020年欧洲计算机视觉国际会议）收录。
这篇文章中， VR陀螺将从覆盖研究组、技术突破点和应用领域三大方面，为行业内感兴趣的相关人士深度解析这项科研成果。
1. 研究组：基本覆盖相关变化指数
ContactPose的论文研究中，设置的研究组变量覆盖范围很广，这意味着ContactPose全面精准的包括了不同人群、不同物体、不同手部运动轨迹的数据集合。
总结其主要研究者Samarth Brahmbhatt等人的研究组数如下：
数据采集主体
参与实验者共50人，抓握物品共25种
抓握动作的功能目标
1. 使用该物品
2. 移交该物品给他人
抓握次数
数据采集时，所有参与者共抓握物品2306次
RGB-D图像
3个视点 + 296万个RGB-D图框
限制点
1. 只在空白背景下进行3D物体抓握
2. 只包括静态抓握
ContactPose在采集手部追踪数据时，邀请了50名实验者参与对25种不同物品的抓握，包括望远镜、相机、手电筒、眼镜、刀具、红酒杯、牙膏等基本生活用品，通过抓握和移交主体物品的两大手部运动意图，共采集了2306组手部运动触点数据，其研究的主体参量非常丰富，可以实现用户生活中手部追踪触觉点的变化数据采集。
文章插图
ContactPose数据集的呈现包括高分辨率的触点视图、3D关节追踪和多视图RGB-D手部抓握动态视频，并且区分左右手，左手为绿色，右手为红色，通过明晰的颜色区分，能够追踪更复杂的双手运动。
2. 研究突破点：防干扰热像仪可追踪到手部具体3D关节
手部追踪的人机交互领域作为亟需突破的领域之一，近年来有很多代表性的手势交互技术更新。在手势追踪数据采集上，大部分研究都通过触觉手套或其他设备捕捉手部运动数据，这意味着有的时候这些外部设备会影响手部运动的灵活性和主体自发性。
但佐治亚理工学院Samarth Brahmbhatt研究小组其最大突破为，用热像仪把被抓握的受作用物体的表面纹理网格化，通过C相机记录观察手部抓握物体时每一帧RGB-D成像图的变化， ContactPose不仅减少外部设备和环境限制的干扰，更通过高帧密集观察实现了敏感精准的手势交互追踪。