AR/VR手势追踪打造虚拟键盘作者：DIGITIMES李佳翰相信使用

作者：DIGITIMES李佳翰
文章插图
相信使用过AR或VR装置的使用者都有相同感受，就是当要进行搜寻或键入数据时，必须在虚拟键盘上使用红点或是控制器一个字一个字的找跟点选，不仅慢又累。而Facebook最新开发的一项AR/VR装置适用手势追踪技术，可望能够改善这种情况。
尽管目前Facebook旗下Quest已导入基础手势追踪技术，能够让使用者在系统界面上拖拉、点选、浏览网络、甚至进行特定兼容游戏，而无须额外的控制器，但这个技术上无法支援到追踪手指动作，例如在虚拟键盘上打字。
为此， Facebook Reality Labs(FRL)尝试开发出更细腻的手势追踪技术，包括手指动作在内，让这项技术能开发出更多应用。根据介绍，研究人员采用高精准的外部手势追踪系统，使用动作模型来预测使用者打算在平坦表面上打字的内容；这项技术可独立辨识个别手指在虚拟键盘上的移动。
FRL表示，这项基于手势追踪系统的技术采用手部动作做为输入媒介，并将手指动作直接译码为要键入的文字。不过FRL也表示，目前仍在早期研发阶段，但某种程度已证明手势追踪对提升生产力的潜力，例如在任何表面上快速打字。
研究指出，必须克服的主要障碍之一是如何降低手势追踪系统“打错字”几率，在没有键盘触觉反馈的情况下，研究人员选择以人工智能(AI)技术来进行逻辑预测、分析使用者手指下一个动作会落在哪个字母上。同时也采用了自动语音辨识的统计译码技术，加上语言模型共同协作，以求更精准预测使用者打算键入的文字，降低打错字几率。
透过上述模式，测试人员在平坦表面上使用双手每分钟打字73个单字，未效正错误率为2.4% ，相较于同一人员在实体键盘上打字的速度和准确度相差无几。
【AR/VR手势追踪打造虚拟键盘】当然，相关技术(包括手势追踪在内)都仍有很大改进空间，这也是FRL持续推进的目标；且预期Facebook也将会把相关技术导入持续开发中的AR装置上。透过Oculus Quest装置进行创新技术测试也似乎成为Facebook迈向更先进AR装置的合理模式。

AR/VR手势追踪 打造虚拟键盘

AR/VR手势追踪打造虚拟键盘