袁东：XR是未来数字世界中最核心的技术( 二 ) 杭州网讯12月18日-20日

我们通过跟国外的艺术家合作创作了利用手势的内容，可以看到这个场景是80后非常熟悉的那个场景，当年的时候每个家庭都有一幅这个茶杯，然后一幅这样上下开门的冰箱。那我是非常渴望能够再回到童年，去触摸童年的记忆，手势识别就扮演了这个桥梁。
下面讲Body Tracking ，全身的动作捕捉。在虚拟现实中如果想跟朋友交互，身体姿态也是必不可少的。在皮肤的Tracking之前，我想介绍一下我们在2017年美国CES发布的一款产品，叫Web Track ，主要功能是在我们追踪功能下绑在任意物体上，使任意物体被追踪到。开发者非常有创意，简单通过了一些开发之后，短时间内就创造出很多有意思的内容来。像在美国就有消防局用Track来模拟消防的演习。在欧洲的话，欧洲杯一些球员也利用我们的Track制作的内容来进行足球训练。
这是现在好莱坞非常流行，甚至是主流的一种制片模式，虚拟制片，利用Track来进行焦距的变换，还有虚拟摄像机的定位。右下角是我们在今天很多shopping mall里看到的VR线下体验，像一把真枪在现实影射，让你体验射击的快感。
VIVE sync团队是跨国团队，设计团队在旧金山， engineering团队在台北。因为疫情原因，交流比较困难，就在想怎么让团队合作更加融洽，就创造了VIVE sync软件，它就是在虚拟现实中协同一块进行工作，可以支持最主流的办公文件格式，甚至可以在虚拟现实中同时review一个3D模型，这对产品同学会非常有吸引力。但我们发现一个很大的问题，在一开始交流过程中，人体很难被模拟。因为在虚拟现实中我们只有一个头盔和两个手柄，模拟的人体非常不自然。我们团队通过机器学习的方法来改善这一块，这里有一个IK（Inverse Kinematics），利用人有限身体节点反向模拟人体。其中上面两个，左边是人的正常的活动姿态，右边是我们想实现的通过机器学习和我们的方法，能够模拟出人的身体姿态。当然这两个无限的接近，就证明这样的模拟是有效的。
我们通过了很多的training数据，通过机器学习进行training以后，再通过后期美术的优化和加工达到了效果。这个视频展示了我们怎么training data ，可以看到我们用的硬件只有两个头盔和两个VIVE controller ，分别绑在肘部，用两个外部的controllers模拟手的姿态。通过这样的训练，得到了人上半身非常精准的姿态数据。
经过机器学习和美工加工，可以看到我们与其他通过没有经过机器学习的模拟IK的效果对比。左边是我们通过机器学习得到的模拟效果，右边是普通情况下模拟的人上身的效果。可以看到右边容易出现穿模不自然的状态。在VIVE sync软件里面，就有一个更好的对比。
在虚拟现实中，我们不仅想把人最自然的姿态、人最自然的表情映射进来，我们还希望能增强人在虚拟现实中对现实的认知。我下面想向大家介绍的是通过我们的技术如何增强人对世界的感知，甚至是对自我的感知，能够达到增强现实的效果。
通过Deep Learning的技术，在2D方面可以实时识别很多物体，而且识别的物体数量会继续增加。这样比较好的应用，比如我在玩VR的过程中，我的沉浸感非常强，而且戴头盔就没办法看到外界的东西。但如果在你旁边走过去的亲朋好友，对他们来讲你其实是一个非常危险的人，因为他不会预测你未来会做什么样的动作伤到他。这时候我们通过对人物的识别，就会实时反映出来，告诉你前面有一个人或者小猫小狗走过去，你就会注意到，不会伤害他。对于3D的识别，我们通过前置摄像头进行环境扫描以后，会把空间所有的信息做内部处理，识别出3D物体位置和3D物体大小。通过这个视频，可以看到一个简单的应用。这个demo在台湾办公室录制，可以看到通过前置摄像头扫描完了桌椅以后，生成数据，可以识别出这个是否桌椅，就可以做3D、MR内容的研发。
未来，我们还想更进一步通过深度学习和机器学习，来增强这些方面的体验。比如，我们会识别出在环境中灯光的来源，就像我今天站在这里的时候，我通过VR也能学习到我的光源是从我正前方的镁光灯射过来，还有它的方向，甚至它是什么样的光源，是点光源还是散射光源等等。
2020年是一个令人难忘的一年，因为这一年发生了很多的改变，特别是新冠肺炎疫情让大家跟很多亲人没有办法像之前一样那么方便地团聚和工作。但是在世界各个角落通过虚拟现实技术，通过我们的一些技术，还是有很多热爱生活的人，他们依然在虚拟现实中得到了现实方面的体验和满足。