DeepTech深科技|想跟费德勒来场单打？AI可以帮你安排一切，温网停赛近日

【DeepTech深科技|想跟费德勒来场单打？AI可以帮你安排一切，温网停赛】近日，网络上出现一幕网球名将“费德勒”同“小威廉姆斯”同场竞技的情景，网球爱好者们纷纷惊掉了下巴。

文章图片
这场男女单打的破天荒对战，是如何发生的呢？DeepTech几经辗转，摸清了这件事的来龙去脉，原来是一名来自斯坦福大学计算机专业的博士生——张浩天，他和团队使用AI技术生成了上面的场景。好奇之下， DeepTech联系到了他本人。张浩天介绍，该项目的名称为Vid2Player ，可以让你操控选手并实时生成接近真实的比赛视频。除了能让费德勒同小威对战，它还有很多有趣的功能。温网破天荒地被取消，多少球迷断供， Vid2Player或许不失为一条新的“解渴”路径。网球冠军的弟子事情的起因很简单。 “我个人对视频理解与生成非常感兴趣，尤其是利用已有的大规模视频数据，比如在YouTube平台，来解决现实中遇到的问题。 ”张浩天说。此前他曾做过一个项目，是使用AI技术去分析、理解过去十年来美国主要的三家有线电视网络（CNN、FOXNews、MSNBC）的视频数据中出现的人物及内容。由于是严肃的报道内容，不太适合将视频生成技术应用其中，这让他非常遗憾。所以在立项之初，他就决定挑选一个适合于做视频生成的领域，后来便选中了体育赛事类视频。原因有三。首先，体育比赛中包含丰富的人类肢体动作及与相关道具的交互，而且运动员天然遵守比赛规则，有更强的规律性及约束性，这非常适合于做视频生成；其二，这一类素材在网络上非常容易获取；其三，体育赛事的受众很广，因此未来该技术的应用前景更加多元。至于为什么选择网球，张浩天笑称，他的博士导师KayvonFatahalian在卡内基梅隆大学读本科阶段，曾经是美国大学生网球联赛（NCAA）的男子单打冠军，是非常优秀的运动员，选择网球或多或少受他的影响。

文章图片
图|KayvonFatahalian@2000（张浩天提供）Vid2Player从立项到论文定稿，大概经历了一年时间。它更多地是基于计算机图形学（ComputerGraphics）来展开，其中用到的最经典的方法是视频纹理（VideoTexture）技术，该技术历史悠久，可以追溯到“拳皇”时代。张浩天解释道，根据用户指定的输入，比如想要放一个“大招” ，程序可以选择对应的视频片段来播放，玩家就可以看到他控制的角色做出了对应的动作。 “我们使用视频中的已有片段来呈现展示内容，会让生成的视频显得更加真实。而假如这个项目使用纯AI技术，就意味着运动员全部由模型通过神经网络生成，目前这类技术尚未成熟，生成的视频可能存在模糊、动作不连贯等问题。 ”AI技术在Vid2Player的应用主要是负责决策运动员的行为。 AI会根据当前双方球员的位置及球的轨迹等信息，决定运动员接球的击打方式、落点以及击打后运动员恢复准备状态的位置。他们根据原始比赛视频中运动员的历史数据为每一名网球名将训练了这样一个模型来负责控制角色的行为和规则。以上两种技术分别负责运动员的外观和行为，再加上一个掌控全局的网球回合状态机（shotcyclestatemachine）——运动员击球前跑位、击球、击球后跑位，周而复始运行，一场完整的网球比赛就此生成。

文章图片
图|张浩天， 2017年毕业于清华大学，后到斯坦福大学继续求学（张浩天提供）自由“操控”网球名将张浩天说，为了最终实现Vid2Player ，我们需要对从网络下载的视频进行必要的标注工作。首先，预先逐帧框选出两个运动员的位置，然后标注遮罩（semanticmask）及姿势的关键点。另外，还需要知道球的轨迹，相当于在每一帧标注出球的位置。这里有两个很关键的时刻——球被运动员击打的时刻和位置、球被击打出之后，落地反弹的时刻和位置。最后，还要对现有视频中网球场地进行三维重建，将2D信息转换成3D的格式。值得注意的是，目前每次击球的时间都需要人为手工进行标注。张浩天解释道，由于击球的瞬间球速很快，并且球体很小，他们的AI暂时不能很好地定位捕捉，这里的确有待改进。除此之外，以上绝大部分的标注工作都可以通过计算机模型自动生成。包括张浩天在内的Vid2Player两名主力成员，本次共处理标注了20个小时左右的网球比赛素材。此外，为了让输出的网球比赛更加贴近真实场景，他们做了很多的工作。