灌篮高手|LoveLive! 出了一篇AI论文：生成模型自动写曲谱 acgn漫评

文章图片

文章图片

文章图片

文章图片

文章图片

文章图片

机器之心报道
编辑：泽南、小舟
我们终于知道那些折磨人的乐谱是怎么来的了——都是AI生成的。

知名偶像企划LoveLive!发AI论文了，是的没错。
最近，预印版论文平台arXiv上的一篇论文引起了人们的注意，其作者来自游戏开发商KLab和九州大学。他们提出了一种给偶像歌曲自动写谱的模型，更重要的是，作者表示这种方法其实已经应用过很长一段时间了。
通过深度学习技术， AI算法在图像分类，语音识别等任务上有了优异的表现，但在理解复杂、非结构化数据方面，机器学习面临的挑战更大，比如理解音频，视频，文本内容，以及它们产生的机制。物理学家费曼曾说过：「凡是我不能亲自创造出来的，我就不是真正理解。」
而随着技术的发展，深度生成模型已在学界和业界获得了广泛应用。在如今的游戏开发过程中，生成模型正在帮助我们构建各种内容，包括图形、声音、角色动作、对话、场景和关卡设计。
KLab等机构提交的论文介绍了自己的节奏动作游戏生成模型。 KLabInc是一家智能手机游戏开发商。该公司在线运营的节奏动作游戏包括《LoveLive！学院偶像季：群星闪耀》（简称LLAS）已以6种语言在全球发行，获得了上千万用户。已经有一系列具有类似影响的类似游戏，这使得该工作与大量玩家密切相关。
在LLAS中，开发者面临的挑战是为不同歌曲生成乐谱，提示玩家在不同时机点击或拉拽按键，这是节奏音乐游戏中所定义的挑战。在一局游戏中，飘过来的按钮被称为音符，它们形成类似于乐谱的空间图案，与后台播放的歌曲节奏对应。一首歌曲存在不同的难度模式，从初级、中级、高级和专家到挑战，复杂度顺序递增。

相对其他音游， LLAS虽然不怎么考验反应速度，但机制相对复杂得多在全部按准的前提下还有buff、debuff、三种属性分别对应体力、暴击和分数，想要高分还需要在打歌时不停切换队伍。
由于LoveLive！是一个有12年历史的企划，包含四个团体和数个小团体，个人还有角色歌，很多歌曲都会在游戏中出现，设计对应的乐谱变成了一件极具挑战的工作。

随便一搜就上千首歌曲。
游戏开发者表示，他们的做法是通过AI辅助的半自动化方式：先由AI生成乐谱，再由KLab的艺术家进行微调，另一种方式是AI生成低难度乐谱，游戏设计师在这个基础上设计高难度。
KLab表示，他们使用的GenéLive!模型成功地降低了一半业务成本，该模型已部署在公司日常的业务运营中，并在可预见的未来时间里持续应用。
降低乐谱生成的成本对于在线音游开发者来说是一个重要挑战，因为它是日常运营的瓶颈。 KLab提出的方法实现了只需要音频，就可以直接生成乐谱。
在研究过程中，开发者们首先提出了DanceDanceConvolution(DDC) ，生成了具有人类高水平的，较高难度游戏模式的乐谱，但低难度反而效果不好。随后研究者们通过改进数据集和多尺度conv-stack架构，成功捕捉了乐谱中四分音符之间的时间依赖性以及八分音符和提示节拍的位置，它们是音游中放置按键的较好时机。
DDC由两个子模型组成：onset（生成音符的时机）和sym（决定音符类型，如轻按或滑动）
目前正在使用的AI模型在所有难度的曲谱上都获得了很好的效果，研究人员还展望了该技术扩展到其他领域的可能性。

KLab应用深度生成模型来合成乐谱，并改进乐谱的制作流程，将业务成本降低了一半。该研究阐明了如何通过专门用于节奏动作的多尺度新模型GenéLive! ，借助节拍等来克服挑战，并使用KLab的生产数据集和开放数据集进行了评估。