深兰科技|对深度学习模型VAE的时序性解耦( 三 )

本文插图
本项目采用的数据是Sprites ，这是个具有时序性的数据。如上图所示小精灵有着不同的颜色和动作，团队的任务就是通过这些小精灵的图片，解耦出小精灵的动态信息(小精灵的动作)和静态信息(小精灵的颜色) 。通过深度学习来获得小精灵动静态信息的语义，并理解这语义从而生成新的小精灵。
如下图所示，通过深度学习得到小精灵的动态信息和静态信息，并改变他们的值的生成效果(上排是原始数据，下排是生成数据) 。
1.改变静态信息(颜色)

本文插图
2.改变动态信息

本文插图
对于VAE时序性解耦的工作可以更容易地说明神经网络的可解释性，这样的任务不仅可以对神经网络的基础研究作出贡献，还可以应用到很多人工智能的项目中，例如对图像视频的处理；动静的解耦可以实现换脸等效果；在自然语言处理中，可以改变声音的种类等。