ai快捷键(ai全称)

梅宁航 发自 凹非寺
量子位 报道 | 公众号 QbitAI

光动嘴不用出声,AI自动给你合成语音 。

这就是来自印度信息技术研究所(IIIT)的黑科技——一个名为Lip2Wav的AI程序 。

Lip2Wav可以学习个体的说话方式,并且实现准确的唇语合成 。


ai快捷键(ai全称)

文章插图
△示例值得注意的是,Lip2Wav和B站那些机械风格的鬼畜调音不一样 。

这个AI效果炸裂,你几乎感觉不到是机器配音,就像人类在发言一样 。

真实效果可以参见他们发布在油管的视频 。

毕竟涉及到语音效果,光看文字是感觉不完整的 。

【ai快捷键(ai全称)】另外,不要用来做坏事哟 。

这是怎么实现的?目前工业界普遍使用的唇语到语音/文本的数据集有两种 。

一种是小规模的、受约束的词汇数据集,如GRID和TCD-TIMIT数据集,还有一种是无约束、开源的多人词汇数据集,如LRS2、LRW和LRS3数据集 。

这些数据集前者存在数量不足,不足以模拟真实环境的问题,后者问题在于适用对象过于宽泛,个性化特征不够鲜明 。

基于上述问题,作者提出新的思路,步骤如下:

1、准备数据 。

准备针对个人的语音、视频大量数据,这是Lip2Wav的第一个显著特点,增加数据量来增强模型的拟合效果 。


ai快捷键(ai全称)

文章插图
△5个演讲者作者为Lip2Wav准备的数据集包含了5位演讲者的演说视频,这些视频包括国际象棋分析、化学课程、深度学习课程等类型 。

每个演讲者都有大约20个小时的YouTube视频内容,作者使用了5个人、共计100+小时的数据,跨越5000+的丰富词汇量,基本涵盖日常英语词汇 。

2、面部识别中得到唇部动作编码 。

在整理好数据后,作者的思路是学习精确的个体说话风格,换言之追求对个体风格的极致模拟,而非普遍适用的通用模型 。


ai快捷键(ai全称)

文章插图
△训练流程这个示例针对的是国际象棋分析,训练AI去分析演讲者的面部表情动作,并进行特征编码 。

当然,作者没有重复造轮子,而是利用face_alignment模型上二次开发,修改为一次分批提取人脸 。

face_alignment模型对3D人脸识别效果良好,在GitHub有3.9k Star 。


ai快捷键(ai全称)

文章插图
△face_alignment模型对人脸进行3D建模3、使用LSTM根据唇部动作进行文字生成 。

在得到人脸特征后,研究者要做的是把唇部动作和语音文字结合起来 。


ai快捷键(ai全称)

文章插图
△训练示例在数轮3D卷积神经网络训练后,研究者使用LSTM进行文字生成,以期匹配先前的唇语动作 。

4、评估结果 。

在得到训练结果后,研究者使用另外两份数据集进行验证,检测Lip2Wav模型的泛化能力 。

他们使用了GRID和TCD-TIMIT数据集,其中的WER列为错误率?的衡量参数 。


ai快捷键(ai全称)

文章插图
根据比较结果,和现有模型相比,Lip2Wav模型得分最低,效果最好 。

而更有创意的是,研究者为弥补他们数据集过于针对个人风格的特点,还设计了人类评估的步骤 。

让人类志愿者进行客观评估 。

他们要求志愿者手动识别并报告A,错误发音的百分比,B,单词跳字的百分比(单词跳读是指由于噪声或语调不清而完全无法理解的单词数量 。),以及C,同音字的百分比 。


ai快捷键(ai全称)

文章插图
△人类客观评估平均数上图是从Lip2Wav数据集中的每个演讲者的未读测试分词中选取10个预测的结果 。

个人风格过强的问题作者发布之后,引起Reddit的热议 。

但吃瓜群众的疑问在于,他们的模型是否能够针对普通人进行语音合成 。

没想到模型作者现身说法,明确表示暂时还不行,只有针对训练的特定个人才能有效拟合数据 。


ai快捷键(ai全称)

文章插图
而作者还在评论区回应,他们未来会增加视频字幕生成的能力,类似于YouTube的字幕生成功能,期待项目的进一步发展 。


ai快捷键(ai全称)

文章插图
要不要动手试试~

参考链接:

https://www.youtube.com/watch?v=HziA-jmlk_4&feature=youtu.be

https://arxiv.org/pdf/2005.08209.pdfhttp://cvit.iiit.ac.in/research/projects/cvit-projects/speaking-by-observing-lip-movements#

https://github.com/Rudrabha/Lip2Wav

— 完 —

量子位 QbitAI · 头条号签约

关注我们,第一时间获知前沿科技动态