模范爸爸|| CCF-GAIR 2020，中国科学技术大学副教授凌震华：基于表征解耦的非平行语料话者转换( 二 ) 雷锋网按：2020年8月7日至9日

话者转换的任务定义；
平行语料和非平行语料的话者转换方法；
基于表征解耦的非平行语料话者转换方法。
话者转换，又称语音转换，英文名为VoiceConversion ，指的是对源说话人的语音进行处理，使它听起来接近目标发音人，同时保持语音内容不变。
话者转换技术经过了从规则方法到统计建模的发展历程。现阶段的基于统计建模的话者转换方法，其转换过程通常包括三个主要步骤：
源说话人语音输入后，首先经过声码器从语音信号中抽取声学特征，如梅尔谱、基频等；进一步通过声学模型P（Y|X）进行由源说话人声学特征X到目标说话人声学特征Y的映射；映射得到的声学特征最后通过声码器重构语音信号。
那么什么是平行语料？
在训练阶段，如果源和目标两个说话人朗读过同样的文本，就可以得到他们之间的平行语料。基于平行语料，可以直接建立转换模型描述两个说话人声学特征之间的映射关系。在转换阶段，输入新的源说话人声音，就可以通过转换模型进行目标说话人声学特征的预测。
其基本的策略是，两个说话人录制了平行语料后，考虑到两个人的语速、停顿等不一致带来的声学特征序列长度差异，需要先利用动态时间规整（DTW）算法进行序列的对齐，得到等长的X序列和Y序列。接着，将每个时刻的源说话人声学特征与目标说话人声学特征进行拼接，进一步训练得到两个发音人声学特征的联合概率模型P(X,Y) 。
不过，基于GMM声学建模的语音转换质量还是不尽如人意。一方面转换的音质不够高，声音听起来有机械感；二是和目标人的相似度不够好。这些都和声学模型的精度不足有关系。
针对以上问题，自2013年开始，深度学习被广泛应用与语音转换的各个技术环节，如特征表示、声学建模、声码器等。今天重点关注的是声学模型，即如何更好的建模P(Y|X) 。