基于 RTVC-7 Voice Cloning Model 的 Cross-Lingual TTS 的三步走: 第二步 Tuned-GE2E-EarSpeech 跨语言实验观察

本文链接：https://blog.csdn.net/u013625492/article/details/114659585

该博客介绍了使用RTVC-7和Tuned-GE2E-EarSpeech模型进行跨语言TTS实验的过程，包括选择参考语音、文本和进行主观观察。实验中发现Attention错误和性别转换问题，可能由于说话人覆盖不足。PCA分析用于展示Speaker Embedding分布，建议通过增加数据或Fine-tune ASV来改善效果。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

0. 说明

把 LJSpeech 的作为 reference, 以及 DataBaker EN, 还有 VCTK 的

首先仍然用 55k 的那个 ckpt
其他的设置参看张阳的 Speaker Embedding 版本: https://blog.csdn.net/u013625492/article/details/114656320

1. 选取 Reference Speech

1.1. 选取音频

前 6 个是标贝双语, 分别是 2 个中, 2 个英, 2 个混合
然后两个是 LJSpeech
最后四个来源于 VCTK
注意, 采样率有的是 16k, 有的是 48k

1.2. 使用 GE2E Encoder 提取 Speaker Embedding

逻辑在: /ceph/home/hujk17/Tuned-GE2E-EarSpeech/FaPig_GE2E_Cross_synthesizer.py

2. 选取文本

ti3 yu4 zong3 ju2 gai1 gan4 de5 rang4 ti3 yu4 zong3 ju2 gan4
you3 liu4 shi2 jia1 gong1 si1 wei4 xin1 xing1 chan3 ye4 shang4 shi4 gong1 si1
xing2 cheng2 ji4 you3 fen1 gong1 you4 xiang1 hu4 pei4 he2 de5 jian1 guan3 ji1 zhi4
wo3 xi3 huan1 ni3 zhou1 cui4 bao4 zao4 ge1
xie4 xie4 da4 jia1 lin2 ting1 yu3 yin1 he2 cheng2 shi2 yan4

3. 主观大体观察实验

https://drive.google.com/file/d/16QBHuLTM-4FGyMZlMbwpmWZnzgsnjxx0/view?usp=sharing

总体来说效果非常好!

3.1. 有些说话人 Attention 有错

可能是 GE2E 太过精细导致

3.2. 有些说话人女性变男性

可能是 AISHELL-3 覆盖的说话人不够了

4. Speaker Emb 观察实验

目标是画出下面的图:

并且补充上文字的分析:

4.1. 用 PCA 来观察

PCA 快, 指定的参数也少
PCA 可以先画训练集, 也就是 Aishell-3 说话人的 Speaker Emb 分布, 然后固定不动, 再去转换新来的 LJSpeech, 标贝-EN 等人, 比 t-SNE 方便
虽然 Git 名称: https://github.com/ruclion/ASV-T-SNE, 但是目前先画 PCA