Matcha-Tts：一种基于条件流匹配的快速Tts架构笔记

MATCHA-TTS: A FAST TTS ARCHITECTURE WITH CONDITIONAL FLOW MATCHING笔记

提出问题：

1、合成速度慢
提出方法：

1. 首先，提出了一种改进的编码器-解码器TTS架构，在解码器中使用1D CNN和Transformer的组合。这样减少了内存消耗，并且评估速度快，提高了合成速度。
2. 其次，使用最优传输条件流匹配( OT-CFM )来训练这些模型，这是一种从数据分布中学习样本常微分方程（ODEs）的新方法。与传统的连续时间归一化流（CNFs）和基于得分匹配的概率流ODEs相比，OT - CFM定义了从源到目标的更简单的路径，能够在比DPMs更少的步骤中实现精确合成。
   方法实施中面临的问题：
   ①使用sinusoidal position embeddings进行位置依赖，不能很好的概括到长序列。解决的办法是使用旋转位置嵌入，它具有计算和记忆又是，可以推广到长距离。
   ②使用1D和2D卷积合成梅尔普图。2D将MEL图看作图像，隐式的假定在时间和频率上的评议不变性。但是MEL在频率轴上并不是完全平移不变性。并且2D解码器通常需要更多的内存，张量引入了额外的维度。已经有研究证明使用带有1D卷积的解码器可以学习到长距离依赖关系，并且合成速度快。
   

2、模型图如下

3、代码：https://shivammehta25.github.io/Matcha-TTS/