Audio-SE：开源语音增强（SE）模型

推荐开源项目：GTCRN - 轻量级语音增强模型 1、项目介绍 在音频处理领域，GTCRN（Grouped Temporal Convolutional Recurrent Network）是一个值得关注的创新项目。该项目源自ICASSP 2024接受的一篇论文，提供了实现超低计算资源需求的语音增强模型。通过仅仅23.7 K个参数和每秒39.6 MMACs的运算量，GTCRN展现了其高效能的特性。...

作者：Ke Tan, DeLiang Wang 文末附文章地址与开源代码地址 1. 动机 语音增强的许多实际应用，如助听器和人工耳蜗都需要无延迟或低延迟的实时处理、 2. 方法 受CRN工作的启发，开发了一种全新的CRN架构，用于实时进行与噪声和说话者无关的语音增强。CRN 结合了因果卷积Encoder-Decoder和LSTM。在实时处理中，语音增强框架不能利用未来帧的语音，所以采用了因果卷积的Encoder-Decoder。使用LSTM的主要目的是处理噪声泛化和说话人泛化。 3. 网络架构

​ AI之MLM：《MM-LLMs: Recent Advances in MultiModal Large Language Models多模态大语言模型的最新进展》翻译与解读 目录 《MM-LLMs: Recent Advances in MultiModal Large Language Models》翻译与解读 Abstract摘要 1、Lntroduction引言 2、Model Architecture模型架构，五个组件 3、Tra

阿里巴巴达摩院的通义实验室近期宣布开源一项名为ClearerVoice-Studio的语音处理技术，旨在提升语音质量和可懂度。随着语音技术的广泛应用，语音质量受到越来越多人的关注，尤其是在环境噪声、混响和设备拾音等情况下，语音处理技术的需求日益迫切。ClearerVoice-Studio集成了语音增强、语音分离和音视频说话人提取等功能，通过融合复数域深度学习算法，大幅提升了语音降噪和分离的性能。该技术能够最大限度地消除背景噪声，保留语音清晰度，同时保持语音失真最小化。

xiaozhi-esp32项目诞生于开源社区，旨在降低AI语音助手开发门槛，让开发者能够基于低成本硬件构建个性化的智能语音交互设备。项目名称中的"xiaozhi"意为"小智"，体现了其作为智能助手的定位，而"esp32"则指明了其运行的硬件平台——乐鑫科技(ESPRESSIF)的ESP32系列微控制器。核心功能亮点实时语音交互：支持流式语音对话，采用WebSocket或UDP协议与云端服务通信多模型支持。

开源库，使用websocket跟微软在线模型。

Paper：大模型之《Pre-Trained Models: Past, Present and Future大规模预训练模型的发展历史、最新现状和未来发展三个方向》翻译与解读目录Paper：《Pre-Trained Models: Past, Present and Future大规模预训练模型的发展历史、最新现状和未来发展三个方向》翻译与解读Abstract1 Introduction简介2 Background背景2.1 Transfer Learning and Supervised Pre-Tra

汇总一下最近一个星期的一些数字人论文的更新，我觉得比较有意思的一些文章比如SINGER，用Diffusion来做sing的talking head，确实是一个不错的文章，已经开源了，大概可能还是类似于复旦的Hallo工作；比较有意思的是类似于INFP这样的工作，做了一个双人交互，我大概看了一下Project，觉得还是很不错的；除此之外，类似于One Shot，One Talk这样的3D点工作也是非常有趣，后续会对一些有意思的文章做一些解读和学习，更多的详细内容会在我的知识星球更新 ，欢迎大家关注哈！

时域是指时间域，频域是指频率域。 时域和频域是信号的基本性质。1、时域（时间域）——自变量是时间,即横轴是时间,纵轴是信号的变化。其动态信号x（t）是描述信号在不同时刻取值的函数。 图1是正弦波的时域图，示出了振幅与时间的关系。 在时域图中，横轴是时间，纵轴是振幅。 时域图显示振幅随时间的变化，可以看出峰值振幅为5V，可以算出频率f=6 Hz。2、频域（频率域）——自变量是频率,即横轴是频率,纵轴是该频率信号的幅度,也就是通常说的频谱图。 图2是图1中正弦波的频域图在频域图中，横轴是频率，纵轴是峰值振幅

需要明白一点，mel帧数 * 帧移 = 音频长度（采样点个数，可换算为音频时长，具体怎么做不用说了吧）因此，对于22050采样率， hopsize大小设置为256， 那么对应的mel-spectrogram需要上采样 256倍如果是16000采样率呢？使用帧长是50ms,帧移 12.5ms 那么hop_size就是200（16000*12.5/1000=200）啦，所以上采样倍数就是200倍啦.......

预加重是语音信号处理的前提，主要目的是提升语音信号中的高频分量。人的发生系统是从肺开始，肺作为能量源，气流通过声带，引发周期性震动（元音），能量经过咽、口腔、唇、舌， 形成最后的声音。元音能量主要集中在1KHz以下，并且以6dB/十倍频的速度下降。辅音一般不引起声带振动，频率更高。其中口唇辐射对低频影响比较小，但是对高频段影响比较大， 预加重就是为了消除这种影响，提升高频分量。在语音信号中，提升高频分量的目的主要是因为高频分量（即辅音）包含了更多的信息，而元音的频率普遍较低。...

时域和频域是信号的基本性质，用来分析信号的不同角度称为域，一般来说，时域的表示较为形象与直观，频域分析则更为简练，剖析问题更为深刻和方便。目前，信号分析的趋势是从时域向频域发展。然而，它们是互相联系，缺一不可，相辅相成的。信号的时域和频域参考资料： 音频特征（2）：时域图、频谱图、语谱图（时频谱图） 什么是信号的时域和频域？.....................

根据采样定理，最低采样频率必须是信号频率的两倍。反过来说，如果给定了采样频率，那么能够正确显示信号而不发生畸变的最大频率叫做恩奎斯特频率，它是采样频率的一半。如果信号中包含频率高于奈奎斯特频率的成分，信号将在直流和恩奎斯特频率之间畸变。采样定理，又称香农采样定理，奈奎斯特采样定理，只要采样频率大于或等于有效信号最高频率的两倍，采样值就可以包含原始信号的所有信息，被采样的信号就可以不失真地还原成原始信号。...

给定原始的音频信号，通过melspectrogram（）函数提取梅尔频谱，然后通过DCT离散余弦变换得到梅尔倒谱系数。Mel滤波器对应了频率提高之后人耳会迟钝的客观规律，所以Mel滤波器在人声的信号处理上有着广泛的使用，但是如果应用到非人声上，就会丢失很多高频信息。输入语音信号->预加重->分针->加窗->FFT（傅里叶变换）->Mel滤波器->对数运算->DCT(离散预先变换)->MFCC。这是MFCC（梅尔倒谱）的提取过程，而梅尔频谱则是经过Mel滤波器就直接输出的一个结果。..............

WAV文件是在PC机平台上很常见的、最经典的多媒体音频文件,最早于1991年8月出现在Windows 3.1操作系统上,文件扩展名为WAV,是WaveFom的简写,也称为波形文件,可直接存储声音波形,还原的波形曲线十分逼真。WAV文件格式简称WAV格式是一种存储声音波形的数字音频格式,是由微软公司和IBM联合设计的,经过了多次修订,可用于Windows,Macintosh,Linix等多种操作系统,详述如下。声源发出的声波通过话筒被转换成连续变化的电信号,经过放大、抗混叠滤波后,按固定的频率进行采样,每个样

实际上，在整个数量上进行一英尺实际需要花费相当长的时间，更不用说估计会产生偏差，因为信号的均值和方差将在整个持续时间内急剧变化。为了避免这种情况，您希望首先对时域信号进行帧构建，这些帧可以小至20ms-40ms(通常用于语音)，并且经常重叠(频谱估计的韦尔奇方法)。例如，波形文件，采样率为960Hz，使用128点FFT，您有resolution = 960 / 128 = 7.5 Hz。这样，所得FFT中的每个bin(或大概是由此得出的功率谱)将为7.5 Hz宽，您将能够区分至少相距如此之远的频率分量。

librosa是一个非常强大的python语音信号处理的第三方库。学会librosa后再也不用用python去实现那些复杂的算法了，只需要一句语句就能轻松实现。参考资料： Python之librosa库语音信号处理