针对Whisper模型的静音攻击方法主要针对基于Transformer的自动语音识别系统,特别是Whisper系列模型。其有效性主要基于Whisper模型使用了一些“特殊标记”来指导语言生成过程,如标记表示转录结束。我们可以通过在目标语音信号前添加一个通用短音频段,模拟标记的声学实现,从而成功“静音”Whisper模型。
1、针对Whisper模型的静音攻击步骤
- 确定攻击目标:攻击的目标是使Whisper模型在解码时忽略语音内容,只转录特殊标记,从而生成空白的转录结果。
- 构建损失函数:定义损失函数来最大化模型生成标记的概率,即最大化P(y1=|x, y0)。
- 生成对抗样本:利用梯度下降法来优化这个损失函数,学习一个长度为