本⽂介绍由清华等⾼校联合推出的⾸个开源的⼤模型⽔印⼯具包 MarkLLM。MarkLLM 提供了统⼀的⼤模型⽔印算法实现框架、直观的⽔印算法机制可视化⽅案以及系统性的评估模块,旨在⽀持研究⼈员⽅便地实验、理解和评估最新的⽔印技术进展。通过 MarkLLM,作者期望在给研究者提供便利的同时加深公众对⼤模型⽔印技术的认知,推动该领域的共识形成,进⽽促进相关研究的发展和推⼴应⽤。
- 论⽂名称:MarkLLM: An Open-Source Toolkit for LLM Watermarking
- 论⽂链接:arxiv.org/abs/2405.10…
- 代码仓库:github.com/THU- BPM/MarkLLM
⼤模型⽔印技术的发展现状 & 仍然⾯临的问题
⼤模型⽔印是近期新兴的⼀项技术,通过在模型⽣成⽂本过程中植⼊特定的特征,来实现机⽣⽂本的辨别和来源追溯。它可⽤于虚假新闻检测、维护学 术诚信、数据和模型版权保护等场景。
⽬前主流的⼤模型⽔印算法是在⼤模型推理阶段植⼊⽔印,这类⽅法主要分为两⼤算法家族:
- KGW 家族:通过⼲预打分向量添加⽔印,将词表分为红绿列表,给绿