解读黑盒Transformer模型与任务无关的Transformer模型探索

### 解读黑盒Transformer模型与任务无关的Transformer模型探索 #### 1. 黑盒Transformer模型解读基础 在自然语言处理（NLP）中，目标是确定一个或多个特征在局部的存在与否，这里的特征是可重构为单词的标记。对于LIME（Local Interpretable Model-agnostic Explanations），g代表一个Transformer模型或其他机器学习模型，G代表包含g的一组Transformer模型。LIME算法可应用于任何Transformer模型。 LIME的特点如下： - 针对一个单词，在局部上下文中搜索其他单词。 - 提供一个单词的局部上下文，以解释为什么预测的是这个单词而不是其他单词。 #### 2. 可视化接口探索 可以访问[这个网站](https://transformervis.github.io/transformervis/)来进行交互式Transformer可视化。该可视化界面提供直观的指令，可一键开始分析特定层的Transformer因子。操作步骤如下： 1. 选择一个因子。 2. 点击想要可视化该因子的层。 第一个可视化展示了因子层逐层的激活情况。例如，因子421在较低层专注于“separate”的词汇领域，随着可视化到更高层，会出现更长期的表示，该因子开始将“separate”与“distinct”相关联。 建议尝试多个Transformer因子，观察Transformer如何逐层扩展对语言的感知和理解。在此过程中，会发现很多好的例子和不好的结果，应关注好的例子以理解Transformer如何进行语言学习，利用不好的结果理解其出错的原因。 #### 3. Transformer的随机选择 Transformer在做出选择之前会生成候选词，以句子 “The sun rises in the_____.” 为例，GPT - 2模型选择了 “sky”，但也有其他候选词，如 “morning” 排名第二也可能合适。由于模型是随机的，多次运行可能会得到不同的输出。 #### 4. 无法访问的模型探索 一些软件即服务（SaaS）的Transformer模型，如OpenAI的GPT - 3模型，我们无法访问其权重。即使能访问其源代码或输出权重，分析其9216个注意力头（96层 x 96头）也极具挑战性。 以 “coach” 一词的英法翻译为例，存在多义性问题： | 英文句子 | 正确翻译 | 错误翻译 | | ---- | ---- | ---- | | The coach broke down, and everybody complained. | Le bus a eu un problème et tout le monde s'est plaint. | 无 | | The coach was dissatisfied with the team and everybody complained. | Le coach de l'équipe de football était insatisfait