Correlation Matrix of Model Logits

1. Correlation Matrix of Model Logits 是说明什么的？

它反映的是：一个模型内部，不同类别之间的输出相关性结构。

👇 举例：

你有一个模型（无论是 teacher 还是 student），在测试集中预测了很多图像（比如 N=1000 张），每张图输出 [logit_0, logit_1, logit_2, logit_3] 四个类别得分。

• 你把所有图像的 logits 拿出来做相关性分析，计算的是：

  Corr[i][j] = PearsonCorr(logit_i, logit_j)

  也就是：

  在所有图像中，第 i 类和第 j 类的打分，是否同步升高、降低。

📌 这个矩阵说明了什么？

🧠 举例（实际含义）：

比如在皮肤病分类中：

• 类别 0（黑头） 和 类别 1（粉刺）有高相关性，说明模型认为它们容易混淆；

• 类别 0 和 类别 3（脓疱）无相关，说明它们形态差异大，模型容易分开。

✅ 2. Difference of Correlation Matrices (Student - Teacher) 是说明什么的？

它反映的是：学生模型与教师模型在类别结构建模上的差距。

也就是，我们不是关心“你分类准不准”，而是看：

“你有没有模仿到老师对不同类别之间的理解方式？”

📌 这个差值矩阵说明了什么？

你计算的是：

diff = corr_student - corr_teacher

• 如果 diff[i][j] ≈ 0：说明 student 和 teacher 对 i类 和 j类 的语义关系 保持一致；

• 如果 diff[i][j] ≈ 正/负值：说明 student 的理解方式和 teacher 不一致，可能产生歧义、结构偏移。

✅ 3. 对比意义是什么？为什么论文要用这个？