qq_42757191的博客

解释多变量时间序列的预测会带来额外的困难，例如解释必须体现时间依赖性和大量输入。（存在的挑战）为了应对这些挑战，我们提出了动态掩码 (Dynamask)。（解决方案）该方法通过对输入序列拟合扰动掩模，在每个时间步产生每个特征的实例重要性分数。为了考虑数据的时间依赖性，Dynamask研究了动态摄动算子的影响。为了处理大量输入，我们提出了一种方案，使特征选择更简洁和易读。（具体做法）

解释“基于多变量时间序列数据的预测”的困难在于：不仅要处理多个特征，还要处理时间依赖性。而且根据时间信息的不同，相同的特征可能会对预测产生截然不同的影响。（在多变量时间序列预测上进行解释的难点）以前的工作使用了基于扰动的显著性方法来解决这个问题，使用可训练的掩码来对输入进行扰动，以发现哪些特征在哪些时间驱动了模型的预测结果。然而，这类方法从静态数据的类似方法中得到启发，引入了固定的扰动，而在时间序列数据上似乎没有什么动机这样做。（原有方法存在的问题）

文章中提出了一个解释预测的统一框架SHAP（SHapley Addictive exPlanations），SHAP为每个特征指定一个特定预测的重要值。引入了将模型预测的任何解释视为模型本身的观点，我们称之为解释模型。这让我们可以定义加性特征归因方法的类，它统一了目前的六种方法。并提出将SHAP值作为各种方法近似的特征重要性的统一度量。

输入单元重要性归因，即计算输入中各个单元的重要性（Importance）。重要性能够反映该输入单元对于神经网络的影响大小，重要性越高，表明影响越大。为输入单元的重要性进行量化和分析，能够帮助人们理解是哪些输入变量促使神经网络得到了当前的结果，从而对神经网络的特征建模有一个初步的认识。这里介绍包括SHAP算法、LIME算法、导向反向传播算法、积分梯度算法、逐层相关性传播算法等。......

最大激活响应可视化、网络解剖与特征语义分析、基于反向传播的输入重建可视化、GAM/Grad-CAM

在本篇文章中作者引入了一种新的可视化技术，该可视化技术可以揭示在模型的任何一层激发个体特征图的输入刺激，允许我们在模型训练期间观察特征的演变，用来深入了解中间特征层的功能和分类器的操作。这些可视化使我们能够找到比Krizhevsky等人在ImageNet分类基准测试中表现更好的模型架构。...