更深层的理解视觉Transformer， 对视觉Transformer的剖析
写在前面&&笔者的个人理解
目前基于transformer结构的算法模型已经在计算机视觉（cv）领域展现出了巨大的影响力。他们在很多基础的计算机视觉任务上都超过了之前的卷积神经网络（cnn）算法模型，下面是笔者找到的最新的在不同基础计算机视觉任务上的leaderboard榜单排名，通过leaderboard可以看到，基于transformer算法模型在各类计算机视觉任务上的统治地位。
图像分类任务
首先是在imagenet上的leaderboard，通过榜单可以看出，前五名当中，每个模型都使用了transformer结构，而cnn结构只有部分使用，或者采用和transformer相结合的方式。
图像分类任务的leaderboard
目标检测任务
接下来是在coco test-dev上的leaderboard，通过榜单可以看出，前五名当中，一半以上都是基于detr这类算法结构进行延伸的。
目标检测任务的leaderboard
语义分割任务
最后是在ade20k val上的leaderboard，通过榜单也可以看出，在榜单的前几名中，transformer结构依旧占据是当前的主力军。
语义分割任务的leaderboard
虽然目前transformer展现出了巨大的发展前景，但是现在的计算机视觉社区还并没有完全掌握vision transformer的内部工作原理，也没有掌握其决策（输出的预测结果）的基础，那对其可解释性的需求就逐渐凸显了出来。因为只有了解了这类模型是如何做出决策的，才不仅可以提高它们的性能，还可以建立对人工智能系统的信任。
所以本文的主要动机就是探索vision transformer的不同可解释性方法，并根据不同算法的研究动机、结构类型以及应用场景进行分类，从而形成了一篇综述文章。
刨析vision transformer
因为刚才提到，vision transformer的结构在各类基础的计算机视觉任务中都取得了非常不错的成绩。所以之后计算机视觉社区涌现出了很多方法来增强它的可解释性。本文我们主要以分类任务为主线，从common attribution methods、attention-based methods、pruning-based methods、inherently explainable methods、other tasks这五个方面中，挑选出最新以及经典的工作进行介绍。这里放一下论文中出现的思维导图，大家可以根据自身感兴趣的内容，进行更加细致的阅读~
本文思维导图
common attribution methods
基于属性方法的解释通常的出发点是对模型的输入特征如何一步一步得到最终输出结果过程的解释。这类方法主要用于衡量模型的预测结果和输入特征之间的相关性。
在这些方法中，例如grad-cam以及integrated gradients算法是直接应用于了基于视觉transformer的算法上。一些其他的方法像shap和layer-wise relevance propagation（lrp）已经被用来探索基于vit的架构上了。但是由于shap这类方法到的计算成本非常大，所以最近的vit shapely算法被设计出来用于适配vit的相关应用研究。
attention-based methods
vision transformer正是得益于其注意力机制使其拥有了强大的特征提取能力。而在基于注意力的可解释性方法中，对注意力权重结果进行可视化则是一种非常有效的方法。本文对其中的几种可视化技术进行介绍
raw attention：该方法顾名思义，就是对网络模型中间层得到的注意力权重图进行可视化，从而对模型的效果进行分析。
attention rollout：该技术通过对网络的不同层中扩展注意力权重来跟踪从输入token到中间embedding之间的信息传输。
attention flow：该方法将注意力图视为一个流量网络，并使用最大流量算法计算从中间embedding到输入token的最大流量值。
partiallrp：该方法是用于可视化vision transformer中的多头注意力机制提出来的，同时还考虑了每个注意力头的重要性。
grad-sam：该方法用于缓解仅依靠原始注意力矩阵来解释模型预测的局限性，促使研究人员将梯度以用于原始的注意力权重中。
beyond intuition：该方法也是一种用于解释注意力的方法，包括注意力感知和推理反馈两个阶段。
最后放一张不同可解释性方法的注意力可视化图，大家可以自行感受一下不同可视化方法的区别。
不同可视化方法的注意力图对比
pruning-based methods
剪枝是一种非常有效的方法，被广泛应用于优化transformer结构的效率和复杂性。剪枝方法通过对冗余或者没用的信息进行删减，从而降低模型的参数量和计算复杂度。虽然剪枝算法侧重于提高模型的计算效率，但是该类算法依旧可以实现对模型的可解释性。
本文中针对基于vision-transformer的剪枝方法，大体可以分成三大类：explicitly explainable（显式可解释）、implicitly explainable（隐式可解释）、possibly explainable（可能可解释）。
explicitly explainable
在基于剪枝的方法当中，有几类方法可以提供简单而且更可解释的模型。
ia-red^2：该方法的目标是在算法模型的计算效率以及可解释性之间实现一个最优的平衡。并且在这个过程当中，保持原有vit算法模型的灵活性。
x-pruner：该方法是一种用于剪枝显著性单元的方法，通过创建一个可解释性的感知掩码来衡量每个可预测单元在预测特定类中的贡献。
vision diffmask：该剪枝方法包括在每个vit层上加入门控机制，通过门控机制，可以实现在屏蔽输入的同时保持模型的输出。除此之外，该算法模型可以清晰地触发剩余图像中的子集，从而实现更好地对模型预测的理解。
implicitly explainable
基于剪枝的方法当中，也有一些经典的方法可以被划分为隐式的可解释性模型类别中。
dynamic vit：该方法采用轻量级预测模块，根据当前的特征去估计每个token的重要性程度。然后将该轻量级的模块加入到vit的不同层中，以分层的方式来修剪冗余的token。最重要的是，该方法通过逐步定位对分类贡献最大的关键图像部分来增强可解释性。
efficient vision transformer（evit）：该方法的核心思想是通过重组token的方式来加速evit。通过计算注意力得分，evit保留最相关的token，同时将不太相关的token融合到另外的token中。同时论文的作者为了评估evit的可解释性，对多个输入图像可视化了token的识别过程。
possibly explainable
虽然这类方法最初并不是为了提高vit的可解释性，但是这类方法为进一步研究模型的可解释性提供了很大的潜力。
patch slimming：通过自上而下的方法来专注图像中的冗余patch来加速vit。该算法选择性的保留了关键补丁的能力来突出重要的视觉特征，从而增强可解释性。
hierarchical visual transformer（hvt）：该方法的引入用于去增强vit的可扩展性和性能。随着模型深度的增加，序列长度逐渐减小。此外，通过将vit块划分为多个阶段，并在每个阶段应用池化操作，显著提高了计算效率。考虑到对模型最重要组成部分的逐渐集中，有机会探索其对增强可解释性和可解释性的潜在影响。
inherently explainable methods
在不同的可解释方法中，有一类方法主要是开发能够内在地解释算法模型，然而，这些模型通常难以达到与更复杂的黑盒模型相同的精度水平。因此，必须在可解释性和性能之间考虑谨慎的平衡。接下来对一些经典的工作进行简要的介绍。
vit-cx：该方法针对vit模型定制的基于掩码的解释方法。这种方法依赖patch embedding以及其对模型输出的影响，而不是聚焦对它们的关注。该方法包括掩码生成和掩码聚合两个阶段，从而提供更有意义的显著性图。
vit-net：该方法是一种新的神经树解码器，通过树形结构和原型来描述决策过程。同时，该算法还可以对结果进行可视化解释。
r-cut：该方法是通过relationship weighted out and cut来增强vit的可解释性。该方法包括两个模块，分别是relationship weighted out和cut模块。前者侧重于从中间层提取特定类的信息，强调相关特征。后者执行细粒度的特征分解。通过对两个模块的集成，可以生成密集的特定于类的可解释性映射。
other tasks
就如同在文章开头提到的，除了分类之外，基于vit的架构对其他cv任务的解释性仍在探索中。有几种专门针对其他任务提出的可解释性方法，接下来就对相关领域的最新工作进行介绍~
ex-vit：该算法是一种基于弱监督语义分割的新型可解释视觉转换器。此外，为了提高可解释性，引入了属性导向损失模块，该模块包含全局级属性导向损失、局部级属性可判别性损失和属性多样性损失三种损失。前者使用注意图来创建可解释的特征，后两者则增强属性学习。
dino：该方法是一种简单的自监督方法，并且是一种不带标签的自蒸馏方法。最终学习到的注意图能够有效地保留图像的语义区域，从而实现可以解释的目的。
generic attention-model：该方法是一种基于transformer架构做预测的算法模型。该方法应用于三种最常用的架构，即纯自注意、自注意与共同注意相结合和编码器-解码器注意。为了检验模型的解释性，作者使用了视觉问答任务，然而，它也适用于其他cv任务，如目标检测和图像分割。
atman：这是一种模态不可知的扰动方法，利用注意机制生成输入相对于输出预测的相关性图。该方法试图通过记忆效率注意操作来理解变形预测。
concept-transformer：该算法通过突出显示用户定义的高级概念的注意分数来生成模型输出的解释，从而确保可信性和可靠性。
未来展望
虽然目前基于transformer架构的算法模型已经在各类计算机视觉任务上取得了非常出色的成绩。但是目前来看，对于如何利用可解释性方法的好处来促进模型调试和改进，以及提高模型的公平性和可靠性，特别是在vit应用中，一直缺乏明显的研究。
所以本文以图像分类任务出发，对现有的基于vision transformer的可解释性算法模型进行归类整理，从而帮助人们更好的理解此类模型架构，希望可以对大家有所帮助。
碳化硅功率MOSFET模型的应用特性分析
Anker安克一体化超级充评测 容量翻倍更加有安全感体积可一手掌控
共话开源，为热爱而聚！2023开放原子全球开源峰会“开发者之夜”节目征集进行中！
这个时代，程序员究竟该学什么语言？
硅晶片的酸刻蚀实验分析
更深层的理解视觉Transformer， 对视觉Transformer的剖析
对于启动Linux时自动启动 LXD 容器的方法解析
2020年3季度，魅族国内市场占有率仅0.3%
解析DNA复制体的结构和工作原理
小米众筹全新4K激光电视 售价仅为同尺寸电视产品的1／10
如何定制差分晶振应用电路方案
Vuzix将推出Micro LED打造的智能眼镜
【世说芯品】Microchip推出针对电动航空应用设计的新型一体化混合动力驱动模块解决方案，可减少开发时间和
莱迪思MachXO2：针对低密度应用的全功能PLD
牵手松下 丰田电动化如虎添翼
业内首款SFP28光收发器IC量产，打造数据中心和无线接入所需的SFP28模块
微型LDO提供2A负载电流应用设计
如何使用数字示波器的自动测量功能？
小米预计今年手机出货量超1亿部
Littelfuse将ESD抑制选择工具添加至在线iDesign电路保护选择平台
目前基于transformer结构的算法模型已经在计算机视觉（cv）领域展现出了巨大的影响力。他们在很多基础的计算机视觉任务上都超过了之前的卷积神经网络（cnn）算法模型，下面是笔者找到的最新的在不同基础计算机视觉任务上的leaderboard榜单排名，通过leaderboard可以看到，基于transformer算法模型在各类计算机视觉任务上的统治地位。
图像分类任务
首先是在imagenet上的leaderboard，通过榜单可以看出，前五名当中，每个模型都使用了transformer结构，而cnn结构只有部分使用，或者采用和transformer相结合的方式。
图像分类任务的leaderboard
目标检测任务
接下来是在coco test-dev上的leaderboard，通过榜单可以看出，前五名当中，一半以上都是基于detr这类算法结构进行延伸的。
目标检测任务的leaderboard
语义分割任务
最后是在ade20k val上的leaderboard，通过榜单也可以看出，在榜单的前几名中，transformer结构依旧占据是当前的主力军。
语义分割任务的leaderboard
虽然目前transformer展现出了巨大的发展前景，但是现在的计算机视觉社区还并没有完全掌握vision transformer的内部工作原理，也没有掌握其决策（输出的预测结果）的基础，那对其可解释性的需求就逐渐凸显了出来。因为只有了解了这类模型是如何做出决策的，才不仅可以提高它们的性能，还可以建立对人工智能系统的信任。
所以本文的主要动机就是探索vision transformer的不同可解释性方法，并根据不同算法的研究动机、结构类型以及应用场景进行分类，从而形成了一篇综述文章。
刨析vision transformer
因为刚才提到，vision transformer的结构在各类基础的计算机视觉任务中都取得了非常不错的成绩。所以之后计算机视觉社区涌现出了很多方法来增强它的可解释性。本文我们主要以分类任务为主线，从common attribution methods、attention-based methods、pruning-based methods、inherently explainable methods、other tasks这五个方面中，挑选出最新以及经典的工作进行介绍。这里放一下论文中出现的思维导图，大家可以根据自身感兴趣的内容，进行更加细致的阅读~
本文思维导图
common attribution methods
基于属性方法的解释通常的出发点是对模型的输入特征如何一步一步得到最终输出结果过程的解释。这类方法主要用于衡量模型的预测结果和输入特征之间的相关性。
在这些方法中，例如grad-cam以及integrated gradients算法是直接应用于了基于视觉transformer的算法上。一些其他的方法像shap和layer-wise relevance propagation（lrp）已经被用来探索基于vit的架构上了。但是由于shap这类方法到的计算成本非常大，所以最近的vit shapely算法被设计出来用于适配vit的相关应用研究。
attention-based methods
vision transformer正是得益于其注意力机制使其拥有了强大的特征提取能力。而在基于注意力的可解释性方法中，对注意力权重结果进行可视化则是一种非常有效的方法。本文对其中的几种可视化技术进行介绍
raw attention：该方法顾名思义，就是对网络模型中间层得到的注意力权重图进行可视化，从而对模型的效果进行分析。
attention rollout：该技术通过对网络的不同层中扩展注意力权重来跟踪从输入token到中间embedding之间的信息传输。
attention flow：该方法将注意力图视为一个流量网络，并使用最大流量算法计算从中间embedding到输入token的最大流量值。
partiallrp：该方法是用于可视化vision transformer中的多头注意力机制提出来的，同时还考虑了每个注意力头的重要性。
grad-sam：该方法用于缓解仅依靠原始注意力矩阵来解释模型预测的局限性，促使研究人员将梯度以用于原始的注意力权重中。
beyond intuition：该方法也是一种用于解释注意力的方法，包括注意力感知和推理反馈两个阶段。
最后放一张不同可解释性方法的注意力可视化图，大家可以自行感受一下不同可视化方法的区别。
不同可视化方法的注意力图对比
pruning-based methods
剪枝是一种非常有效的方法，被广泛应用于优化transformer结构的效率和复杂性。剪枝方法通过对冗余或者没用的信息进行删减，从而降低模型的参数量和计算复杂度。虽然剪枝算法侧重于提高模型的计算效率，但是该类算法依旧可以实现对模型的可解释性。
本文中针对基于vision-transformer的剪枝方法，大体可以分成三大类：explicitly explainable（显式可解释）、implicitly explainable（隐式可解释）、possibly explainable（可能可解释）。
explicitly explainable
在基于剪枝的方法当中，有几类方法可以提供简单而且更可解释的模型。
ia-red^2：该方法的目标是在算法模型的计算效率以及可解释性之间实现一个最优的平衡。并且在这个过程当中，保持原有vit算法模型的灵活性。
x-pruner：该方法是一种用于剪枝显著性单元的方法，通过创建一个可解释性的感知掩码来衡量每个可预测单元在预测特定类中的贡献。
vision diffmask：该剪枝方法包括在每个vit层上加入门控机制，通过门控机制，可以实现在屏蔽输入的同时保持模型的输出。除此之外，该算法模型可以清晰地触发剩余图像中的子集，从而实现更好地对模型预测的理解。
implicitly explainable
基于剪枝的方法当中，也有一些经典的方法可以被划分为隐式的可解释性模型类别中。
dynamic vit：该方法采用轻量级预测模块，根据当前的特征去估计每个token的重要性程度。然后将该轻量级的模块加入到vit的不同层中，以分层的方式来修剪冗余的token。最重要的是，该方法通过逐步定位对分类贡献最大的关键图像部分来增强可解释性。
efficient vision transformer（evit）：该方法的核心思想是通过重组token的方式来加速evit。通过计算注意力得分，evit保留最相关的token，同时将不太相关的token融合到另外的token中。同时论文的作者为了评估evit的可解释性，对多个输入图像可视化了token的识别过程。
possibly explainable
虽然这类方法最初并不是为了提高vit的可解释性，但是这类方法为进一步研究模型的可解释性提供了很大的潜力。
patch slimming：通过自上而下的方法来专注图像中的冗余patch来加速vit。该算法选择性的保留了关键补丁的能力来突出重要的视觉特征，从而增强可解释性。
hierarchical visual transformer（hvt）：该方法的引入用于去增强vit的可扩展性和性能。随着模型深度的增加，序列长度逐渐减小。此外，通过将vit块划分为多个阶段，并在每个阶段应用池化操作，显著提高了计算效率。考虑到对模型最重要组成部分的逐渐集中，有机会探索其对增强可解释性和可解释性的潜在影响。
inherently explainable methods
在不同的可解释方法中，有一类方法主要是开发能够内在地解释算法模型，然而，这些模型通常难以达到与更复杂的黑盒模型相同的精度水平。因此，必须在可解释性和性能之间考虑谨慎的平衡。接下来对一些经典的工作进行简要的介绍。
vit-cx：该方法针对vit模型定制的基于掩码的解释方法。这种方法依赖patch embedding以及其对模型输出的影响，而不是聚焦对它们的关注。该方法包括掩码生成和掩码聚合两个阶段，从而提供更有意义的显著性图。
vit-net：该方法是一种新的神经树解码器，通过树形结构和原型来描述决策过程。同时，该算法还可以对结果进行可视化解释。
r-cut：该方法是通过relationship weighted out and cut来增强vit的可解释性。该方法包括两个模块，分别是relationship weighted out和cut模块。前者侧重于从中间层提取特定类的信息，强调相关特征。后者执行细粒度的特征分解。通过对两个模块的集成，可以生成密集的特定于类的可解释性映射。
other tasks
就如同在文章开头提到的，除了分类之外，基于vit的架构对其他cv任务的解释性仍在探索中。有几种专门针对其他任务提出的可解释性方法，接下来就对相关领域的最新工作进行介绍~
ex-vit：该算法是一种基于弱监督语义分割的新型可解释视觉转换器。此外，为了提高可解释性，引入了属性导向损失模块，该模块包含全局级属性导向损失、局部级属性可判别性损失和属性多样性损失三种损失。前者使用注意图来创建可解释的特征，后两者则增强属性学习。
dino：该方法是一种简单的自监督方法，并且是一种不带标签的自蒸馏方法。最终学习到的注意图能够有效地保留图像的语义区域，从而实现可以解释的目的。
generic attention-model：该方法是一种基于transformer架构做预测的算法模型。该方法应用于三种最常用的架构，即纯自注意、自注意与共同注意相结合和编码器-解码器注意。为了检验模型的解释性，作者使用了视觉问答任务，然而，它也适用于其他cv任务，如目标检测和图像分割。
atman：这是一种模态不可知的扰动方法，利用注意机制生成输入相对于输出预测的相关性图。该方法试图通过记忆效率注意操作来理解变形预测。
concept-transformer：该算法通过突出显示用户定义的高级概念的注意分数来生成模型输出的解释，从而确保可信性和可靠性。
未来展望
虽然目前基于transformer架构的算法模型已经在各类计算机视觉任务上取得了非常出色的成绩。但是目前来看，对于如何利用可解释性方法的好处来促进模型调试和改进，以及提高模型的公平性和可靠性，特别是在vit应用中，一直缺乏明显的研究。
所以本文以图像分类任务出发，对现有的基于vision transformer的可解释性算法模型进行归类整理，从而帮助人们更好的理解此类模型架构，希望可以对大家有所帮助。
碳化硅功率MOSFET模型的应用特性分析
Anker安克一体化超级充评测 容量翻倍更加有安全感体积可一手掌控
共话开源，为热爱而聚！2023开放原子全球开源峰会“开发者之夜”节目征集进行中！
这个时代，程序员究竟该学什么语言？
硅晶片的酸刻蚀实验分析
更深层的理解视觉Transformer， 对视觉Transformer的剖析
对于启动Linux时自动启动 LXD 容器的方法解析
2020年3季度，魅族国内市场占有率仅0.3%
解析DNA复制体的结构和工作原理
小米众筹全新4K激光电视 售价仅为同尺寸电视产品的1／10
如何定制差分晶振应用电路方案
Vuzix将推出Micro LED打造的智能眼镜
【世说芯品】Microchip推出针对电动航空应用设计的新型一体化混合动力驱动模块解决方案，可减少开发时间和
莱迪思MachXO2：针对低密度应用的全功能PLD
牵手松下 丰田电动化如虎添翼
业内首款SFP28光收发器IC量产，打造数据中心和无线接入所需的SFP28模块
微型LDO提供2A负载电流应用设计
如何使用数字示波器的自动测量功能？
小米预计今年手机出货量超1亿部
Littelfuse将ESD抑制选择工具添加至在线iDesign电路保护选择平台