基于DINO知识蒸馏架构的分层级联Transformer网络
来自复旦大学、上海市智能信息处理重点实验室和香港大学的研究者提出了一种基于 dino 知识蒸馏架构的分层级联 transformer (hctransformer) 网络。
小样本学习是指从非常少量的标记数据中进行学习的问题，它有望降低标记成本，实现低成本、快速的模型部署，缩小人类智能与机器模型之间的差距。小样本学习的关键问题是如何高效地利用隐藏在标注数据中的丰富信息中进行学习。近年来，视觉 transformer (vit [1]) 作为计算机视觉领域的新兴架构，因其在很多主流任务中都取得了反超 cnn 的表现而受到广泛关注。我们注意到 vit 在训练时易于陷入过拟合的状态而表现出较差的性能，现有的研究大部分关注其在大、中型数据集上的表现，而几乎没有将其应用于针对更加敏感于过拟合的小样本任务上的相关研究。
为了缓解这一问题，提高小数据集下数据的利用效率，来自复旦大学、上海市智能信息处理重点实验室和香港大学的研究者提出了一种基于 dino [2] 知识蒸馏架构的分层级联 transformer (hctransformer) 网络，通过谱聚类 tokens 池化以利用图像的内在结构来减少前景内容和背景噪声的模糊性，同时也提供了对不同数据集对于 patch token 切分大小的不同需求的适用性选择；并利用一种非传统的监督方式，通过标签的潜在属性在图像标签中找到更丰富的视觉信息，而非简单地学习由标签分类的视觉概念。实验表明，本文的方法在各个流行的 few-shot classification 数据集上均取得了 sota 性能。
论文链接：https://arxiv.org/abs/2203.09064
代码链接：https://github.com/stomachcold/hctransformers
目前，这项研究已被 cvpr2022 接收，完整训练代码及模型已经开源。 方法
图 1：方法整体架构。包括三个级联的 transformer 网络，每一阶段都是一个 teacher-student 的知识蒸馏结构。 dino 自监督架构 dino 是一种基于知识蒸馏架构的自监督网络，和 byol [3] 类似，但 dino 使用 transformer 代替了 byol 中的 cnn。其中 student 模型和 teacher 模型的结构是完全一样的。 在训练过程中，teacher 模型并不通过输入来更新参数，它的权重更新是通过对 student 模型权重的 ema（exponential moving average ） 来更新的。此外，teacher 和 student 都有独立的数据增强方式。在这种设定下，整个网络会把 teacher 网络的输出当作是 student 网络的标签，从而指导全局更新。因为网络没有直接使用图片的类别标签，所以可以支持使用较高维度的特征（如 65536）而不必局限于图像的类别数量，使得网络可以学习到更加细腻的特征表示。但在自监督的架构下，由于小样本学习的数据集较小，直接应用 dino 进行训练很难取得较好的效果。
属性代理监督
基于这一前提，本文设法将 dino 改成有监督模型，但 transformer 在小数据集上直接使用 one-hot 向量作为标签，不仅需要将网络输出维度改成图片类别数导致学习相对粗糙，而且会产生较严重的过拟合现象。因此，本文针对小样本任务，为 transformer 设计了一种属性代理监督的传播方案，以避免传统监督带来的局限性。 具体来说，对于标签空间中的每个视觉概念 y，我们的目标是为其学习一个语义属性的代理向量，进而使同一个标签的输出均向这个代理向量在向量空间中靠拢，也同时影响到该代理向量的更新。其中，y 是输入数据的标签，d' 是整个网络的输出维度。
在 transformer 中，输入图片在通过 encoder 后会得到一个 class token 和 n 个 patch tokens。一般来说在分类任务中，只会单一使用某一种token作为最终输出结果进行监督，而丢弃另一种token。相较于传统设计，本文将 class token 和 patch tokens 同时都用于监督，以更大限度提高数据利用率。
class token 监督
图片输入到 dino 网络中，会经过 encoder 后生成一个 class token 和 n 个的 patch tokens，之后 class token 再通过一个 mlp 得到最终的输出。不同于传统监督方式，由于 dino 本身的自监督设计，导致最终的输出并不是一个 one-hot 向量，而是一个更高维度的向量。因此我们为每一个标签设计了一个维度的可学习向量作为该类别的代理属性，通过 kl 散度将同一标签的输出聚拢。
在公式 1 中，是 student 网络中的 class token 经过 mlp 的最终输出，是该标签对应的语义属性代理向量。为 kl 散度计算。 patch tokens 监督 在 transformer 中，由于缺少 patch 级别的标签信息，patch tokens 一般很难与 class token 同时用来监督网络。为了对 patch tokens 进行监督，我们把 n 个 patch tokens 用经过 softmax 操作后的注意力矩阵进行加权合并计算，得到一个全局 token，然后采用和 class token 相同的监督方式对该全局 token 进行监督。
其中，为 class token 对其他 patch tokens 的注意力矩阵，是 encoder 后输出的 patch tokens，为加权合并后的全局 token。
公式 3 与公式 1 采用相同的策略。 谱聚类 tokens 池化 许多工作, 如 groupfpn [4] 和 glom [5] 都证明了多尺度层次结构对 cnn 和 transformer 都有效。本文的设计目的是为了将层次结构嵌入到 transformer 中来提高网络对特征的判别能力。与 swin transformer [4] 使用固定的网格池化方案不同，本文利用不规则网格池化方法来更灵活地匹配图像结构。由于 transformer 将在 tokens 之间生成自注意力矩阵，因此它为谱聚类算法 [5] 提供了强大的先验经验，以根据语义相似性和空间布局对 tokens 进行分割合并。因此我们提出了一种基于谱聚类的池化方法，称为谱聚类 tokens 池化。 为了保持各 patch 之间原有的位置关系信息，本文对于 vit 中的 n 个 patch tokens 之间的注意力矩阵加上了邻接限制，使每个 patch 只和相邻的 8 个 patch 有相似性。
其中，a_p 是 patch tokens 的注意力矩阵，h 是包含位置信息的邻接矩阵。 然后我们对 s 矩阵做一个 softmax 操作得到我们最终需要的 s' 矩阵作为谱聚类 tokens 池化的输入。
如上算法所示，每一次池化后我们将得到同类聚类数量减半的新 tokens。 在本文的网络设计中，训练阶段首先会训练第一阶段的 transformer 网络来得到一个有较好表征能力的特征生成器，随后再引入池化操作，加上二三阶段 transformer 共同训练。最终在三阶段中通过验证集挑选出最优结果作为最终输出。
图 2：谱聚类池化的可视化图
实验结果
我们分别在四个流行的 few-shot classification 数据集：mini-imagenet, tiered-imagenet, cifar-fs 和 fc100 上做了详尽的实验。
最终结果如表 1,2,3 所示：相比于现有的 sota 模型，hctransformers 在 1-shot 和 5-shot 的结果上都显示出明显的性能优势。例如，如表 1 所示，在 miniimagnet 上，hctransformers 比最优 sota 结果分别高出 5.37%(1-shot) 和 4.03%(5-shot)。在 tieredimagenet 上，我们的方法在 1-shot 和 5-shot 上的表现分别比最好的 dc [6] 方法高出 1.48% 和 1.81%。与 dc 相比，我们不需要从 base 训练集中借用类某类图像的统计信息，并且使用更轻量级的分类器。此外，我们的方法和第三好的方法之间的差距是 5.09%，这也进一步验证了我们的贡献。 这样令人印象深刻的结果要归功于我们的网络结构，它能学习到数据中固有的内在信息，并具有良好的泛化能力。表 2 和表 3 分别显示了在小分辨率数据集 cifar-fs 和 fc100 上的结果。hctransformers 在这些低分辨率设置中显示出和 sota 类似或更好的结果: 在 cifar-fs 上提高了 1.02%(1-shot) 和 0.76%(5-shot); 在 fc100 上提高了 0.51%(1-shot) 和 1.12%(5-shot)。在小分辨率数据集上，我们并没有超越以前的 sota 方法很多，我们将其归因于 vit 的 patch 机制：当图像分辨率较小时，如 32*32，每一个 patch 所包含的实际像素过少，很难提取出有用的特征表示。deepemd [7] 的实验也佐证了 patch cropping 会对小分辨率图像产生负面影响。即便如此，我们的方法仍然在这两个基准上都取得了新的 sota 结果。
参考文献
[1]. alexey dosovitskiy, lucas beyer, alexander kolesnikov,dirk weissenborn, xiaohua zhai, thomas unterthiner,mostafa dehghani, matthias minderer, georg heigold, sylvain gelly, jakob uszkoreit, and neil houlsby. an imageis worth 16x16 words: transformers for image recognition at scale. in 9th international conference on learning representations, iclr 2021, virtual event, austria, may 3-7, 2021.openreview.net,2021. 1, 2, 3, 7, 8
[2]. mathilde caron, hugo touvron, ishan misra, herv´e j´egou, julien mairal, piotr bojanowski, and armand joulin. emerging properties in self-supervised vision transformers. arxiv preprint arxiv:2104.14294, 2021. 3, 5
[3]. jean-bastien grill, florian strub, florent altch´e, corentin tallec, pierre h.richemond, elena buchatskaya, carl doersch, bernardo ´avila pires, zhaohan guo, mohammad gheshlaghi azar, bilal piot, koray kavukcuoglu, r´emi munos, and michal valko. bootstrap your own latent-a new approach to self-supervised learning. in hugo larochelle, marc’aurelio ranzato, raia hadsell, maria- florina balcan, and hsuan-tien lin, editors, advances in neural information processing systems 33: annual conference on neural information processing systems 2020, neurips 2020, december 6-12, 2020, virtual, 2020. 3
[4]. gangming zhao, weifeng ge, and yizhou yu. graphfpn:graph feature pyramid network for object detection. in proceedings of the ieee/cvf international conference on computer vision, pages 2763–2772, 2021. 1
[5]. geoffrey hinton. how to represent part-whole hierarchies in a neural network. arxiv preprint arxiv:2102.12627, 2021. 1
[6]. ze liu, yutong lin, yue cao, han hu, yixuan wei, zheng zhang, stephen lin, and baining guo. swin transformer: hierarchical vision transformer using shifted windows. international conference on computer vision (iccv), 2021. 2, 4
[7]. andrew y ng, michael i jordan, and yair weiss. on spectral clustering: analysis and an algorithm. in advances in neural information processing systems, pages 849–856, 2002. 1, 5
[8]. shuo yang, lu liu, and min xu. free lunch for few-shot learning: distribution calibration. in international conference on learning representations (iclr), 2021. 6
[9]. chi zhang, yujun cai, guosheng lin, and chunhua shen. deepemd: few-shot image classification with differentiable earth mover’s distance and structured classifiers. in ieee/cvf conference on computer vision and pattern recognition (cvpr), june 2020. 6, 7, 8
语音模块助力晾衣架智能化升级
如何把数字格式化成字符串
恩智浦EdgeLock A5000让安全器件开发更轻松
电力行业浪涌保护器防雷应用方案
运营商是否真的出现无法平衡发展4G与5G？
基于DINO知识蒸馏架构的分层级联Transformer网络
如何实现电机与变频器的匹配
Modbus转Profinet网关的解决方案推荐
五要素微气象仪的介绍，它的产品特点是什么
NP2300HR(20v n沟道增强型MOSFET)
如何为波特图设置频率响应分析仪
2020年Q1季度显卡内存价格上涨逾5%，年成长量有机会突破15%
芯驰科技发布车规MCU E3“控之芯”系列产品
苹果采用蓝牙技术的无线耳机已在市场占主导地位
SD-WAN是什么，为什么它将会彻底改变现有网络
一文了解智慧物流这一概念
oppor11什么时候上市?oppor11最新消息:最美拍照手机6月发布,跟我一起来体现oppor11带来的黑科技
管道监测压力传感器可减少泄漏造成的环境污染
基于Psoc6开发板的OLED时钟设计方案
工控主板应用范围
小样本学习是指从非常少量的标记数据中进行学习的问题，它有望降低标记成本，实现低成本、快速的模型部署，缩小人类智能与机器模型之间的差距。小样本学习的关键问题是如何高效地利用隐藏在标注数据中的丰富信息中进行学习。近年来，视觉 transformer (vit [1]) 作为计算机视觉领域的新兴架构，因其在很多主流任务中都取得了反超 cnn 的表现而受到广泛关注。我们注意到 vit 在训练时易于陷入过拟合的状态而表现出较差的性能，现有的研究大部分关注其在大、中型数据集上的表现，而几乎没有将其应用于针对更加敏感于过拟合的小样本任务上的相关研究。
为了缓解这一问题，提高小数据集下数据的利用效率，来自复旦大学、上海市智能信息处理重点实验室和香港大学的研究者提出了一种基于 dino [2] 知识蒸馏架构的分层级联 transformer (hctransformer) 网络，通过谱聚类 tokens 池化以利用图像的内在结构来减少前景内容和背景噪声的模糊性，同时也提供了对不同数据集对于 patch token 切分大小的不同需求的适用性选择；并利用一种非传统的监督方式，通过标签的潜在属性在图像标签中找到更丰富的视觉信息，而非简单地学习由标签分类的视觉概念。实验表明，本文的方法在各个流行的 few-shot classification 数据集上均取得了 sota 性能。
论文链接：https://arxiv.org/abs/2203.09064
代码链接：https://github.com/stomachcold/hctransformers
目前，这项研究已被 cvpr2022 接收，完整训练代码及模型已经开源。 方法
图 1：方法整体架构。包括三个级联的 transformer 网络，每一阶段都是一个 teacher-student 的知识蒸馏结构。 dino 自监督架构 dino 是一种基于知识蒸馏架构的自监督网络，和 byol [3] 类似，但 dino 使用 transformer 代替了 byol 中的 cnn。其中 student 模型和 teacher 模型的结构是完全一样的。 在训练过程中，teacher 模型并不通过输入来更新参数，它的权重更新是通过对 student 模型权重的 ema（exponential moving average ） 来更新的。此外，teacher 和 student 都有独立的数据增强方式。在这种设定下，整个网络会把 teacher 网络的输出当作是 student 网络的标签，从而指导全局更新。因为网络没有直接使用图片的类别标签，所以可以支持使用较高维度的特征（如 65536）而不必局限于图像的类别数量，使得网络可以学习到更加细腻的特征表示。但在自监督的架构下，由于小样本学习的数据集较小，直接应用 dino 进行训练很难取得较好的效果。
属性代理监督
基于这一前提，本文设法将 dino 改成有监督模型，但 transformer 在小数据集上直接使用 one-hot 向量作为标签，不仅需要将网络输出维度改成图片类别数导致学习相对粗糙，而且会产生较严重的过拟合现象。因此，本文针对小样本任务，为 transformer 设计了一种属性代理监督的传播方案，以避免传统监督带来的局限性。 具体来说，对于标签空间中的每个视觉概念 y，我们的目标是为其学习一个语义属性的代理向量，进而使同一个标签的输出均向这个代理向量在向量空间中靠拢，也同时影响到该代理向量的更新。其中，y 是输入数据的标签，d' 是整个网络的输出维度。
在 transformer 中，输入图片在通过 encoder 后会得到一个 class token 和 n 个 patch tokens。一般来说在分类任务中，只会单一使用某一种token作为最终输出结果进行监督，而丢弃另一种token。相较于传统设计，本文将 class token 和 patch tokens 同时都用于监督，以更大限度提高数据利用率。
class token 监督
图片输入到 dino 网络中，会经过 encoder 后生成一个 class token 和 n 个的 patch tokens，之后 class token 再通过一个 mlp 得到最终的输出。不同于传统监督方式，由于 dino 本身的自监督设计，导致最终的输出并不是一个 one-hot 向量，而是一个更高维度的向量。因此我们为每一个标签设计了一个维度的可学习向量作为该类别的代理属性，通过 kl 散度将同一标签的输出聚拢。
在公式 1 中，是 student 网络中的 class token 经过 mlp 的最终输出，是该标签对应的语义属性代理向量。为 kl 散度计算。 patch tokens 监督 在 transformer 中，由于缺少 patch 级别的标签信息，patch tokens 一般很难与 class token 同时用来监督网络。为了对 patch tokens 进行监督，我们把 n 个 patch tokens 用经过 softmax 操作后的注意力矩阵进行加权合并计算，得到一个全局 token，然后采用和 class token 相同的监督方式对该全局 token 进行监督。
其中，为 class token 对其他 patch tokens 的注意力矩阵，是 encoder 后输出的 patch tokens，为加权合并后的全局 token。
公式 3 与公式 1 采用相同的策略。 谱聚类 tokens 池化 许多工作, 如 groupfpn [4] 和 glom [5] 都证明了多尺度层次结构对 cnn 和 transformer 都有效。本文的设计目的是为了将层次结构嵌入到 transformer 中来提高网络对特征的判别能力。与 swin transformer [4] 使用固定的网格池化方案不同，本文利用不规则网格池化方法来更灵活地匹配图像结构。由于 transformer 将在 tokens 之间生成自注意力矩阵，因此它为谱聚类算法 [5] 提供了强大的先验经验，以根据语义相似性和空间布局对 tokens 进行分割合并。因此我们提出了一种基于谱聚类的池化方法，称为谱聚类 tokens 池化。 为了保持各 patch 之间原有的位置关系信息，本文对于 vit 中的 n 个 patch tokens 之间的注意力矩阵加上了邻接限制，使每个 patch 只和相邻的 8 个 patch 有相似性。
其中，a_p 是 patch tokens 的注意力矩阵，h 是包含位置信息的邻接矩阵。 然后我们对 s 矩阵做一个 softmax 操作得到我们最终需要的 s' 矩阵作为谱聚类 tokens 池化的输入。
如上算法所示，每一次池化后我们将得到同类聚类数量减半的新 tokens。 在本文的网络设计中，训练阶段首先会训练第一阶段的 transformer 网络来得到一个有较好表征能力的特征生成器，随后再引入池化操作，加上二三阶段 transformer 共同训练。最终在三阶段中通过验证集挑选出最优结果作为最终输出。
图 2：谱聚类池化的可视化图
实验结果
我们分别在四个流行的 few-shot classification 数据集：mini-imagenet, tiered-imagenet, cifar-fs 和 fc100 上做了详尽的实验。
最终结果如表 1,2,3 所示：相比于现有的 sota 模型，hctransformers 在 1-shot 和 5-shot 的结果上都显示出明显的性能优势。例如，如表 1 所示，在 miniimagnet 上，hctransformers 比最优 sota 结果分别高出 5.37%(1-shot) 和 4.03%(5-shot)。在 tieredimagenet 上，我们的方法在 1-shot 和 5-shot 上的表现分别比最好的 dc [6] 方法高出 1.48% 和 1.81%。与 dc 相比，我们不需要从 base 训练集中借用类某类图像的统计信息，并且使用更轻量级的分类器。此外，我们的方法和第三好的方法之间的差距是 5.09%，这也进一步验证了我们的贡献。 这样令人印象深刻的结果要归功于我们的网络结构，它能学习到数据中固有的内在信息，并具有良好的泛化能力。表 2 和表 3 分别显示了在小分辨率数据集 cifar-fs 和 fc100 上的结果。hctransformers 在这些低分辨率设置中显示出和 sota 类似或更好的结果: 在 cifar-fs 上提高了 1.02%(1-shot) 和 0.76%(5-shot); 在 fc100 上提高了 0.51%(1-shot) 和 1.12%(5-shot)。在小分辨率数据集上，我们并没有超越以前的 sota 方法很多，我们将其归因于 vit 的 patch 机制：当图像分辨率较小时，如 32*32，每一个 patch 所包含的实际像素过少，很难提取出有用的特征表示。deepemd [7] 的实验也佐证了 patch cropping 会对小分辨率图像产生负面影响。即便如此，我们的方法仍然在这两个基准上都取得了新的 sota 结果。
参考文献
[1]. alexey dosovitskiy, lucas beyer, alexander kolesnikov,dirk weissenborn, xiaohua zhai, thomas unterthiner,mostafa dehghani, matthias minderer, georg heigold, sylvain gelly, jakob uszkoreit, and neil houlsby. an imageis worth 16x16 words: transformers for image recognition at scale. in 9th international conference on learning representations, iclr 2021, virtual event, austria, may 3-7, 2021.openreview.net,2021. 1, 2, 3, 7, 8
[2]. mathilde caron, hugo touvron, ishan misra, herv´e j´egou, julien mairal, piotr bojanowski, and armand joulin. emerging properties in self-supervised vision transformers. arxiv preprint arxiv:2104.14294, 2021. 3, 5
[3]. jean-bastien grill, florian strub, florent altch´e, corentin tallec, pierre h.richemond, elena buchatskaya, carl doersch, bernardo ´avila pires, zhaohan guo, mohammad gheshlaghi azar, bilal piot, koray kavukcuoglu, r´emi munos, and michal valko. bootstrap your own latent-a new approach to self-supervised learning. in hugo larochelle, marc’aurelio ranzato, raia hadsell, maria- florina balcan, and hsuan-tien lin, editors, advances in neural information processing systems 33: annual conference on neural information processing systems 2020, neurips 2020, december 6-12, 2020, virtual, 2020. 3
[4]. gangming zhao, weifeng ge, and yizhou yu. graphfpn:graph feature pyramid network for object detection. in proceedings of the ieee/cvf international conference on computer vision, pages 2763–2772, 2021. 1
[5]. geoffrey hinton. how to represent part-whole hierarchies in a neural network. arxiv preprint arxiv:2102.12627, 2021. 1
[6]. ze liu, yutong lin, yue cao, han hu, yixuan wei, zheng zhang, stephen lin, and baining guo. swin transformer: hierarchical vision transformer using shifted windows. international conference on computer vision (iccv), 2021. 2, 4
[7]. andrew y ng, michael i jordan, and yair weiss. on spectral clustering: analysis and an algorithm. in advances in neural information processing systems, pages 849–856, 2002. 1, 5
[8]. shuo yang, lu liu, and min xu. free lunch for few-shot learning: distribution calibration. in international conference on learning representations (iclr), 2021. 6
[9]. chi zhang, yujun cai, guosheng lin, and chunhua shen. deepemd: few-shot image classification with differentiable earth mover’s distance and structured classifiers. in ieee/cvf conference on computer vision and pattern recognition (cvpr), june 2020. 6, 7, 8
语音模块助力晾衣架智能化升级
如何把数字格式化成字符串
恩智浦EdgeLock A5000让安全器件开发更轻松
电力行业浪涌保护器防雷应用方案
运营商是否真的出现无法平衡发展4G与5G？
基于DINO知识蒸馏架构的分层级联Transformer网络
如何实现电机与变频器的匹配
Modbus转Profinet网关的解决方案推荐
五要素微气象仪的介绍，它的产品特点是什么
NP2300HR(20v n沟道增强型MOSFET)
如何为波特图设置频率响应分析仪
2020年Q1季度显卡内存价格上涨逾5%，年成长量有机会突破15%
芯驰科技发布车规MCU E3“控之芯”系列产品
苹果采用蓝牙技术的无线耳机已在市场占主导地位
SD-WAN是什么，为什么它将会彻底改变现有网络
一文了解智慧物流这一概念
oppor11什么时候上市?oppor11最新消息:最美拍照手机6月发布,跟我一起来体现oppor11带来的黑科技
管道监测压力传感器可减少泄漏造成的环境污染
基于Psoc6开发板的OLED时钟设计方案
工控主板应用范围