基础模型自监督预训练的数据之谜：大量数据究竟是福还是祸？
大型语言模型如 chatgpt 的成功彰显了海量数据在捕捉语言模式和知识方面的巨大潜力，这也推动了基于大量数据的视觉模型研究。在计算视觉领域，标注数据通常难以获取，自监督学习成为预训练的主流方法。然而，在自监督预训练中，是否数据越多越好？数据增广是否始终有效？华为诺亚方舟实验室与香港科技大学的研究团队近期发现：主流自监督预训练方法如 masked autoencoder (mae) 存在负迁移现象，即在预训练过程中包含无关数据可能导致下游任务性能下降。面向 mae 的有效数据增强策略仍有待探讨。区别于对比学习高度依赖数据增强策略，在 mae 中采用数据增强策略，如简单的图像混合，可能会导致互信息 (mi) 的增加而降低模型性能。为解开这些数据之谜，研究团队提出了一种新颖的预训练范式——mixture of cluster-conditional experts (moce)。借鉴 mixture-of-experts (moe) 的概念，moce 可以通过一次预训练，为不同下游任务提供定制化模型。在多个下游任务中，包括图像分类、目标检测和分割等，moce 超越了传统的 mae 预训练方法。该研究成果已被 iclr 2023 会议接收为 spotlight 论文。 论文标题： task-customized masked autoencoder via mixture of cluster-conditional experts 论文链接：
https://openreview.net/forum?id=j8iiqum33s
此外，团队还提出了一种名为混合自编码器 (mixedae) 的简单而有效的方法，将图像混合应用于 mae 数据增强。mixedae 在各种下游任务（包括图像分类、语义分割和目标检测）上实现了最先进的迁移性能，同时保持了显著的效率。这是第一个从任务设计的角度将图像混合作为有效数据增强策略应用于基于纯自编码器结构的 masked image modeling (mim) 的研究。该工作已被 cvpr 2023 会议接收。
论文标题： mixed autoencoder for self-supervised visual representation learning 论文链接：
https://arxiv.org/abs/2303.17152 研究背景
在机器学习领域，预训练模型已经成为一种流行的方法，可以提高各种下游任务的性能。然而，研究发现，自监督预训练存在的负迁移现象。诺亚 ai 基础理论团队的前期工作 sdr (aaai 2022) [1] 首次指出自监督预训练的负迁移问题，并提供初步解决方案。具体来说，负迁移是指在预训练过程中使用的数据与下游任务的数据分布不同，导致预训练模型在下游任务上的性能下降。在自监督学习中，模型在无标签数据上进行预训练，学习数据的潜在特征和表示。然而，当预训练数据与下游任务的数据分布存在显著差异时，模型可能学到与下游任务无关或甚至有害的特征。
相关工作1. 自监督预训练的负迁移现象
▲ 图一：我们用imagenet的两个子集，split-a和split-b，训练两个mae模型，和全量数据集训练的模型相比较，后者仅在2个数据集上达到了最优。这说明，增大数据量并不总是带来更强的迁移效果。
以目前较为流行的自监督学习算法 mae 为例，我们评估了使用不同语义数据进行预训练的 mae 模型在迁移性能上的表现。我们将 imagenet 数据集分为两个不相交的子集 split-a 和 split-b，根据 wordnet 树中标签的语义差异进行划分。split-a 主要包含无生命物体（如汽车和飞机），而 split-b 则主要涉及有机体（如植物和动物）。接着，我们在 split-a、split-b 和完整的 imagenet 数据集上分别进行了 mae 预训练，并在 11 个下游任务上评估了这三个模型的性能。如图一所示，在仅含 2 个语义丰富数据集（caltech，voc）的情况下，基于完整 imagenet 训练的 mae 获得了最佳的迁移效果；在非生物下游数据集 (aircraft，cars，sun，dtd) 上，split-a 的表现更佳；而在包含 flowers，food，pets，cifar10，cifar100 等数据集上，split-b 的表现更优。这表明，当下游任务与预训练数据分布不同时，与任务无关的预训练信息可能导致负迁移，从而限制了 mae 模型的可扩展性。换言之，若一个 mae 模型的预训练数据去除了与下游任务数据集相似度较低的部分，则其性能可能优于包含这些无关数据的预训练模型。这突显了开发针对特定下游任务的定制化预训练方法以避免负迁移现象的重要性。2. 自监督数据增强难题在自监督预训练中，与依赖数据增强的对比学习不同，我们发现传统数据增强手段可能会削弱 mae 的模型性能。以图像混合增强（image mixing）为例，设随机变量 x1 和 x2 表示两个输入图像，m 表示随机生成的掩码，我们可以证明混合输入 σmix({x1,x2},m) 与重构目标 x1 之间的互信息 (mi) 不小于 mae 输入 σmae(x1,m) 与 x1 之间的互信息（详见论文附录）。因此，简单的图像混合增强会提升模型输入与重构目标之间的互信息。尽管这对监督学习和对比学习有益，但它却简化了 mae 的图像重构任务，因为掩码操作 (masking) 的根本目的恰恰是降低模型输入和重构目标之间的互信息，以减少图像信号的冗余。这表明以 mae 为代表的掩码图像建模对数据增强具有与传统判别式训练范式不同的偏好，进而带来了 mae 自监督学习中的数据增强难题。 方法1. mocemixture of cluster-conditional expert (moce) 通过数据聚类和显式地使用具有相似语义的图像来训练每个专家，以实现针对特定任务的定制自监督预训练。moce 的过程分为三个阶段，具体如下：1. 首先，我们使用预先训练好的 mae 模型对整个数据集进行聚类。每张图片被分到不同的聚类中，并记录每个聚类的中心点，形成矩阵 c。2. 然后，受 mixture-of-experts (moe) 多专家模型的启发，我们构建了基于聚类先验的 moce 模型。与目前常用的视觉多专家模型将每个图像的 token 路由到某个专家不同，moce 让每个专家负责训练一组相似的聚类图片，使得每个专家在不同语义数据上得到显式训练。具体来说，现有的视觉多专家模型基于 vit 构建，将原先某些 transformer block 中的单个 mlp 层扩展为多个 mlp 层，每个 mlp 被称作一个专家 (expert)。同时引入一个门控网络 (gate network)，该门控网络决定每个 token 应该去往哪个专家。moce 多专家层的核心改变是门控网络的输入：这里，c[x] 表示 token x 所属图片所在的聚类中心（我们在第一步已经完成了聚类），而不是原先的 token 嵌入。这样，属于同一个聚类的图片的 tokens 都会被路由到同一个专家，从而显式地区分每个专家在语义上的差异。为了稳定训练并增强门控网络的置信度，我们提出了两个额外的正则化损失，并在实验中发现了它们的有效性。3. 当下游任务到达时，我们引入了一个搜索模块来选择最适合用于迁移学习的专家。具体而言，我们重复利用第一步提到的聚类模块，找到与下游数据集最相似的聚类，然后找到该聚类所训练的专家，将其单独提取出来，舍弃其他专家进行迁移。这样，在下游任务中，我们始终使用一个正常大小的 vit 模型。2. mixedaemixed autoencoder (mixedae) 提出辅助代理任务——同源识别 (homologous recognition)，旨在显示要求每个图像块识别混合图像中的同源图像块以缓解图像混合所导致的互信息上升，从而实现物体感知的自监督预训练。mixedae 的过程分为三个阶段，具体如下：1. 混合阶段：在给定混合系数 r 的情况下，将输入图像随机划分为不同的图像组，并根据 r 对每个图像组进行随机混合，生成混合图像。2. 识别阶段：鉴于 vision transformer 中全局自注意力的使用，在重构过程中，各个图像块不可避免地与来自其他图像的异源图像块发生交互，从而导致互信息的上升。因此我们提出同源自注意力机制 (homologous attention)，通过部署一个简单的 topk 采样操作，要求每个图像块显示识别并仅与同源图像块做自注意力计算，以抑制互信息的上升。3. 验证阶段：为了验证同源自注意力的准确性，我们提出同源对比损失 (homologous contrasitve)。对于任意查询图像块 (query patch)，我们将其同源图像块视为正样本，异源图像块作为负样本，以促进同源图像块特征的相似度，从而显示要求图像块识别并仅和同源图像块做自注意力计算。最后，同源对比损失将和原始图像重构损失一起以多任务形式优化网络参数进行自监督预训练。 实验分析
1. moce 我们在之前提到的 11 个下游分类数据集和检测分割任务上做了实验。实验结果表明，moce 在多个下游任务中的性能超过了传统的 mae 预训练方法。具体而言，在图像分类任务中，moce 相较于 mae 实现了更高的准确率。在目标检测和分割任务中，moce 也取得了更好的表现，包括更高的 miou 和 ap 指标。这些实验结果表明，moce 通过利用相似语义图像进行聚类并为每个专家进行任务定制的自监督预训练，能够在各种下游任务中提高迁移性能。
▲ 表一：moce在细粒度数据集上有较大提升，在类别比较宽泛的任务上也有少量提升。2. mixedae 在 14 个下游视觉任务（包括图像分类、语义分割和物体检测）的评估中，mixedae 展现了最优的迁移性能和卓越的计算效率。相较于 ibot，mixedae 实现了约 2 倍预训练加速。得益于图像混合所带来的物体感知预训练，mixedae 在下游密集预测任务上取得更显著的性能提升。注意力图可视化结果表明，mixedae 能比 mae 更准确完整地识别图像前景物体，从而实现优异的密集预测迁移性能。
▲ 表二：mixedae在不同训练代价下均获得当前最优结果，展现了卓越的计算效率。
▲ 图二：注意力图可视化。得益于imagenet的单实例假设[2]以及物体感知的自监督预训练，mixedae可以更准确完整地发现图像前景物体，从而实现更好的密集预测迁移性能。
作者介绍结合 moce 和 mixedae 的研究发现，我们揭示了自监督预训练中数据之谜：数据量不再是唯一关键因素，而是如何利用数据和进行定制化预训练和数据增广更为关键。moce 通过数据聚类和专家定制训练，显著提高了针对特定下游任务的迁移性能。mixedae 则通过一种简单有效的图像混合方法，实现了在各种下游任务中的最先进迁移性能。这些研究发现不仅为自监督预训练领域提供了新的视角，还为开发更为高效、可扩展和定制化的预训练方法提供了指导和启示。我们希望这些探索是一个有效利用更多数据量的途径，并为研究者们提供新的思路。 参考文献
[1] task-customized self-supervised pre-training with scalable dynamic routing, aaai 2022.
[2] multisiam: self-supervised multi-instance siamese representation learning for autonomous driving, iccv 2021.
·
原文标题：基础模型自监督预训练的数据之谜：大量数据究竟是福还是祸？
文章出处：【微信公众号：智能感知与物联网技术研究所】欢迎添加关注！文章转载请注明出处。
英特尔放弃NUC的原因找到了
Intel要逆袭,PC处理器要爆发
苹果汽车受欢迎度超特斯拉
国际电联将会在今年12月份组建审议小组来对5G的标准化进行审议
单向tvs和双向tvs区别
基础模型自监督预训练的数据之谜：大量数据究竟是福还是祸？
如何在CPU上优化ChatGLM-6B？一行代码就行 | 最“in”大模型
灵高超声波可以焊接汽车尾灯吗？起到怎样的作用？
光纤放大器的放大自发辐射说明
AMD揭开Zen CPU核心技术Ryzen神秘面纱
5G时代产业互联网发展的新思维、新趋势、新路径
基于TMC2660驱动芯片的步进电机驱动设计
SiC器件如何改变半导体行业的面貌
CPU + GPU成绝代双骄 GPU IP成为行动SoC差异化关键
一场关于互联网造车的硬件战争已然开启
STM32F4系列芯片几个无法启动的原因
openEuler成为首批获得《可信开源社区评估体系》认证的开源社区
第八届中国企业新媒体年会在北京举办，中国联通再次获第一名
字符串和文件I/O操作
机器学习之理解支持向量机SVM
https://openreview.net/forum?id=j8iiqum33s
此外，团队还提出了一种名为混合自编码器 (mixedae) 的简单而有效的方法，将图像混合应用于 mae 数据增强。mixedae 在各种下游任务（包括图像分类、语义分割和目标检测）上实现了最先进的迁移性能，同时保持了显著的效率。这是第一个从任务设计的角度将图像混合作为有效数据增强策略应用于基于纯自编码器结构的 masked image modeling (mim) 的研究。该工作已被 cvpr 2023 会议接收。
论文标题： mixed autoencoder for self-supervised visual representation learning 论文链接：
https://arxiv.org/abs/2303.17152 研究背景
在机器学习领域，预训练模型已经成为一种流行的方法，可以提高各种下游任务的性能。然而，研究发现，自监督预训练存在的负迁移现象。诺亚 ai 基础理论团队的前期工作 sdr (aaai 2022) [1] 首次指出自监督预训练的负迁移问题，并提供初步解决方案。具体来说，负迁移是指在预训练过程中使用的数据与下游任务的数据分布不同，导致预训练模型在下游任务上的性能下降。在自监督学习中，模型在无标签数据上进行预训练，学习数据的潜在特征和表示。然而，当预训练数据与下游任务的数据分布存在显著差异时，模型可能学到与下游任务无关或甚至有害的特征。
相关工作1. 自监督预训练的负迁移现象
▲ 图一：我们用imagenet的两个子集，split-a和split-b，训练两个mae模型，和全量数据集训练的模型相比较，后者仅在2个数据集上达到了最优。这说明，增大数据量并不总是带来更强的迁移效果。
以目前较为流行的自监督学习算法 mae 为例，我们评估了使用不同语义数据进行预训练的 mae 模型在迁移性能上的表现。我们将 imagenet 数据集分为两个不相交的子集 split-a 和 split-b，根据 wordnet 树中标签的语义差异进行划分。split-a 主要包含无生命物体（如汽车和飞机），而 split-b 则主要涉及有机体（如植物和动物）。接着，我们在 split-a、split-b 和完整的 imagenet 数据集上分别进行了 mae 预训练，并在 11 个下游任务上评估了这三个模型的性能。如图一所示，在仅含 2 个语义丰富数据集（caltech，voc）的情况下，基于完整 imagenet 训练的 mae 获得了最佳的迁移效果；在非生物下游数据集 (aircraft，cars，sun，dtd) 上，split-a 的表现更佳；而在包含 flowers，food，pets，cifar10，cifar100 等数据集上，split-b 的表现更优。这表明，当下游任务与预训练数据分布不同时，与任务无关的预训练信息可能导致负迁移，从而限制了 mae 模型的可扩展性。换言之，若一个 mae 模型的预训练数据去除了与下游任务数据集相似度较低的部分，则其性能可能优于包含这些无关数据的预训练模型。这突显了开发针对特定下游任务的定制化预训练方法以避免负迁移现象的重要性。2. 自监督数据增强难题在自监督预训练中，与依赖数据增强的对比学习不同，我们发现传统数据增强手段可能会削弱 mae 的模型性能。以图像混合增强（image mixing）为例，设随机变量 x1 和 x2 表示两个输入图像，m 表示随机生成的掩码，我们可以证明混合输入 σmix({x1,x2},m) 与重构目标 x1 之间的互信息 (mi) 不小于 mae 输入 σmae(x1,m) 与 x1 之间的互信息（详见论文附录）。因此，简单的图像混合增强会提升模型输入与重构目标之间的互信息。尽管这对监督学习和对比学习有益，但它却简化了 mae 的图像重构任务，因为掩码操作 (masking) 的根本目的恰恰是降低模型输入和重构目标之间的互信息，以减少图像信号的冗余。这表明以 mae 为代表的掩码图像建模对数据增强具有与传统判别式训练范式不同的偏好，进而带来了 mae 自监督学习中的数据增强难题。 方法1. mocemixture of cluster-conditional expert (moce) 通过数据聚类和显式地使用具有相似语义的图像来训练每个专家，以实现针对特定任务的定制自监督预训练。moce 的过程分为三个阶段，具体如下：1. 首先，我们使用预先训练好的 mae 模型对整个数据集进行聚类。每张图片被分到不同的聚类中，并记录每个聚类的中心点，形成矩阵 c。2. 然后，受 mixture-of-experts (moe) 多专家模型的启发，我们构建了基于聚类先验的 moce 模型。与目前常用的视觉多专家模型将每个图像的 token 路由到某个专家不同，moce 让每个专家负责训练一组相似的聚类图片，使得每个专家在不同语义数据上得到显式训练。具体来说，现有的视觉多专家模型基于 vit 构建，将原先某些 transformer block 中的单个 mlp 层扩展为多个 mlp 层，每个 mlp 被称作一个专家 (expert)。同时引入一个门控网络 (gate network)，该门控网络决定每个 token 应该去往哪个专家。moce 多专家层的核心改变是门控网络的输入：这里，c[x] 表示 token x 所属图片所在的聚类中心（我们在第一步已经完成了聚类），而不是原先的 token 嵌入。这样，属于同一个聚类的图片的 tokens 都会被路由到同一个专家，从而显式地区分每个专家在语义上的差异。为了稳定训练并增强门控网络的置信度，我们提出了两个额外的正则化损失，并在实验中发现了它们的有效性。3. 当下游任务到达时，我们引入了一个搜索模块来选择最适合用于迁移学习的专家。具体而言，我们重复利用第一步提到的聚类模块，找到与下游数据集最相似的聚类，然后找到该聚类所训练的专家，将其单独提取出来，舍弃其他专家进行迁移。这样，在下游任务中，我们始终使用一个正常大小的 vit 模型。2. mixedaemixed autoencoder (mixedae) 提出辅助代理任务——同源识别 (homologous recognition)，旨在显示要求每个图像块识别混合图像中的同源图像块以缓解图像混合所导致的互信息上升，从而实现物体感知的自监督预训练。mixedae 的过程分为三个阶段，具体如下：1. 混合阶段：在给定混合系数 r 的情况下，将输入图像随机划分为不同的图像组，并根据 r 对每个图像组进行随机混合，生成混合图像。2. 识别阶段：鉴于 vision transformer 中全局自注意力的使用，在重构过程中，各个图像块不可避免地与来自其他图像的异源图像块发生交互，从而导致互信息的上升。因此我们提出同源自注意力机制 (homologous attention)，通过部署一个简单的 topk 采样操作，要求每个图像块显示识别并仅与同源图像块做自注意力计算，以抑制互信息的上升。3. 验证阶段：为了验证同源自注意力的准确性，我们提出同源对比损失 (homologous contrasitve)。对于任意查询图像块 (query patch)，我们将其同源图像块视为正样本，异源图像块作为负样本，以促进同源图像块特征的相似度，从而显示要求图像块识别并仅和同源图像块做自注意力计算。最后，同源对比损失将和原始图像重构损失一起以多任务形式优化网络参数进行自监督预训练。 实验分析
1. moce 我们在之前提到的 11 个下游分类数据集和检测分割任务上做了实验。实验结果表明，moce 在多个下游任务中的性能超过了传统的 mae 预训练方法。具体而言，在图像分类任务中，moce 相较于 mae 实现了更高的准确率。在目标检测和分割任务中，moce 也取得了更好的表现，包括更高的 miou 和 ap 指标。这些实验结果表明，moce 通过利用相似语义图像进行聚类并为每个专家进行任务定制的自监督预训练，能够在各种下游任务中提高迁移性能。
▲ 表一：moce在细粒度数据集上有较大提升，在类别比较宽泛的任务上也有少量提升。2. mixedae 在 14 个下游视觉任务（包括图像分类、语义分割和物体检测）的评估中，mixedae 展现了最优的迁移性能和卓越的计算效率。相较于 ibot，mixedae 实现了约 2 倍预训练加速。得益于图像混合所带来的物体感知预训练，mixedae 在下游密集预测任务上取得更显著的性能提升。注意力图可视化结果表明，mixedae 能比 mae 更准确完整地识别图像前景物体，从而实现优异的密集预测迁移性能。
▲ 表二：mixedae在不同训练代价下均获得当前最优结果，展现了卓越的计算效率。
▲ 图二：注意力图可视化。得益于imagenet的单实例假设[2]以及物体感知的自监督预训练，mixedae可以更准确完整地发现图像前景物体，从而实现更好的密集预测迁移性能。
作者介绍结合 moce 和 mixedae 的研究发现，我们揭示了自监督预训练中数据之谜：数据量不再是唯一关键因素，而是如何利用数据和进行定制化预训练和数据增广更为关键。moce 通过数据聚类和专家定制训练，显著提高了针对特定下游任务的迁移性能。mixedae 则通过一种简单有效的图像混合方法，实现了在各种下游任务中的最先进迁移性能。这些研究发现不仅为自监督预训练领域提供了新的视角，还为开发更为高效、可扩展和定制化的预训练方法提供了指导和启示。我们希望这些探索是一个有效利用更多数据量的途径，并为研究者们提供新的思路。 参考文献
[1] task-customized self-supervised pre-training with scalable dynamic routing, aaai 2022.
[2] multisiam: self-supervised multi-instance siamese representation learning for autonomous driving, iccv 2021.
·
原文标题：基础模型自监督预训练的数据之谜：大量数据究竟是福还是祸？
文章出处：【微信公众号：智能感知与物联网技术研究所】欢迎添加关注！文章转载请注明出处。
英特尔放弃NUC的原因找到了
Intel要逆袭,PC处理器要爆发
苹果汽车受欢迎度超特斯拉
国际电联将会在今年12月份组建审议小组来对5G的标准化进行审议
单向tvs和双向tvs区别
基础模型自监督预训练的数据之谜：大量数据究竟是福还是祸？
如何在CPU上优化ChatGLM-6B？一行代码就行 | 最“in”大模型
灵高超声波可以焊接汽车尾灯吗？起到怎样的作用？
光纤放大器的放大自发辐射说明
AMD揭开Zen CPU核心技术Ryzen神秘面纱
5G时代产业互联网发展的新思维、新趋势、新路径
基于TMC2660驱动芯片的步进电机驱动设计
SiC器件如何改变半导体行业的面貌
CPU + GPU成绝代双骄 GPU IP成为行动SoC差异化关键
一场关于互联网造车的硬件战争已然开启
STM32F4系列芯片几个无法启动的原因
openEuler成为首批获得《可信开源社区评估体系》认证的开源社区
第八届中国企业新媒体年会在北京举办，中国联通再次获第一名
字符串和文件I/O操作
机器学习之理解支持向量机SVM