马里兰&NYU合力解剖神经网络，CLIP模型神经元形似骷髅头
【导读】神经网络黑盒怎么解释？马里兰大学和nyu研究人员开启了新的尝试。
ai黑盒如何才能解？ 神经网络模型在训练的时，会有些relu节点「死亡」，也就是永远输出0，不再有用。 它们往往会被被删除或者忽略。 恰好赶上了模糊了生与死的界限的节日——万圣节，所以这是探索那些「死节点」的好时机。
对于大多数图像生成模型来说，会输出正面的图像。但是优化算法，可以让模型生成更多诡异、恐怖的图像。 就拿clip模型来说，可以衡量一段文本和一张图片的匹配程度。 给定一段描述怪诞场景的文本，使用优化算法通过最小化clip的损失，来生成一张与这段文本匹配的、吓人的图片。
当你不断探索损失函数的最深最恐怖的区域，就像进入了一个疯狂的状态。 就会发现这些诡异图片超乎想象。 最重要的是，它们仅仅是通过clip模型优化生成，并没有借助其他的模型。
优化算法，可以让我们对神经网络进行「解剖」，特征可视化（feature visualization）可以找到一个最大激活单个神经元的图像。 吴恩达和jeff dean曾在2012年就imagenet图像分类模型上做过这样的实验，并发现了一个对黑色猫有响应的神经元。 对此，来自马里兰大学和nyu的研究人员使用「特征可视化」来剖析clip模型，发现了一个非常令人不安的神经元： 完全是一个类似骷髅头的图像。
但它真的是「骷髅头神经元」吗？显然不是，实际上它代表的是某种更加神秘、难以解释的模式。 究竟怎么回事？
模型反转，卷积网vit不适用
想要解释ai生成的图像，需要用到的一种手段——模型反转（model inversion）。
「模型反转」是可视化和解释神经架构内部行为、理解模型学到的内容，以及解释模型行为的重要工具。 一般来说，「模型反转」通常寻找可以激活网络中某个特征的输入（即特征可视化），或者产生某个特定类别的高输出响应（即类别反转）。 然鹅，神经网络架构不断发展，为现有的「模型反转」方案带来了重大挑战。 卷积网长期以来，一直是cv任务的默认方法，也是模型反转领域研究的重点。 随着vision transformer（vit）、mlp-mixer、resmlp等其他架构的出现，大多数现有的模型反转方法不能很好地应用到这些新结构上。
总而言之，当前需要研发可以应用到新结构上的模型反转方法。 对此，马里兰和nyu研究人员将关注点放在了「类反转」（class inversion）。 目标是，在不知道模型训练数据的情况下，找到可以最大化某个类别输出分数的可解释图像。 类反转已在模型解释、图像合成等任务中应用，但是存在几个关键缺陷：生成图像质量对正则化权重高度敏感；需要批标准化参数的方法不适用于新兴架构。 研究人员再此提出了基于数据增强的类反转方法——plug-in inversion（pii）。
论文地址：https://arxiv.org/pdf/2201.12961.pdf pii的好处在于不需要明确的正则化，因此不需要为每个模型或图像实例调节超参数。 实验结果证明，pii可以使用相同的架构无关方法和超参数反转cnn、vit和mlp架构。
全新类反转——pii
此前，关于类反转的研究，常常使用抖动之类的增强功能。 它会在水平和垂直方向上随机移动图像，以及水平ips来提高反转图像的质量。 在最新研究中，作者探讨了有利于反转的其他增强，然后再描述如何将它们组合起来形成pii算法。限制搜索空间作者考虑2种增强方法来提高倒置图像的空间质量——居中（centering）和缩放（zoom）。 这些方法的设计基于这样的假设：限制输入优化空间，可以得到更好的特征布局。 两种方法都从小尺寸开始，逐步扩大空间，迫使放置语义内容在中心，目的是生成更具解释性和可识别性的反转图像。 图1和图2分别显示了，居中和缩放过程中每个步骤测图像状态。
colorshift增强之前展示的反转图像，颜色看起来很不自然。 这是由于研究人员现在提出的一种全新增强方法——colorshift造成的。 colorshift是随机扰动每个颜色通道的平均值和方差，改变图像颜色，目的是生成更丰富多样的反转图像颜色。 下图，作者可视化了colorshift的稳定效果。
集成集成是一种成熟的工具，经常用于从增强推理到数据集安全等应用程序。 研究人员发现，优化由同一图像的不同colorshift组成的整体，可以同时提高反转方法的性能。 图4显示了与colorshift一起应用集成的结果。 可以观察，到较大的集成似乎给出了轻微的改进，但即使是大小为1或2的集成，也能产生令人满意的结果。 这对于像vit这样的模型很重要，因为可用的gpu内存限制了该集合的可能大小。
到这里，你就明白什么是pii了，即结合了抖动、集成、colorshift、居中和缩放技术，并将结果命名为「插件反转」。 它可以应用到任何可微分模型（包括vit和mlp），只需要一组固定超参数。
多种网络架构适用
那么，pii效果究竟如何？ 实验结果发现，pii可以应用于不同的模型。需要强调是的是，研究者在所有情况下都对pii参数使用相同的设置。 图6中，描绘了通过反转各种架构的volcano类生成的图像，包括cnn、vit和mlp的示例。
虽然不同神经网络的图像质量有所不同，但它们都包含可区分，且位置恰当的视觉信息。 在图7中，研究人员还显示了pii从几个任意imagenet类的每种主要架构类型的代表生成的图像。 可以看到，每行有独特视觉风格，说明模型反转可以用来理解不同模型的学习信息。
在图8中，作者使用pii来反转在imagenet上训练，并在cifar-100上进行微调的vit模型。
图9显示了在cifar-10上微调的模型的反转结果。
为了定量评估全新方法，作者反转预训练的vit模型和预训练的resmlp模型，使用pii为每个类生成一张图像，并使用deepdream执行相同的操作。 然后使用各种预训练的模型对这些图像进行分类。 表1包含这些模型的平均top-1和top-5分类精度，以及每种方法生成的图像的初始分数。
图10显示了pii和deepinversion生成的一些任意类别的图像。
RT-Thread操作系统的调度设计原理
为什么手机后置镜头都流行垂直排列
苹果新专利：可以反馈屏幕显示内容纹理的触控笔
小米max2配置最新消息：小米Max2或配有杀手锏功能，支持反向充电
声控开关灯如何利用声音来控制灯？
马里兰&NYU合力解剖神经网络，CLIP模型神经元形似骷髅头
不同晶闸管开关电路控制
中标喜讯 | 芯盾时代中标北京农商银行零信任安全系统
新闻：苹果或2023年推出折叠iPhone 5G流量单价两年降46%
OPPO R11s将摆脱“低配高价”称呼,也有实力凸显
华为818手机节力度空前，P10 Plus新配色开售被秒抢！
台湾启动“半导体射月计划” 加强半导体AI竞争力
华为Mate 30系列宣传海报提前亮相，配麒麟990、双超级快充
如何在iOS 14中默认激活Gmail
利用CS5463芯片可调整温度漂移误差个提高测量精度
联通首个C-Band 5G Book RRU站点开通，支持4T4R模式
声光报警器安装高度
利用NVIDIA融合加速器加速数据中心AI
顺丰航空正式迎来了第二架B747-400ERF飞机
终于全部顶级配置了！三星S8或将配置8GB内存！
ai黑盒如何才能解？ 神经网络模型在训练的时，会有些relu节点「死亡」，也就是永远输出0，不再有用。 它们往往会被被删除或者忽略。 恰好赶上了模糊了生与死的界限的节日——万圣节，所以这是探索那些「死节点」的好时机。
对于大多数图像生成模型来说，会输出正面的图像。但是优化算法，可以让模型生成更多诡异、恐怖的图像。 就拿clip模型来说，可以衡量一段文本和一张图片的匹配程度。 给定一段描述怪诞场景的文本，使用优化算法通过最小化clip的损失，来生成一张与这段文本匹配的、吓人的图片。
当你不断探索损失函数的最深最恐怖的区域，就像进入了一个疯狂的状态。 就会发现这些诡异图片超乎想象。 最重要的是，它们仅仅是通过clip模型优化生成，并没有借助其他的模型。
优化算法，可以让我们对神经网络进行「解剖」，特征可视化（feature visualization）可以找到一个最大激活单个神经元的图像。 吴恩达和jeff dean曾在2012年就imagenet图像分类模型上做过这样的实验，并发现了一个对黑色猫有响应的神经元。 对此，来自马里兰大学和nyu的研究人员使用「特征可视化」来剖析clip模型，发现了一个非常令人不安的神经元： 完全是一个类似骷髅头的图像。
但它真的是「骷髅头神经元」吗？显然不是，实际上它代表的是某种更加神秘、难以解释的模式。 究竟怎么回事？
模型反转，卷积网vit不适用
想要解释ai生成的图像，需要用到的一种手段——模型反转（model inversion）。
「模型反转」是可视化和解释神经架构内部行为、理解模型学到的内容，以及解释模型行为的重要工具。 一般来说，「模型反转」通常寻找可以激活网络中某个特征的输入（即特征可视化），或者产生某个特定类别的高输出响应（即类别反转）。 然鹅，神经网络架构不断发展，为现有的「模型反转」方案带来了重大挑战。 卷积网长期以来，一直是cv任务的默认方法，也是模型反转领域研究的重点。 随着vision transformer（vit）、mlp-mixer、resmlp等其他架构的出现，大多数现有的模型反转方法不能很好地应用到这些新结构上。
总而言之，当前需要研发可以应用到新结构上的模型反转方法。 对此，马里兰和nyu研究人员将关注点放在了「类反转」（class inversion）。 目标是，在不知道模型训练数据的情况下，找到可以最大化某个类别输出分数的可解释图像。 类反转已在模型解释、图像合成等任务中应用，但是存在几个关键缺陷：生成图像质量对正则化权重高度敏感；需要批标准化参数的方法不适用于新兴架构。 研究人员再此提出了基于数据增强的类反转方法——plug-in inversion（pii）。
论文地址：https://arxiv.org/pdf/2201.12961.pdf pii的好处在于不需要明确的正则化，因此不需要为每个模型或图像实例调节超参数。 实验结果证明，pii可以使用相同的架构无关方法和超参数反转cnn、vit和mlp架构。
全新类反转——pii
此前，关于类反转的研究，常常使用抖动之类的增强功能。 它会在水平和垂直方向上随机移动图像，以及水平ips来提高反转图像的质量。 在最新研究中，作者探讨了有利于反转的其他增强，然后再描述如何将它们组合起来形成pii算法。限制搜索空间作者考虑2种增强方法来提高倒置图像的空间质量——居中（centering）和缩放（zoom）。 这些方法的设计基于这样的假设：限制输入优化空间，可以得到更好的特征布局。 两种方法都从小尺寸开始，逐步扩大空间，迫使放置语义内容在中心，目的是生成更具解释性和可识别性的反转图像。 图1和图2分别显示了，居中和缩放过程中每个步骤测图像状态。
colorshift增强之前展示的反转图像，颜色看起来很不自然。 这是由于研究人员现在提出的一种全新增强方法——colorshift造成的。 colorshift是随机扰动每个颜色通道的平均值和方差，改变图像颜色，目的是生成更丰富多样的反转图像颜色。 下图，作者可视化了colorshift的稳定效果。
集成集成是一种成熟的工具，经常用于从增强推理到数据集安全等应用程序。 研究人员发现，优化由同一图像的不同colorshift组成的整体，可以同时提高反转方法的性能。 图4显示了与colorshift一起应用集成的结果。 可以观察，到较大的集成似乎给出了轻微的改进，但即使是大小为1或2的集成，也能产生令人满意的结果。 这对于像vit这样的模型很重要，因为可用的gpu内存限制了该集合的可能大小。
到这里，你就明白什么是pii了，即结合了抖动、集成、colorshift、居中和缩放技术，并将结果命名为「插件反转」。 它可以应用到任何可微分模型（包括vit和mlp），只需要一组固定超参数。
多种网络架构适用
那么，pii效果究竟如何？ 实验结果发现，pii可以应用于不同的模型。需要强调是的是，研究者在所有情况下都对pii参数使用相同的设置。 图6中，描绘了通过反转各种架构的volcano类生成的图像，包括cnn、vit和mlp的示例。
虽然不同神经网络的图像质量有所不同，但它们都包含可区分，且位置恰当的视觉信息。 在图7中，研究人员还显示了pii从几个任意imagenet类的每种主要架构类型的代表生成的图像。 可以看到，每行有独特视觉风格，说明模型反转可以用来理解不同模型的学习信息。
在图8中，作者使用pii来反转在imagenet上训练，并在cifar-100上进行微调的vit模型。
图9显示了在cifar-10上微调的模型的反转结果。
为了定量评估全新方法，作者反转预训练的vit模型和预训练的resmlp模型，使用pii为每个类生成一张图像，并使用deepdream执行相同的操作。 然后使用各种预训练的模型对这些图像进行分类。 表1包含这些模型的平均top-1和top-5分类精度，以及每种方法生成的图像的初始分数。
图10显示了pii和deepinversion生成的一些任意类别的图像。
RT-Thread操作系统的调度设计原理
为什么手机后置镜头都流行垂直排列
苹果新专利：可以反馈屏幕显示内容纹理的触控笔
小米max2配置最新消息：小米Max2或配有杀手锏功能，支持反向充电
声控开关灯如何利用声音来控制灯？
马里兰&NYU合力解剖神经网络，CLIP模型神经元形似骷髅头
不同晶闸管开关电路控制
中标喜讯 | 芯盾时代中标北京农商银行零信任安全系统
新闻：苹果或2023年推出折叠iPhone 5G流量单价两年降46%
OPPO R11s将摆脱“低配高价”称呼,也有实力凸显
华为818手机节力度空前，P10 Plus新配色开售被秒抢！
台湾启动“半导体射月计划” 加强半导体AI竞争力
华为Mate 30系列宣传海报提前亮相，配麒麟990、双超级快充
如何在iOS 14中默认激活Gmail
利用CS5463芯片可调整温度漂移误差个提高测量精度
联通首个C-Band 5G Book RRU站点开通，支持4T4R模式
声光报警器安装高度
利用NVIDIA融合加速器加速数据中心AI
顺丰航空正式迎来了第二架B747-400ERF飞机
终于全部顶级配置了！三星S8或将配置8GB内存！