可编辑神经网络有什么积极意义
深度学习是一个计算繁重的过程。 降低成本一直是 data curation 的一大挑战。 关于深度学习神经网络大功耗的训练过程，已经有研究人员发表了其碳足迹（温室气体排放集合）的报告。
情况只会越来越复杂，因为我们正迎来一个充斥着大量的机器学习应用程序的未来。但所幸的是，我们也看到一些能够让训练神经网络的过程变得更高效的策略正在被发明出来。
以更改单个输入来更新神经网络的预测可能会降低其他输入的性能。 当前，业内通常使用两种解决方法：
1、在原始数据集上重新训练模型，并补充解决错误的样本；
2、使用手动缓存（例如查找表）来代替对有问题的样本的模型预测；
虽然简单，但是这种方法对于输入中的细微变化并不稳健。 例如，在自然语言处理任务中，它不会概括出同一对象的不同观点或释义。 因此，在iclr 2020的一篇正在审核的论文中，尚未公开姓名的作者提出了一种称为“可编辑训练”的替代方法。
神经网络的“修补”
可编辑神经网络也属于元学习范例，因为它们基本上是“学习允许有效修补”。
有效的神经网络修补问题不同于持续学习，因为研究人员认为，可编辑的训练设置本质上不是顺序的。
在这种情况下进行编辑意味着在不影响其他输入的情况下，更改输入对子集的模型预测（与错误分类的对象相对应）。
为此，构想出了编辑器功能，即一种给定约束的参数功能。 换句话说，非正式地，这是一个调整参数以满足给定约束的函数，该约束的作用是强制执行模型行为所需的更改。
对于图像分类实验，使用标准训练/测试分割获取小的cifar-10数据集。训练数据集进一步增加了随机裁剪和随机水平翻转。
在此数据集上训练的所有模型都遵循resnet-18架构，并使用具有默认超参数的adam优化器。
为深度神经网络实现edit的自然方法是使用梯度下降。 根据作者的观点，标准的梯度下降编辑器可以用动量（momentum）、自适应学习率（adaptive learning rates）进一步增强。
但是，在许多实际情况下，绝大部分这些编辑都不会发生。 例如，比起“卡车”或“船”，以前被分类为“飞机”的图像更有可能需要编辑为“鸟”。 为了解决这个问题，作者采用了自然对抗样本（nae）数据集。
该数据集包含7500个自然图像，这些图像很难用神经网络进行分类。 如果不进行编辑，经过预训练的模型可以正确地预测nae中不到1%的数据，但是正确的答案可能在按预测概率排序的前100个类别中。
总结
可编辑训练与对抗训练有些相似，后者是对抗攻击防御的主要方法。 这里的重要区别在于，可编辑训练旨在学习模型，可以有效地纠正某些样本上的行为。
同时，对抗训练会产生对某些输入扰动具有鲁棒性的模型。 但人们可以使用可编辑训练来针对合成和自然对抗示例有效地覆盖模型漏洞。
在许多深度学习应用程序中，单个模型错误可能导致毁灭性的财务、名誉乃至生命危险。 因此，至关重要的是要尽快纠正出现的模型错误。
可编辑训练，一种与模型无关的训练技术，可鼓励对训练后的模型进行快速编辑，并且这种方法的有效性对于大规模图像分类和机器翻译任务也很有希望。
来源：爱吧机器人网
凹凸科技推出第二代高性价比三合一电源管理芯片OZ1C115
地铁7号线今日通车 四线换乘汇聚华强北
北京移动“移动5G+家宽+WIFI”三合一打造全方位高速网络体验
aieducation.mit.edu，供K-12学生学习人工智能
NS1703 多功能平均电流型 LED 恒流驱动器
可编辑神经网络有什么积极意义
苹果5G 基带：iPhone 13 预计采用 X60 基带芯片
基于无线收发模块和ATMEGA16单片机实现车载智能实时监测系统的设计
示波记录仪波形数据存储
可配置的硬件平台简化了DC-DC转换器的采用
燃料电池教父巴拉德的中国“扩张术”
itc校园整体解决方案可助力学校高质量的办学
低功耗雷达模块在智能马桶中的应用
人类终将进化成机器人？
为什么要选用工业平板电脑，它有何优势
NXP UBA2016A 35W TL5高效荧光灯电源解决方案
固态扬声器先锋，xMEMS引领音频固态保真新时代 | xMEMS年度汇总
如何避免PCB布局的各种缺陷
IQnews Q3 2023 Newsletter | 您所需的测试干货都在这里
零序电流互感器的安装
情况只会越来越复杂，因为我们正迎来一个充斥着大量的机器学习应用程序的未来。但所幸的是，我们也看到一些能够让训练神经网络的过程变得更高效的策略正在被发明出来。
以更改单个输入来更新神经网络的预测可能会降低其他输入的性能。 当前，业内通常使用两种解决方法：
1、在原始数据集上重新训练模型，并补充解决错误的样本；
2、使用手动缓存（例如查找表）来代替对有问题的样本的模型预测；
虽然简单，但是这种方法对于输入中的细微变化并不稳健。 例如，在自然语言处理任务中，它不会概括出同一对象的不同观点或释义。 因此，在iclr 2020的一篇正在审核的论文中，尚未公开姓名的作者提出了一种称为“可编辑训练”的替代方法。
神经网络的“修补”
可编辑神经网络也属于元学习范例，因为它们基本上是“学习允许有效修补”。
有效的神经网络修补问题不同于持续学习，因为研究人员认为，可编辑的训练设置本质上不是顺序的。
在这种情况下进行编辑意味着在不影响其他输入的情况下，更改输入对子集的模型预测（与错误分类的对象相对应）。
为此，构想出了编辑器功能，即一种给定约束的参数功能。 换句话说，非正式地，这是一个调整参数以满足给定约束的函数，该约束的作用是强制执行模型行为所需的更改。
对于图像分类实验，使用标准训练/测试分割获取小的cifar-10数据集。训练数据集进一步增加了随机裁剪和随机水平翻转。
在此数据集上训练的所有模型都遵循resnet-18架构，并使用具有默认超参数的adam优化器。
为深度神经网络实现edit的自然方法是使用梯度下降。 根据作者的观点，标准的梯度下降编辑器可以用动量（momentum）、自适应学习率（adaptive learning rates）进一步增强。
但是，在许多实际情况下，绝大部分这些编辑都不会发生。 例如，比起“卡车”或“船”，以前被分类为“飞机”的图像更有可能需要编辑为“鸟”。 为了解决这个问题，作者采用了自然对抗样本（nae）数据集。
该数据集包含7500个自然图像，这些图像很难用神经网络进行分类。 如果不进行编辑，经过预训练的模型可以正确地预测nae中不到1%的数据，但是正确的答案可能在按预测概率排序的前100个类别中。
总结
可编辑训练与对抗训练有些相似，后者是对抗攻击防御的主要方法。 这里的重要区别在于，可编辑训练旨在学习模型，可以有效地纠正某些样本上的行为。
同时，对抗训练会产生对某些输入扰动具有鲁棒性的模型。 但人们可以使用可编辑训练来针对合成和自然对抗示例有效地覆盖模型漏洞。
在许多深度学习应用程序中，单个模型错误可能导致毁灭性的财务、名誉乃至生命危险。 因此，至关重要的是要尽快纠正出现的模型错误。
可编辑训练，一种与模型无关的训练技术，可鼓励对训练后的模型进行快速编辑，并且这种方法的有效性对于大规模图像分类和机器翻译任务也很有希望。
来源：爱吧机器人网
凹凸科技推出第二代高性价比三合一电源管理芯片OZ1C115
地铁7号线今日通车 四线换乘汇聚华强北
北京移动“移动5G+家宽+WIFI”三合一打造全方位高速网络体验
aieducation.mit.edu，供K-12学生学习人工智能
NS1703 多功能平均电流型 LED 恒流驱动器
可编辑神经网络有什么积极意义
苹果5G 基带：iPhone 13 预计采用 X60 基带芯片
基于无线收发模块和ATMEGA16单片机实现车载智能实时监测系统的设计
示波记录仪波形数据存储
可配置的硬件平台简化了DC-DC转换器的采用
燃料电池教父巴拉德的中国“扩张术”
itc校园整体解决方案可助力学校高质量的办学
低功耗雷达模块在智能马桶中的应用
人类终将进化成机器人？
为什么要选用工业平板电脑，它有何优势
NXP UBA2016A 35W TL5高效荧光灯电源解决方案
固态扬声器先锋，xMEMS引领音频固态保真新时代 | xMEMS年度汇总
如何避免PCB布局的各种缺陷
IQnews Q3 2023 Newsletter | 您所需的测试干货都在这里
零序电流互感器的安装