如何在多模态的语境中利用Transformer强大的表达能力？
曾几何时，多模态预训练已经不是一个新的话题，各大顶会诸多论文仿佛搭上visual和bert，就能成功paper+=1，visualbert、vilbert层出不穷，傻傻分不清楚。..。..这些年nlper在跨界上忙活的不亦乐乎，提取视觉特征后和文本词向量一同输入到万能的transformer中，加大力度预训练，总有意想不到的sota。
如何在多模态的语境中更细致准确地利用transformer强大的表达能力呢？facebook最新的 transformer is all you need 也许可以给你答案。
这篇貌似标题党的文章开宗明义，针对文本+视觉的多模态任务，用好transformer就够了，与许多前作不同，这次提出的模型一个模型可以解决多个任务：目标检测、自然语言理解、视觉问答，各个模型板块各司其职、条理清晰：视觉编码器、文本编码器、特征融合解码器，都是建立在多层transformer之上，最后添加为每个任务设计的处理器，通过多任务训练，一举刷新了多个任务的榜单。
文本编码器用transformer提取文本特征是个老生常谈的问题，从bert石破天惊开始，纯文本领域近乎已被transformer蚕食殆尽，所以该文也不能免俗，直接借用bert的结构提取文本内容，区别在于，为了解决多个任务，在文本序列前添加了一个针对不同任务的参数向量，在最后输出隐藏状态到解码器时再去掉。
视觉编码器本文将transformer强大的表达能力运用到视觉特征的提取中，由于图片像素点数量巨大，首先通过基于卷积神经网络的resnet-50提取卷积特征，极大程度上地降低了特征数量，最终得到的feature map大小为，然后用全联接层调整单个特征的维度到，再利用多层transformer中的注意力机制提取各个feature之间的关系，由于transformer的输入是序列，文章将拉成一条长为的序列，另外和文本编码器类似，同样添加了与下游任务相关的。
其中是调整维度的全联接层，是多层transformer编码器。
模态融合解码器多模态的关键之一就在于怎么同时利用多个模态，在本文中是通过transformer的解码器实现的，这个解码器首先将任务相关的query做self-attention，再将结果与文本编码器和视觉编码器的结果做cross-attention，针对单一模态的任务，选取对应编码器的输出即可，针对多模态的任务，取两个编码器输出的拼接。
任务处理器（task-specific output head）之前多模态预训练模型往往只针对某一项任务，而本文提出的一个模型可以解决多个文本+视觉任务，与bert可以解决多个文本任务类似，本文的模型在模态融合解码器的结果上添加为每个任务设计的处理器，这个处理器相对简单，用于从隐藏状态中提取出与特定任务相匹配的特征。
目标检测：添加box_head和class_head两个前馈神经网络从最后一层隐藏状态中提取特征用来确定目标位置和预测目标类型。
自然语言理解、视觉问答：通过基于全联接层的分类模型实现，将模态融合解码器结果的第一位隐藏状态输入到两层全联接层并以gelu作为激活函数，最后计算交叉熵损失。
实验与总结本文提出的多模态预训练模型各个板块划分明确，通过多层transformer分别提取特征，再利用解码器机制融合特征并完成下游任务，同时借助最后一层任务相关的处理器，可以通过一个模型解决多个任务，同时也让多任务预训练成为可能，并在实验中的各个数据集上得到了论文主要进行了两部分实验：
多任务学习：
这里的多任务涉及目标检测和视觉问答两个任务，在目标检测上运用coco和vg两个数据集，在视觉问答上运用vqav2数据集。对比了单一任务和多任务同时训练的结果，同时对比了不同任务共用解码器的结果。
从结果中我们可以看出，单纯的使用多任务训练并不一定可以提高结果，不同任务间虽然相关但是却不完全相同，这可能是任务本身差异或者数据集的特性所导致，第二行和第五行可以很明显地看出coco上的目标检测和vqav2的视觉问答相结合后，结果有显著的下降，然而vg上的目标检测却能够和视觉问答很好地结合，通过三个数据集上的共同训练，可以得到最高的结果。
多模态学习：
这一实验中，为了体现所提出模型能够有效解决多个多种模态的不同任务，论文作者在之前coco、vg、vqav2的基础上，增加了单一文本任务glue的几个数据集（qnli、qqp、mnli、sst-2）和视觉推断数据集snli-ve，从数据集的数量上可以看出本文模型的全能性。与本文对比的有纯文本的bert、基于transformer的视觉模型detr、多模态预训练模型visualbert。
仔细看各个数据集上的结果，不难看出本文提出的模型其实并不能在所有数据集多上刷出sota，比如coco上逊色于detr，snli-ve逊色于visualbert，sst-2逊色于bert，其他数据集上都有一定的提高，但是模型却胜在一个“全”字，模型的结构十分清晰明了，各个板块的作用十分明确，同时针对不同任务的处理器也对后续多模态任务富有启发性。
原文标题：【transformer】没有什么多模态任务是一层transformer解决不了的！
文章出处：【微信公众号：深度学习自然语言处理】欢迎添加关注！文章转载请注明出处。
随着技术的更新 “刷脸”有望迎来更加迅猛的应用
Wacom推出一款全新入门级数位屏 售价约合人民币8200元
首届“星河杯”隐私计算大赛正式启动报名！
紫米Z1旅行助手评测 对于喜欢外出旅行的朋友来说绝对是一台随身佳品
苹果的siri和三星的bixby，那个更加人工智能
如何在多模态的语境中利用Transformer强大的表达能力？
日本研发创可贴式皮肤传感器 可监测人体生命活动
了解并学习嵌入式linux根文件系统制作
蓝牙的灵敏度
如何在Vitis HLS GUI中使用库函数？
数字通信的优点有哪些 数字通信系统的组成
Intel产品路线图曝光 明年二季度更新CometLake架构家族
梁宝俊何飚唐永博2022中国联通合作伙伴大会演讲及发布文字实录
为什么电路板在航空航天行业中很重要
arduino ide编译过程
MOS管工作原理_MOS管失效原因分析
海信特研发别墅家系列中央空调 为消费者打造专属别墅的冬季舒适
温室大棚气象观测站的用途有哪些？
关于ATE Load Board的设计挑战及注意事项
IGBT模块缓冲电路的模型_igbt缓冲电路类型
如何在多模态的语境中更细致准确地利用transformer强大的表达能力呢？facebook最新的 transformer is all you need 也许可以给你答案。
这篇貌似标题党的文章开宗明义，针对文本+视觉的多模态任务，用好transformer就够了，与许多前作不同，这次提出的模型一个模型可以解决多个任务：目标检测、自然语言理解、视觉问答，各个模型板块各司其职、条理清晰：视觉编码器、文本编码器、特征融合解码器，都是建立在多层transformer之上，最后添加为每个任务设计的处理器，通过多任务训练，一举刷新了多个任务的榜单。
文本编码器用transformer提取文本特征是个老生常谈的问题，从bert石破天惊开始，纯文本领域近乎已被transformer蚕食殆尽，所以该文也不能免俗，直接借用bert的结构提取文本内容，区别在于，为了解决多个任务，在文本序列前添加了一个针对不同任务的参数向量，在最后输出隐藏状态到解码器时再去掉。
视觉编码器本文将transformer强大的表达能力运用到视觉特征的提取中，由于图片像素点数量巨大，首先通过基于卷积神经网络的resnet-50提取卷积特征，极大程度上地降低了特征数量，最终得到的feature map大小为，然后用全联接层调整单个特征的维度到，再利用多层transformer中的注意力机制提取各个feature之间的关系，由于transformer的输入是序列，文章将拉成一条长为的序列，另外和文本编码器类似，同样添加了与下游任务相关的。
其中是调整维度的全联接层，是多层transformer编码器。
模态融合解码器多模态的关键之一就在于怎么同时利用多个模态，在本文中是通过transformer的解码器实现的，这个解码器首先将任务相关的query做self-attention，再将结果与文本编码器和视觉编码器的结果做cross-attention，针对单一模态的任务，选取对应编码器的输出即可，针对多模态的任务，取两个编码器输出的拼接。
任务处理器（task-specific output head）之前多模态预训练模型往往只针对某一项任务，而本文提出的一个模型可以解决多个文本+视觉任务，与bert可以解决多个文本任务类似，本文的模型在模态融合解码器的结果上添加为每个任务设计的处理器，这个处理器相对简单，用于从隐藏状态中提取出与特定任务相匹配的特征。
目标检测：添加box_head和class_head两个前馈神经网络从最后一层隐藏状态中提取特征用来确定目标位置和预测目标类型。
自然语言理解、视觉问答：通过基于全联接层的分类模型实现，将模态融合解码器结果的第一位隐藏状态输入到两层全联接层并以gelu作为激活函数，最后计算交叉熵损失。
实验与总结本文提出的多模态预训练模型各个板块划分明确，通过多层transformer分别提取特征，再利用解码器机制融合特征并完成下游任务，同时借助最后一层任务相关的处理器，可以通过一个模型解决多个任务，同时也让多任务预训练成为可能，并在实验中的各个数据集上得到了论文主要进行了两部分实验：
多任务学习：
这里的多任务涉及目标检测和视觉问答两个任务，在目标检测上运用coco和vg两个数据集，在视觉问答上运用vqav2数据集。对比了单一任务和多任务同时训练的结果，同时对比了不同任务共用解码器的结果。
从结果中我们可以看出，单纯的使用多任务训练并不一定可以提高结果，不同任务间虽然相关但是却不完全相同，这可能是任务本身差异或者数据集的特性所导致，第二行和第五行可以很明显地看出coco上的目标检测和vqav2的视觉问答相结合后，结果有显著的下降，然而vg上的目标检测却能够和视觉问答很好地结合，通过三个数据集上的共同训练，可以得到最高的结果。
多模态学习：
这一实验中，为了体现所提出模型能够有效解决多个多种模态的不同任务，论文作者在之前coco、vg、vqav2的基础上，增加了单一文本任务glue的几个数据集（qnli、qqp、mnli、sst-2）和视觉推断数据集snli-ve，从数据集的数量上可以看出本文模型的全能性。与本文对比的有纯文本的bert、基于transformer的视觉模型detr、多模态预训练模型visualbert。
仔细看各个数据集上的结果，不难看出本文提出的模型其实并不能在所有数据集多上刷出sota，比如coco上逊色于detr，snli-ve逊色于visualbert，sst-2逊色于bert，其他数据集上都有一定的提高，但是模型却胜在一个“全”字，模型的结构十分清晰明了，各个板块的作用十分明确，同时针对不同任务的处理器也对后续多模态任务富有启发性。
原文标题：【transformer】没有什么多模态任务是一层transformer解决不了的！
文章出处：【微信公众号：深度学习自然语言处理】欢迎添加关注！文章转载请注明出处。
随着技术的更新 “刷脸”有望迎来更加迅猛的应用
Wacom推出一款全新入门级数位屏 售价约合人民币8200元
首届“星河杯”隐私计算大赛正式启动报名！
紫米Z1旅行助手评测 对于喜欢外出旅行的朋友来说绝对是一台随身佳品
苹果的siri和三星的bixby，那个更加人工智能
如何在多模态的语境中利用Transformer强大的表达能力？
日本研发创可贴式皮肤传感器 可监测人体生命活动
了解并学习嵌入式linux根文件系统制作
蓝牙的灵敏度
如何在Vitis HLS GUI中使用库函数？
数字通信的优点有哪些 数字通信系统的组成
Intel产品路线图曝光 明年二季度更新CometLake架构家族
梁宝俊何飚唐永博2022中国联通合作伙伴大会演讲及发布文字实录
为什么电路板在航空航天行业中很重要
arduino ide编译过程
MOS管工作原理_MOS管失效原因分析
海信特研发别墅家系列中央空调 为消费者打造专属别墅的冬季舒适
温室大棚气象观测站的用途有哪些？
关于ATE Load Board的设计挑战及注意事项
IGBT模块缓冲电路的模型_igbt缓冲电路类型