研究者提出了一项新的视听分割任务
听到“唔哩——唔哩——”的警笛声，你可以迅速判断出声音来自路过的一辆急救车。
能不能让ai根据音频信号得到发声物完整的、精细化的掩码图呢？
来自合肥工业大学、商汤、澳国立、北航、英伟达、港大和上海人工智能实验室的研究者提出了一项新的视听分割任务（audio-visual segmentation, avs)。
视听分割，就是要分割出发声物，而后生成发声物的精细化分割图。
相应的，研究人员提出了第一个具有像素级标注的视听数据集avsbench。
audio-visual segmentation
论文地址：
https://arxiv.org/abs/2207.05042
github地址：
https://github.com/opennlplab/avsbench
项目主页：
https://opennlplab.github.io/avsbench/
新任务、新的数据集，搞算法的又有新坑可以卷了。
据最新放榜结果，该论文已被eccv 2022接受。
精准锁定发声物
听觉和视觉是人类感知世界中最重要的两个传感器。生活里，声音信号和视觉信号往往是互补的。
视听表征学习（audio-visual learning）已经催生了很多有趣的任务，比如视听通信（avc）、视听事件定位（avel）、视频解析（avvp）、声源定位（ssl）等。
这里面既有判定音像是否描述同一事件/物体的分类任务，也有以热力图可视化大致定位发声物的任务。
但无论哪一种，离精细化的视听场景理解都差点意思。
△ avs 任务与 ssl 任务的比较
视听分割“迎难而上”，提出要准确分割出视频帧中正在发声的物体全貌——
即以音频为指导信号，确定分割哪个物体，并得到其完整的像素级掩码图。
avsbench 数据集
要怎么研究这个新任务呢？
鉴于当前还没有视听分割的开源数据集，研究人员提出avsbench 数据集，借助它研究了新任务的两种设置：
1、单声源（single-source）下的视听分割
2、多声源（multi-sources）下的视听分割
数据集中的每个视频时长5秒。
单声源子集包含23类，共4932个视频，包含婴儿、猫狗、吉他、赛车、除草机等与日常生活息息相关的发声物。
△avsbench单源子集的数据分布
多声源子集则包含了424个视频。
结合难易情况，单声源子集在半监督条件下进行，多声源子集则以全监督条件进行。
研究人员对avsbench里的每个视频等间隔采样5帧，然后人工对发声体进行像素级标注。
对于单声源子集，仅标注采样的第一张视频帧；对于多声源子集，5帧图像都被标注——这就是所谓的半监督和全监督。
△对单声源子集和多声源子集进行不同人工标注
这种像素级的标注，避免了将很多非发声物或背景给包含进来，从而增加了模型验证的准确性。
一个简单的baseline方法
有了数据集，研究人员还抛砖引玉，在文中给了个简单的baseline。
吸收传统语义分割模型的成功经验，研究人员提出了一个端到端的视听分割模型。
△视听分割框架图
这个模型遵循编码器-解码器的网络架构，输入视频帧，最终直接输出分割掩码。
另外，还有两个网络优化目标。
一是计算预测图和真实标签的损失。
而针对多声源情况，研究人员提出了掩码视听匹配损失函数，用来约束发声物和音频特征在特征空间中保持相似分布。
部分实验结果
光说不练假把式，研究人员进行了广泛实验。
首先，将视听分割与相关任务的6种方法进行了比较，研究人员选取了声源定位（ssl）、视频物体分割（vos）、显著性物体检测（sod）任务上的各两个sota方法。
实验结果表明，视听分割在多个指标下取得了最佳结果。
△和来自相关任务方法进行视听分割的对比结果
其次，研究人员进行了一系列消融实验，验证出，利用tpavi模块，单声源和多声源设置下采用两种backbone的视听分割模型都能得到更大的提升。
△引入音频的tpavi模块，可以更好地处理物体的形状细节（左图），并且有助于分割出正确的发声物（右图）
对于新任务的视听匹配损失函数，实验还验证了其有效性。
△视听匹配损失函数的有效性
one more thing
文中还提到，avsbench数据集不仅可以用于所提出的视听分割模型的训练、测试，其也可以用于验证声源定位模型。
研究人员在项目主页上表示，正在准备比avsbench大10倍的avsbench-v2。
一些视频的分割demo也上传在主页上。感兴趣的话可以前往查看~
了解闪存模数转换器-Understanding Flash
对称稳压电源电路图讲解
了解PCB保形涂料标准
有了这款智能家居方案,还担心家里东西被盗么？
闪电网络存在一个严重缺陷将会影响比特币
研究者提出了一项新的视听分割任务
路由器内置防火墙
iQOO 3评测 软硬件双双交上满意答卷
苹果iPhone7将搭载A10处理器，照片曝光
甘肃：加快智能电网建设，推进能源供给侧结构性改革
5G的竞争中国能否可以胜出
提起英国，你会想到什么？全世界人工智能和数字驱动型创新的中心
Semtech HotSwitch保护IC在贸泽开售 为各类电子系统提供高效的安全防护
什么是视保屏
浅析多相机SLAM系统及其在自动驾驶中的应用
GoPro 推出 The Remote 远程蓝牙遥控器，可同时控制 5 台相机
UPS不接连电源的原理及分类
C6748实验室建设方案书 【TL6748-PlusTEB】
韩国芯片库存增幅创下6年多来最大;医疗机器人赛道受资本追逐
eWisetech：一加7 Pro的90Hz三星流体屏占成本四分之一
能不能让ai根据音频信号得到发声物完整的、精细化的掩码图呢？
来自合肥工业大学、商汤、澳国立、北航、英伟达、港大和上海人工智能实验室的研究者提出了一项新的视听分割任务（audio-visual segmentation, avs)。
视听分割，就是要分割出发声物，而后生成发声物的精细化分割图。
相应的，研究人员提出了第一个具有像素级标注的视听数据集avsbench。
audio-visual segmentation
论文地址：
https://arxiv.org/abs/2207.05042
github地址：
https://github.com/opennlplab/avsbench
项目主页：
https://opennlplab.github.io/avsbench/
新任务、新的数据集，搞算法的又有新坑可以卷了。
据最新放榜结果，该论文已被eccv 2022接受。
精准锁定发声物
听觉和视觉是人类感知世界中最重要的两个传感器。生活里，声音信号和视觉信号往往是互补的。
视听表征学习（audio-visual learning）已经催生了很多有趣的任务，比如视听通信（avc）、视听事件定位（avel）、视频解析（avvp）、声源定位（ssl）等。
这里面既有判定音像是否描述同一事件/物体的分类任务，也有以热力图可视化大致定位发声物的任务。
但无论哪一种，离精细化的视听场景理解都差点意思。
△ avs 任务与 ssl 任务的比较
视听分割“迎难而上”，提出要准确分割出视频帧中正在发声的物体全貌——
即以音频为指导信号，确定分割哪个物体，并得到其完整的像素级掩码图。
avsbench 数据集
要怎么研究这个新任务呢？
鉴于当前还没有视听分割的开源数据集，研究人员提出avsbench 数据集，借助它研究了新任务的两种设置：
1、单声源（single-source）下的视听分割
2、多声源（multi-sources）下的视听分割
数据集中的每个视频时长5秒。
单声源子集包含23类，共4932个视频，包含婴儿、猫狗、吉他、赛车、除草机等与日常生活息息相关的发声物。
△avsbench单源子集的数据分布
多声源子集则包含了424个视频。
结合难易情况，单声源子集在半监督条件下进行，多声源子集则以全监督条件进行。
研究人员对avsbench里的每个视频等间隔采样5帧，然后人工对发声体进行像素级标注。
对于单声源子集，仅标注采样的第一张视频帧；对于多声源子集，5帧图像都被标注——这就是所谓的半监督和全监督。
△对单声源子集和多声源子集进行不同人工标注
这种像素级的标注，避免了将很多非发声物或背景给包含进来，从而增加了模型验证的准确性。
一个简单的baseline方法
有了数据集，研究人员还抛砖引玉，在文中给了个简单的baseline。
吸收传统语义分割模型的成功经验，研究人员提出了一个端到端的视听分割模型。
△视听分割框架图
这个模型遵循编码器-解码器的网络架构，输入视频帧，最终直接输出分割掩码。
另外，还有两个网络优化目标。
一是计算预测图和真实标签的损失。
而针对多声源情况，研究人员提出了掩码视听匹配损失函数，用来约束发声物和音频特征在特征空间中保持相似分布。
部分实验结果
光说不练假把式，研究人员进行了广泛实验。
首先，将视听分割与相关任务的6种方法进行了比较，研究人员选取了声源定位（ssl）、视频物体分割（vos）、显著性物体检测（sod）任务上的各两个sota方法。
实验结果表明，视听分割在多个指标下取得了最佳结果。
△和来自相关任务方法进行视听分割的对比结果
其次，研究人员进行了一系列消融实验，验证出，利用tpavi模块，单声源和多声源设置下采用两种backbone的视听分割模型都能得到更大的提升。
△引入音频的tpavi模块，可以更好地处理物体的形状细节（左图），并且有助于分割出正确的发声物（右图）
对于新任务的视听匹配损失函数，实验还验证了其有效性。
△视听匹配损失函数的有效性
one more thing
文中还提到，avsbench数据集不仅可以用于所提出的视听分割模型的训练、测试，其也可以用于验证声源定位模型。
研究人员在项目主页上表示，正在准备比avsbench大10倍的avsbench-v2。
一些视频的分割demo也上传在主页上。感兴趣的话可以前往查看~
了解闪存模数转换器-Understanding Flash
对称稳压电源电路图讲解
了解PCB保形涂料标准
有了这款智能家居方案,还担心家里东西被盗么？
闪电网络存在一个严重缺陷将会影响比特币
研究者提出了一项新的视听分割任务
路由器内置防火墙
iQOO 3评测 软硬件双双交上满意答卷
苹果iPhone7将搭载A10处理器，照片曝光
甘肃：加快智能电网建设，推进能源供给侧结构性改革
5G的竞争中国能否可以胜出
提起英国，你会想到什么？全世界人工智能和数字驱动型创新的中心
Semtech HotSwitch保护IC在贸泽开售 为各类电子系统提供高效的安全防护
什么是视保屏
浅析多相机SLAM系统及其在自动驾驶中的应用
GoPro 推出 The Remote 远程蓝牙遥控器，可同时控制 5 台相机
UPS不接连电源的原理及分类
C6748实验室建设方案书 【TL6748-PlusTEB】
韩国芯片库存增幅创下6年多来最大;医疗机器人赛道受资本追逐
eWisetech：一加7 Pro的90Hz三星流体屏占成本四分之一