说到纯视觉的自动驾驶方案,大家第一个想到的就是tesla吧。的确,早在2021年,tesla就已经实现了纯视觉的bev检测方案,而且效果非常好。
细心的同学可能发现了,这套bev方案中将相机空间的图像转换到bev空间的核心组件就是transformer。
transformer来源于自然语言处理领域,首先被应用于机器翻译。后来,大家发现它在计算机视觉领域效果也很不错,而且在各大排行榜上碾压cnn网络。
目标检测领域中,视觉transformer不仅可以实现2d检测、3d检测,还可以实现多模态检测,bev视角下的检测,性能也非常出色。
因此,掌握transformer相关知识和工程基础成为了企业招聘算法工程师的一个技能要求点,也是简历上的一个很大的加分项。
然而,想要掌握基于transformer的目标检测算法,有以下3个难点:
理解transformer背后的理论基础,比如自注意力机制(self-attention), 位置编码(positional embedding),目标查询(object query)等等,网上的资料比较杂乱,不够系统,难以通过自学做到深入理解并融会贯通。
掌握基于transformer的目标检测算法的思路和创新点,一些transformer论文涉及的新概念比较多,话术没有那么通俗易懂,读完论文仍然不理解算法的细节部分。
2
transformer代码不易看懂,因为作用机制与cnn有不少差别,所以完全理解代码并实践应用需要花费很大功夫。
3
图文并茂Layout对开关电源的重要性
中国电信利用5G SA独立组网技术,为青岛电力输电等提供数字化服务
激光电视的质量怎么样,它能否扛得住315这一关
NB-IoT和LoRa的无线射频芯片厂商盘点
一文解析天线罩的分类、目的、结构设计
基于Transformer的目标检测算法难点
诺基亚的Future X 5G网络能够帮助企业提高生产力
佛山设3亿智造产业基金 打造机器人全产业链
变频器过电压故障原因分析及对策
华为mate10什么时候上市?华为mate10最新消息:麒麟970+8GB,前后徕卡双摄,这样的华为mate10你不期待?
固定宽带已迈入千兆时代 100Mbps百兆及以上接入速率占比已达85.4%
蓄电池容量与性能和温度关系的分析
钴酸锂电池的能量密度_钴酸锂电池的应用
S9018单管超再生FM接收电路,FM receiver
织物透湿量测试仪的主要用途及技术特点介绍
春风极核AE8电机控制器拆解分析
晶丰明源推出BP3529/BP3527E隔离恒压/恒流芯片
数据结构是什么_数据结构有什么用
vivo正式发布X60系列:首发全新OriginOS系统
中国联通正式公布了微型DC供应商招募结果