芯片厂商作为底层“推进器”,助力智驾方案快速规模化量产落地

前言  目前,德赛西威、福瑞泰克、宏景智驾、禾多科技、大疆车载、知行科技、纵目科技、易航智能、智驾科技等二十几家国产供应商已经宣布并推出了各自的行泊一体解决方案,并陆续拿到了相关主机厂的前装量产定点项目。
是否搭载行泊一体方案已成为衡量各主机厂上市车型竞争力的一项重要参考指标。各大主机厂都在加快推进行泊一体方案的规模化量产落地进程,以期占据更多的主动权。从2023年开始,包括比亚迪、吉利、长城、上汽、长安、奇瑞等在内的传统主机厂也已经或计划开始将行泊一体域控制器解决方案逐步扩展应用到后续的重点车型平台中。
据工信部以及相关研究部门数据显示,在产业规模方面,2022年中国市场搭载辅助驾驶系统的乘用车新车销量达700万辆,同比增长45.6%,市场渗透率提升至34.9%。
其中,2022年中国市场(不含进出口)同时前装标配搭载行车+泊车功能的乘用车上险量达到260万辆,前装标配搭载行泊一体域控制器的上险量约为78万辆,占比达30%。
随着主机厂加速推进智驾功能的上车进度,据相关机构预测,2023年中国乘用车市场行泊一体域控方案交付量有望突破150万辆。
智能驾驶系统供应商的产品战略逐渐明朗
当前,智能驾驶产业已经进入了以“规模化量产”为核心的下一个竞争周期。
也就是说,现在大家开始把重点放在了主流的l1~l2/l2+市场。智能驾驶系统供应商若要在此主流市场抢占尽可能多的市场份额,是否具备全栈自研的能力,是否能够基于标准化的产品平台,给出多元化的产品方案是其核心竞争力。
当前,国内智能驾驶系统供应商大都在走软硬一体的技术路线,各自的产品战略路线也逐渐趋向一致:adas前视一体机、轻量级行泊一体域控方案和高阶行泊一体域控方案。
1.1 adas前视一体机
1)市场定位:主要用于实现l1~l2级别、行车场景下的辅助驾驶功能,比如fcw、aeb、acc、lka等。可支持的传感器方案为1v或1~5r1v,主要应用于10~15万价格区间的中低端车型。
2)芯片方案:soc + mcu
3)合作诉求:主机厂希望提供“交钥匙”的解决方案,产品具有较高的性价比,并且能够满足e-ncap 、c-ncap 等法规标准要求。
1.2 轻量级行泊一体方案
1)市场定位:主要用于实现l1~l2级别的驾驶辅助功能,即基本的行车adas功能+泊车avm或apa等功能。功能应用场景相对简单,系统对功能安全要求也相对较低。
可支持的传感器方案为5r5v和5r6v,主要应用在15~25万价格区间的中低端车型。此类行泊一体解决方案对成本的敏感度较高,比较注重性价比。
2)芯片方案:单soc芯片方案和多soc芯片方案
目前市场上常见芯片方案主要有:
单soc芯片方案:单j3、单tda4vm/单tda4vh 、 单a1000l/a1000等。接下来,还会有安霸cv72aq、芯驰v9p等芯片加入到单soc芯片轻量级行泊一体方案的竞争中去;
多soc芯片方案:双tda4vm、双j3、3*j3、j2/j3+tda4vm等;
3)合作诉求:主机厂希望自己只做需求定义,剩下工作全部交给一个可靠的tier1去完成。这样有利于新产品和新功能的快速交付,增强车型在市场上的竞争力。
主机厂比较看重tier1的技术成熟度和稳定性、成本管控能力和落地效率,因此,tier1的竞争力在于是否能够在相对较短的周期内帮助主机厂开发出一款高性价比的产品。
某tier1智驾负责人曾对外谈到,“我们需要在客户的目标成本承受能力上来做到其想要的功能,这是核心逻辑。所以,这个市场比拼的是谁能在有限的成本内做到行业最好的体验,而不是不计成本的去做一些东西。”
1.3 高阶行泊一体方案
1)市场定位:用于实现l2+及以上级别的高阶智能驾驶功能,比如行车中的高速/城区noa及泊车中的hvp或avp等功能。功能应用场景比较复杂,系统对功能安全要求也比较高。
可支持的传感器方案为 5r/10v+/1~3l,主要搭载于25万以上的中高端车型,成本方面承受度相对较好。它的定位是作为高端和科技感的产品,是主机厂的技术高点和品牌宣传亮点。
2)芯片方案:单soc芯片方案和多soc芯片方案
目前市场上已经量产或者规划中的芯片方案主要有:
单soc芯片方案:单j5、单orin/单orinx 、单a1000pro 、单cv3-ad等;
多soc芯片方案:双j5、双orin/单orinx 、2*sa8540p+sa9000p等;
3)合作诉求:主机厂都希望能够全栈自研。实力比较强的主机厂会直接选择和芯片厂商合作,由芯片厂商提供芯片及相关工具链,硬件集成工作外包,自己做整个系统方案设计、中间件以及上层应用算法开发。
虽然,实力弱一些的主机厂没有能力去搞全栈自研,但也希望能够尽可能深入地参与进来。对于不擅长或搞不定的部分,他们会找产业链上的合作伙伴寻求帮助,比如,自己负责部分上层应用算法开发,其余部分交给供应商去完成。在供应商选择上,他们倾向于找在合作领域实力比较强,并且合作心态也比较开放的供应商,能够在合作中帮助他们一起成长。
不同的细分市场,不同的芯片需求
2.1 adas前视一体机 - 一个不可忽视的市场
随着轻量级行泊一体方案的逐渐规模化落地,adas前视一体机还有市场空间么?
多数业内人士一致认为:中短期内,前视一体机的市场空间还很大。现阶段,行泊一体方案的渗透率还很低,但基础泊车功能的渗透率已经相对很高了。
据相关数据显示,2022年360全景环视功能在国内乘用车市场的装配率已经达到30.87%,而行泊一体域控制器的装配率还未达到10%。从车型价位区间的分布来看,10-15万价格区间的车型是全景环视或apa功能交付占比最高的市场区间。
对于这样价位区间的车型,如果在改款换代车型上再加一个前视一体机,便可快速增加行车智驾功能体验。不少主机厂已经把加装前视adas功能作为中低端车型提升销量的一个重要宣传卖点。
那么,前视一体机对内部集成的主控芯片有哪些要求呢?
前视一体机即摄像头模组、控制单元ecu和算法被整合在一起。控制单元ecu主板上一般配置2 颗主控芯片,分别被称之为“安全核”和“性能核”——“安全核”一般选用控制类的mcu芯片,负责车辆控制任务,对安全性要求高,需要达到asil-d等级,但对计算性能要求不高;“性能核” 一般选用计算类的ai芯片,需要承担大量计算任务,但对功能安全要求相对不高。
前视一体机系统框图(图片来源:英恒官网)
其中,控制类mcu芯片,无论是技术还是市场应用都已经很成熟,便不做过多讲述。这里重点聊一下,企业在做前视一体机的ai芯片(性能核)方案选择时,会重点考虑的因素:
1)低成本
通常情况下,adas前视一体机的硬件和软件深度耦合。对于主机厂而言,他们不太在乎供应商到底用什么样的芯片,主要看产品整体的性能和成本。而前视一体机的市场定位决定了其内部使用的ai芯片对成本比较敏感。
安霸软件研发高级总监孙鲁毅介绍说:“安霸现有的cv22系列芯片适用于前视一体机,主打10~15万价格区间的主销车型市场。基于cv22系列芯片打造的前视一体机,已经在一汽红旗、广汽埃安、合众等多个品牌车型上实现前装量产应用。同时,我们最近也推出了cv72aq,拥有更高的ai算力和更强的cpu性能,支持更先进算法,比如bev, 可开发基于8mp的1v1r或者1v纯视觉等方案的前视一体机市场。”
2)低功耗
adas前视一体机的摄像头模组和主板ecu集成在一起,布置在内后视镜的背面。考虑到车内的美观以及安装位置,一体机的外形尺寸也不能太大。这些因素便决定了它对芯片的功耗要求特别高,尤其是要保证高温环境下长时间连续工作的稳定性。
低功耗不仅可以消除前视一体机在长时间工作过程中由热量累积所带来的种种安全隐患,还可以简化散热设计,有效降低电源成本,进而节约整个 bom 成本。“相比于系统功耗在5~6w的soc芯片,核心系统功耗在2w左右的安霸cv系列soc芯片的散热方案设计就要简单很多,成本也会随之降低。比如,前者需要在周围安装更多的金属散热片并且采用更大的外壳设计而导致成本增加。”安霸孙鲁毅讲到。
2.2 轻量级行泊一体 - 全时单soc芯片或将成为主流
总体而言,轻量级行泊一体解决方案大体可以划分为:
全时运行多soc芯片方案
分时复用单soc方案
全时运行单soc芯片方案
对于轻量级行泊一体域控,目前已经量产的方案大多是全时运行多soc芯片方案或需要分时复用的单soc芯片方案;
对于多soc芯片方案,每个soc芯片需要适配独立的ddr存储器、pmic电源管理模块等配套部件,并且soc芯片之间还需要通过网络或者pcie等方式进行数据交互,这在一定程度上增加了功耗和系统复杂度。同时,后期的维护成本以及整个系统的bom成本也会随之增加。
另外,如果还不是统一采用同一家厂商的芯片,而是两家甚至三家,那么tier1的开发工作量会增加很多,需要开发人员同时去研究和开发不同家的芯片,一旦两边出现不一致的情况还需要花费较大的精力去“对齐”。后期还要考虑两边升级的情况以及长期的供应链维护。
正因为上述的一些问题,单soc芯片的域控方案正在逐渐替代多soc芯片方案,成为市场主流。不过,单soc芯片轻量级行泊一体方案也存在分时复用和全时运行的区别。
在一些轻量级行泊一体域控方案中,由于主控soc芯片本身性能的局限性,比如cpu算力或者ai算力不足,无法同时调用和处理行车和泊车全部传感器的数据,便会采用分时复用的方式。
但是,分时复用的方案也会存在一些问题,有一些功能无法实现或者体验不好。
在一些泊车场景下,比如要实现hpa或avp泊车功能,在进入停车场寻找车位的过程中,仅依靠泊车的环视摄像头和超声波雷达的感知是不够的,需要使用行车的前视摄像头或毫米波雷达来探测远距离目标或微小物体,进行提前避让或绕行,解决紧急避障的问题。
同样,行车下的某些场景也需要利用泊车的传感器数据进行辅助支持。比如,相邻车道车辆cut in场景,在没有侧视摄像头的情况下,需要利用环视摄像头探测近距离切入车辆,来提高对后车切入预判的准确性。
在这些场景下,需要行车和泊车的传感器同时工作。全时行泊一体方案会有更好的功能体验。
据孙鲁毅透露,如果用单soc芯片去做全时运行的行泊一体方案,并且支持5r5v或5r6v的传感器配置,cpu的算力大概需要20kdmips左右,如果有硬件加速,cpu算力需求可相应降低,ai有效算力大约需要十几个tops。 
对于全时运行的行泊一体方案,用单soc芯片替代多soc芯片,所需要的不仅是更大的cpu算力和ai算力。在soc芯片的架构和设计方面,还需要:
预留足够多的传感器接口,支持足够多的传感器接入;
配置足够容量的各类存储器和足够大的内存带宽,保证数据的传输和计算效率。
cv72aq内置2颗arm cortex-a76 cpu内核,cpu算力为20kdmips,ai等效算力达24tops,可很好地支持单soc芯片5v5r/6v5r全时运行的行泊一体方案。
cv72aq芯片框架图
cv72aq集成第三代cvflow ai加速引擎,高效支持多种神经网络的运行;可以支持最高8mp90(720mp/s)的图像处理和同步视频编码;同时,集成了新一代isp,在极低光照下亦能提供出色的高清图像。
“ 安霸新一代isp支持多路摄像头的控制和曝光同步,也可以对多路图像输入进行独立isp处理。我们在不同领域市场应用中积累下来大量图像处理经验,如hdr算法,自动曝光控制等,如今在汽车市场应用中确立了比较明显的优势。
“ 另外,我们国内的研发团队可以帮助客户做深度图像优化,比如,由于摄像头类型不同,isp需要分别针对泊车鱼眼摄像头和行车前视摄像头根据现场测试进行参数调节,来达到最佳性能。另外,如果从镜头进来的带有畸变的图像直接喂给客户的ai算法后,可能对算法准确度会产生影响,因此,安霸cv芯片还可以通过isp对图像进行畸变矫正。”安霸中国区总经理冯羽涛介绍说。
2.3 高阶行泊一体 - 多soc 芯片方案还会继续存在么?
从今年开始,对于高阶行泊一体市场,单soc芯片方案的市场呼声也越来越大。在以前,高阶行泊一体方案对于成本的敏感度其实并不高。但是,随着车市“价格战”持续压力的影响下,即使是对于一些中高端车型,主机厂也不得不考虑降本。
对于大算力高阶行泊一体域控制器,为什么早期最先出现的是多soc芯片方案?经调研分析,大致可能的原因如下:
1)早期,满足性能需求且各方面性能比较均衡的soc芯片比较少。
2)对高阶智能驾驶方案理解还不透彻,到底需要多少算力,需要多少摄像头,要不要上激光雷达,大家也不太清楚。那时尚处于“摸着石头过河”的探索阶段。
因此,出现了所谓的“算力预埋”。甚至,在那段时间,国内市场上还掀起了算力的“军备竞赛”,把“算力高”作为宣传噱头。
据有关业内人士透露,即使现在,这些搭载双orin-x 芯片的车型,其实算力也没有被充分使用完,可能也就用到了1.2~1.5个,余下的性能和算力用于后续算法的迭代。
如果这些车型改用单orin-x芯片方案来实现,意味需要做算法裁剪,需要一定的开发工作量。但迫于“降本”的压力,对于大改款或者新开发的车型平台,主机厂还是会倾向于去重新开发单soc芯片方案。
不少业内人士普遍认为,若要支持单soc芯片高阶行泊一体方案,该芯片的cpu算力至少需要150kdmips,ai算力至少需要100tops。因为此方案需要支持接入更多路、更高分辨率的摄像头,甚至还需增加4d毫米波雷达、激光雷达等感知传感器,并且运行的神经网络模型也要更大、更复杂,cpu算力和ai算力的需求相比于轻量级行泊一体方案都会呈现7~10倍的增长。
安霸在2022年发布了cv3-ad-high 旗舰版芯片,内置16颗arm cortex-a78ae cpu内核,cpu算力为270kdmips,内置6颗神经矢量处理引擎 nvp 单元,以运行transformer网络为例, 其ai等效算力达到业界已量产gpu旗舰域控芯片6倍的水平,能够很好地支持大算力单soc高阶行泊一体方案。
“单颗cv3-ad芯片支持接入多达20颗摄像头,并兼容毫米波雷达、激光雷达和超声波雷达等多种类型传感器。此外,cv3-ad芯片支持的单soc芯片的高阶行泊一体方案,可实现包括物体检测、物体分类、画面分割等深度融合的计算,以及规划和控制等诸多功能。”冯羽涛表示。
单soc芯片方案的选择和实施取决于主机厂的需求、芯片的选型以及系统架构方案的选择等多方面的因素。并且,单soc芯片方案也不一定是最优解。
某tier1智驾负责人曾对外讲道:“总体来说,单soc芯片行泊一体方案有利于优化硬件成本和开发成本。但域控制器硬件性能并不是越强越好,还是需要匹配具体功能、性能以及应用场景。多soc芯片方案虽然存在片间数据传输带宽、通信延迟等问题,但也可以通过相应的技术手段来优化和解决。”
对于高阶智能驾驶的解决方案,为了降本,国内主机厂多数都会去考虑采用单soc芯片方案,但是,也会有主机厂尤其是国外传统主机厂可能选择采用1大1小(或者1主1副)的双soc芯片方案。
采用这样的方案有两个作用:当主soc芯片算力不够用的时候,副soc芯片可以用于补足性能。另外一种作用是用于功能冗余备份 —— 当主soc芯片工作失效的时候,副soc芯片可以用于自动执行最小风险策略mrm,实现安全停车等操作。
”最理想的芯片选型方案是主副芯片都用同一家,比如主soc芯片用安霸高规格的cv3-ad,副soc芯片用低规格的cv3-ad,cv3-ad系列芯片硬件和软件架构相互兼容,在其中一款cv3-ad芯片里面做的开发工作,如底层的驱动、中间件以及上层的应用算法,能够更便捷、更高效地移植复用到另一款cv3-ad芯片上,从而减少开发人员工作量,缩短开发周期。”孙鲁毅介绍说。
芯片厂商如何更好地去满足不同细分领域的市场需求
进入adas前视一体机、行泊一体市场进行“厮杀”,芯片厂商之间比拼的是什么?反过来讲,主机厂对芯片的需求到底是什么?对于不同细分领域的市场,主机厂的需求也会有所不同,那么,芯片厂商就需要按“需”而“供”。
总体来看,智驾产品市场已经呈现出了多元化的需求,不同价格区间的车型需要不同的智驾解决方案,不同的智驾解决方案对芯片的性能、成本等要求也有所不同。
因此,芯片厂商是否具有适合不同细分市场需求的产品线规划,以及芯片的可落地性如何,都将直接影响其芯片是否够打入市场,并快速实现规模化量产落地。
3.1 前期做好充分的市场需求调查,做好roadmap规划
现阶段,芯片厂商在整个自动驾驶产业链中的地位发生了显著变化—— 他们从“幕后”走向“台前,开始直接和最下游的客户——主机厂进行“对话”。因此,它的“掌控权”在变大,既可以帮助tier1拿项目,也可以直接和主机厂展开深入合作。 
孙鲁毅说:“我们逐渐体会到,需要跟主机厂进行更好、更深入的沟通交流。只有这样,芯片厂商才能更好地理解主机厂需要什么样智能驾驶方案 —— 是需要单纯的adas前视一体机,还是轻量级的行泊一体,亦或者是高阶的行泊一体,打算配置什么样的传感器(多少颗摄像头、多少颗毫米波雷达,多少颗激光雷达),是否用高精地图;有什么样的成本控制目标;sop的时间如何安排等等。只有充分了解主机厂的需求,找到双方的‘切入点’,才能更快、更顺利地展开合作。”
对于前视一体机和轻量级行泊一体域控,主机厂通常不会考虑自研,大多会选择外包给tier1,因此,芯片厂商需要通过与tier1以及算法公司密切合作来间接地帮助主机厂实现行量产项目的快速落地。
对于大算力行泊一体域控,主机厂比较重视,一般会选择自研,因为它是体现主机厂差异化和品牌力的重要部分。芯片厂商作为参与方需要直接与主机厂展开密切合作 —— 为其提供芯片及相关配套工具链。
因此,芯片厂商只有充分做好前期市场调查,了解市场的需求,做好芯片产品的roadmap规划,才能更好地应对主机厂在不同细分市场的产品需求。
某tier1智驾域控系统负责人表示,他们前期在进行智驾域控产品设计,做芯片选型的时候,除了考虑芯片本身的参数指标和性能之外,还要看该芯片厂商是否有连续的roadmap,也就是说,是否有灵活的家族化芯片系列,能否pin to pin地在硬件平台上升级,这关系到后续域控产品是否能顺利地进行迭代升级。
当笔者问到安霸在制定芯片roadmap时,参考依据是什么的时候,孙鲁毅回答道:“首先,要考虑市场需求,针对市场需求制定我们的计划,然后按照计划再把它细化成可行性的技术目标,比如,cpu要达到多少dmips,ai算力要达到多少tops;周围要放多少个百兆或千兆的以太网接口,高清摄像头接口需要多少个等等。
“其次,在芯片设计上加入前瞻性的考量。比如,我们尽可能在成本提高不明显的时候,保持芯片功能和硬件设计的灵活性,后续可以通过ai工具链的升级,去支持一些新的网络模型。”
因为自动驾驶算法迭代比较快,一款芯片在设计的时候,如果没有深入考虑到对未来可能会用到的一些算法的支持。那么,便会可能出现客户用了这款芯片以后,过了两年后,假如新的算法不支持,会给现有产品性能的迭代升级带来困难。因此,如何做好对未来主流算法的预判和识别,进而让算法和软件更好地指导芯片的硬件架构设计,是芯片厂商必须要做好的基础功课。
“安霸的芯片架构属于高度可编程的asic架构,具备asic芯片的一些高效率、低功耗的特点,但是其视觉dsp具备一定可编程性,并且,ai引擎非常灵活。通俗一点理解,大家可以认为芯片里边有很多像乐高一样的‘积木’单元,通过软件配置,便可以把这些‘积木’单元组合成一些新的计算单元,进而更好地去支持新的算法。”孙鲁毅补充说道。
当前,安霸的ai芯片的产品线非常丰富,基本可从低到高覆盖智能驾驶领域的各种应用。比如,针对前视一体机市场,既有主打低端市场的cv22aq,又有主打中高端市场的cv72aq;对于行泊一体市场,有主打轻量级行泊一体市场的cv72aq和高阶行泊一体市场的cv3-ad系列产品。
安霸中国区总经理冯羽涛表示:“上海车展重点推出的cv72aq代表了我们对轻量级行泊一体域控这个市场需求的理解。现在市面的主流方案基本上是分时处理。基于cv72aq的单soc芯片方案可以做到真正的全时行泊一体,它既能提供充足的性能,整体成本又可以控制在非常合理的范围。”
cv72aq支持单soc芯片全时行泊一体方案
单soc芯片(cv72aq)全时行泊一体方案,传感器配置参考方案:
5v5r —— 1*前视8mp(30帧率)+ 4*环视3mp(30帧率)+ 5 * 毫米波雷达
6v5r —— 1*前视8mp(30帧率)+ 4*环视3mp(30帧率)+ 1* 后视2mp(30帧率)+ 5 * 毫米波雷达
另外,cv3-ad芯片为系列产品,2022年安霸发布了cv3-ad-high旗舰版本,今年又发布cv3-ad685,随后还会陆续发布ad665和ad655等相关系列产品,覆盖不同性能和成本区间,更好地满足客户的多样化需求。
cv3-ad685芯片框架图
“cv3-ad产品已经很成熟,并且有不少生态合作伙伴在应用,比如大陆集团、博世都在cv3-ad上做了很多的评估和开发工作。国内我们官宣的合作伙伴主要是宏景智驾。他们在本届车展上有基于cv3-ad计算平台的展示。同时我们还跟很多tier1和主机厂都在持续沟通和项目评估过程中。”冯羽涛介绍说。
3.2 具备更好的可落地性
”从产品的角度来讲,我们开发域控进行芯片选择时,首要关心的是芯片的可落地性,这是我们的最高优先级。”某tier1域控研发总监曾对外坦白讲到。
那么,芯片可落地性应该从哪几个方面去判断呢?通常情况下,芯片的可落地性可以从芯片的质量控制和供应稳定性、工具链的易用性以及芯片厂商的本土化服务能力三个层面去考察。
1)芯片的质量控制和供应稳定性
通常来讲,看一家芯片的可落地程度,首先要看其是否具有高标准的质量控制能力和稳定的供应链体系,这个是最基础,也是最重要的考量指标。
孙鲁毅谈到:“安霸具有高标准的质量控制和供应稳定性。比如,我们具备iso9001质量管理体系认证和汽车质量管理体系iatf16949认证。
“另外,安霸也具备丰富的芯片功能安全设计与量产经验,比如cv2fs芯片已经获得全芯片设计asil-c等级 ,功能安全岛asil-d等级,由exida官方认证,软件也符合iso26262要求。
“cv3-ad芯片也带有asil-d功能安全岛,整颗芯片可达到asil-b等级。另外,对于有功能安全需求的项目,安霸能够提供完整功能安全文档和设计。”
2)工具链的成熟度及易用性
目前业内也形成了比较一致的看法:只有足够开放的芯片平台以及经过规模量产打磨、成熟完善的配套工具链,才可以真正意义上帮助tier1及主机厂缩短开发周期,进而降低开发与量产成本。
安霸总裁兼首席执行官王奉民对这一观点也表示赞同,并介绍说“安霸的ai芯片早期最先是应用在安防市场。在安防市场上,使用安霸芯片做的产品大概超过200项,芯片上面跑的神经网络模型大概有300-400种。
“这些神经网络模型训练完以后,客户会通过我们的cvflow工具链把这些神经网络进行优化后再部署到芯片平台上去跑,如果发现精确度还达不到,再重新去优化,直到精确度达到要求为止。同时,我们的工具链也会在整个应用闭环过程中不断地进行迭代优化。通过长时间的量产经验积累,我们已经可以为客户提供非常完整,并且成熟可靠的一套软件工具链。”
业界甚至有一种说法:“三分凭努力,七分靠工具”。也许有一些夸张的成分,但也在一定程度上说明了芯片工具链的重要性。一个完整、易用、且成熟稳定的工具链可以让开发人员在进行算法移植时事半功倍。
“安霸 sdk 自带的移植工具成熟完善。仿真,调试,分析诸多工具一应俱全,面面俱到。整个算法移植过程可以做到全自动化完成,实现从用户算法模型导入,到稀疏化调优、量化、编译转换,最后到上板执行的整个过程。
同时,它支持 caffe、tensorflow、pytorch、飞桨等业界流行的训练框架,完美兼容各种开源网络和客户自有的神经网络。”安霸深圳分公司总经理刘清涛曾在一次论坛上对外谈到。
关于芯片工具链的应用,有一个令笔者感兴趣的点 —— 非结构稀疏。笔者了解到市面上不少芯片其实并不支持非结构稀疏或者经过非结构化稀疏后效果并不理想。
那么,到底是什么是非结构稀疏,安霸的芯片和工具链是否支持非结构化稀疏呢?
神经网络模型的非结构化稀疏和再训练
安霸软件研发高级总监孙鲁毅以上图作为参考跟笔者进行了耐心的讲解。
通过上图可以看到:首先,通过稀疏化工具对原始神经网络模型进行稀疏化处理,处理之后,神经网络上的节点数并没有减少,但是节点与节点之间的连接线减少了。两个节点之间有连接线代表两个节点之间要进行信息传输。神经网络模型在数学上的表示就是矩阵阵列。对于很多神经网络模型的矩阵阵列,中间会有很多0。稀疏化就是要想办法把这些0的部分清掉,即所谓的矩阵清零。
在运行ai运算的时候,一般采用8 bit或者16bit定量化。例如,采用8 bit定量化以后,原先的数值最后都要被转换成为0~255范围之间的值。
因为数值的分布不一定是均匀的,有可能原有网络中会存在大量偏小的数据,在进行8bit量化后,会出现一大半都是0的情况。这样的矩阵在数学上叫做稀疏矩阵。零进行乘加最终结果还是0,因此0参与计算是没有效果的。稀疏化的意义就是对矩阵中为0的元素优化,最大化地减少无意义的数据搬运和计算。
孙鲁毅讲到:“网络模型在放进cvflow进行计算的时候,cvflow会自动跳过哪些0的计算,这样便会减少一些不必要的数据搬运。cvflow支持非结构化稀疏,即不管矩阵中的0是分散的,还是连续的,都可以进行稀疏化操作。这种稀疏化对为0的位置不做要求,所以叫做‘非结构化稀疏’,安霸cv芯片支持非结构化稀疏网络的高效运行,经过稀疏化的网络可以获得几倍于原有网络的推理速度,这一优势已在大量项目成功应用。
非结构化稀疏和客户的网络训练也可以有机地结合起来。“相比于原来的矩阵,经过稀疏化后的矩阵在精准度上肯定会存在一些误差。但在合适的稀疏化比例下,这种损失非常小。
“ 参看上图,在第四步,把稀疏后的网络放到原来的训练集进行再次训练,以提高网络的精度。我们发现大部分网络,经过重训练后,可以非常接近原先的精度。
“ 从2018年到现在,我们已经做了5年的非结构化稀疏的量产工作,中间服务过很多国内和国外的大客户,大量的项目量产帮助安霸积累了丰富的稀疏化应用经验。”
3)本地化的服务能力
对于芯片厂商而言,帮助客户实现智驾产品的快速落地,除了要为客户提供好用的工具链之外,还要有能力为客户提供良好的本地化服务。
安霸在中国有200多位员工,大部分从事核心技术开发和对应的技术支持工作,并且,核心成员拥有超过10年的芯片硬件、软件开发以及客户支持经验。
在业务上,上海团队重点是底软和sdk开发、硬件参考设计、图像算法开发及调试、ai工具链开发维护,中间件开发等。
“我们专注于国内汽车市场,客户在开发过程中即使遇到非常底层的问题,无论是从硬件设计还是软件开发、图像优化、算法移植等方面,安霸都有专职团队在本地就可以快速解决。”安霸深圳分公司总经理刘清涛曾对外表示。
结语
不管是轻量级行泊一体方案,还是大算力高阶行泊一体方案,在硬件层面,会朝着通用化、平台化的趋势发展,并最终形成相对稳定的硬件架构方案和标准化的电路设计。
在软件层面,会形成通用化的软件架构,具备较好的开放性和稳定性,而且能够满足较高的安全性需求,兼容不同级别自动驾驶、不同芯片平台,适应主机厂不同细分市场车型的差异化需求。
但是,在域控制器内部芯片方案的选择上,短期内不太可能统一。毕竟主机厂之间也要进行差异化的竞争,他们也希望市场上存在多样化的芯片方案可供选择,而不是被一两家芯片厂商所垄断,进而失去作为“甲方”所应有的选择权和话语权。
尽管现在整个智能驾驶市场上竞争很激烈,但随着市场的逐渐成熟,大家会也将慢慢回归理性。无论是产品还是技术,最终都还是要回归到产品价值和用户价值中去。


华为在内的多家公司完成了5G毫米波功能、射频和外场性能
无人机倾斜摄影三维建模技术助力整体智慧城市空间数据的搭建
Can通信协议栈数据流及配置
开发者应如何学习才最有效?时间会告诉你哪种技术值得投入精力去学习
基于多相滤波的数字信道化阵列接收机
芯片厂商作为底层“推进器”,助力智驾方案快速规模化量产落地
Bourns推出电池专用超低电阻值可恢复式保险丝
黄色iPhone 14发售即降价 VERTU告诉你什么才是真正的奢华
大型传统企业与新技术公司如何相互结合创新
dfrobot12V直流减速电机 122rpm 带编码器简介
索尼已经在印度推出了WH-1000XM3耳机
使命召唤手游电脑模拟器,夜神安卓模拟器下载教程
华为P10销量千万太难? 三星S8两天预约55万,小米6在路上
美国宾夕法尼亚州立大学:仿人眼设计,研发新型传感器让相机摆脱滤镜实现高清图像拍摄
军用/航空级电源以及与商用现货或COTS设计相比的主要差异简介
农村能源互联网的现状及问题
shell脚本基础知识汇总4
555声控延时台灯电路
高通究竟有何魔力,搭配高通骁龙835处理器的小米6售价2999米粉不嫌高
军用电解电容器的应用可靠性选择