解析丰田L4级自动驾驶计算平台

2021年4月,丰田汽车在日本市场推出丰田新款mirai和雷克萨斯新款ls,新车配备advanced drive系统,该系统具备l2级自动驾驶技术。前者起售价格为860万日元(约合人民币51.5万元),后者起售价格为1794万日元(约合人民币107.5万元),如果是奔驰s级,这个价格不算高,但对雷克萨斯来说,这个价格是很高的。
说是l2级自动驾驶,实际比特斯拉的fsd要高出一大截,称l4丝毫不过分。之前本田曾经推出全球第一台l3车,实际是只生产100辆,只租不卖。只有丰田的才是真正量产车,不过丰田的价格也是够高的了,销量肯定不高,我想丰田应该非常清楚这一点。估计一年销量只有几千辆,甚至是几百辆,这样一来反而是好事,丰田可以使用非量产的半导体元件。
很多人会质疑夸大了丰田的l2,但仔细研究后就会发现,丰田的l2就是l4级自动驾驶,或者说丰田的硬件系统已经具备了l4级自动驾驶的能力和需求。众所周知l4与l3最大差别是l4能做到fail-operation,即具备两套完全不同的自动驾驶运算系统,一套作为主系统失效时的备份,在主系统失效时,仍能保持自动驾驶。l3则是fail-safety,系统失效时,人工接手,即失效时还要保持安全。像特斯拉或英伟达之类的,设置两个完全相同的主芯片只是提高算力,而不能做后备,既然是主系统已经失效,那么只有与主系统完全不同的系统才是真正的后备,才能真正做到fail-operation。
丰田的自动驾驶系统如上图,不仅计算系统有后备,电源系统也考虑到了,增加了第二块电池系统。主系统即ads ecu,后备为adx。两套系统同时工作,ads负责绝大部分事物,保证基本安全,adx负责锦上添花,让车不仅安全也具备智能。
这一套大约增加了66万日元硬件成本,也就是大约4万人民币的成本,未来或许丰田车可以选装,选装价格估计得20万人民币。加上雷克萨斯ls500h本来就标配的双目系统,构成完整的l4级自动驾驶。这一套系统中前向主激光雷达成本估计最高,大约1-1.5万人民币,两个侧向激光雷达合计大约5-8千人民币,3个ecu估计要1.2-1.4万人民币。软件成本无法估算,要看多少销量了。
传感器方面,主前向激光雷达由电装开发,电装与法雷奥scala的设计如出一辙,只是巧妙地将单向变双向。同时电装可能是二代scala的水准,也是16线设计,但也有可能更高,32线的设计。侧向则是大陆汽车的hfl-110 flash激光雷达。核心的双目系统也是电装开发的。
毫米波雷达还是要的,总共有5个毫米波雷达,都由电装开发并生产,丰田供应链尽量垂直化,能自己做的部件都要自己做,不仅能保证部件性价比极高,也能快速迭代产品,还能保证供应链稳定度。欧美和中国厂家则是能对外采购的尽量对外采购。
ads使用高等级车规元件,使用传统非深度学习算法也就是可确定性可解释性的算法。adx以深度学习算法为主,但深度学习不具备确定性和可解释性,因此永远无法通过功能安全认证,但要车辆智能化而不是仅仅保持安全,深度学习必不可少。adx系统都能胜任90%的自动驾驶任务,但不能保证100%安全,而ads是保证安全,两套系统联用,既能有智能,也能在主系统失效后依旧正常运行自动驾驶,当然这个自动驾驶的时间段不能太长。这就是丰田与大多数厂家的不同,丰田更注重安全,其他厂家更注重智能。
ads里丰田使用瑞萨的主soc,adx里是英伟达的xavier做主芯片。
为什么用瑞萨的主soc,首先是瑞萨是传统车规芯片大厂,对车规和安全更重视,其次是瑞萨与丰田关系紧密,瑞萨的自动驾驶用芯片就是和丰田联合开发的。
上表为瑞萨的股东列表,丰田控股的电装(曾经是丰田的电子与热交换事业部)是第二大股东,最初电装持股只有0.5%,后来陆续花费数十亿美元增持到8.95%。丰田汽车持股2.92%。瑞萨的第一大股东是日本株式会社产业革新机构 (innovation network corporation of japan, incj),这是日本政府与19家民营企业合资成立的投资公司,日本财务省占95.3%的股份,瑞萨可以算日本的半国营企业。那19家民营企业里也包括了丰田。早期incj持有瑞萨股份超过50%,后来将大约8%的股份都转让给了电装。在2017年,丰田、瑞萨和电装建立了自动驾驶合作联盟。
丰田自动驾驶ads可能使用瑞萨最新的r-car v3u。有人会说,按照日程表,r-car v3u要到2023年才量产,这个量产指的是每月都超过1万片的规模。鉴于丰田自动驾驶系统的出货量和丰田与瑞萨之间的紧密合作关系,丰田自动驾驶ads可能使用瑞萨的r-car v3u,在没有大规模量产前,每个月几百片的量还是能满足的。
顺便说一下,中国一汽红旗也决定使用r-car v3u做自动驾驶系统主芯片,但是要到2023年下半年才量产。大众集团的自动驾驶系统也很有可能使用r-car v3u,因为双方在座舱领域已经紧密合作,德国大众和上汽大众都与瑞萨建立了联合实验室。
v3u内部框架如上图,采用8核a76设计,但也不是像特斯拉那样简单堆12个a72,它使用了arm的corelink cci-500,即cache一致性互联。它提供处理器集群之间的完整cache一致性,比如 cortex-a76 和 cortex-a55,而且可以实现 big.little 处理。它还可为其他的设备(如 mali gpu、网络接口和加速器)提供 i/o 一致性。实时锁步cpu是arm的r52,英伟达最新的1000tops芯片atlan也是用了r52。
v3u视觉管线如上图,可以看到v3u有很多硬核计算机视觉模块,包括立体双目视差,稠密光流、cnn、dof、stv、acf等。功能方面包括图像格式化、目标追踪、车道检测、自由空间深度、场景标注、语义分割、检测分类等都具备,类似于mobileye的全封闭算法了。
图像处理主要还是imp-x5+,灵活性应该比mobileye还是要高点。因为针对性比较强,也为了节约成本,降低功耗,瑞萨没有使用太昂贵的gpu,只是简单增加了一个低功耗gpu,即imagination technologies的powervr ge7400,1个着色器集群+32个alu核心,算力只有38.4gflops@600mhz。
r52是arm在2016年发布的专为自动驾驶安全市场供应的内核,cortex-r52最高支持4核心锁步技术,相比cortex-r5,有35%的性能提升,上下文切换(乱序)提高14倍,入口抢占提高2倍,支持硬件虚拟化技术。按照arm的说法,简单的中控系统可直接用cortex-r52,但是像工业机器人和adas(先进辅助驾驶)系统则建议配合cortex-a、mali gpu等提升整体运算。
另外,arm cortex-r52通过多项安全标准认证,包括有iec 61508(工业)、iso 26262(车用)、iec 60601(医疗)、en 50129(车用)以及rtca do-254(工业)等。2021年3月还推出了r52+架构。可以最高支持8个核心锁步。
r52包括三大功能
•软件隔离:通过硬件实现的软件隔离,意味着软件功能互不干扰。对于安全相关的任务,这也意味着需要认证的代码更少,从而节省了时间、成本和工作量。
•支持多个操作系统:借助虚拟化功能,开发人员能够在单个cpu内,使用多个操作系统来整合应用。这样可以简化功能的添加,而无需增加电子控制单元的数量。
•实时性能:cortex-r52+的高性能多核集群可为确定性系统提供实时响应能力,且在所有cortex-r产品中产生的延迟最低。
考虑到成本因素,瑞萨没有使用尖端的7纳米,而是12纳米工艺,并且是从原瑞萨r-car h3的16纳米finfet工艺升级到12纳米ffc工艺,一次性支出很少。但是论到ai性能,丝毫不逊于那些5纳米芯片,瑞萨声称v3u达到了惊人的13.8tops/w的能效比,是顶配eyeq6的6倍之多。
和奔驰一样,丰田从一开始就是以立体双目为自动驾驶的核心。支持立体双目的还有电装、博世、捷豹路虎、斯巴鲁、本田、德国大陆汽车、华为、大疆、铃木和亚马逊与福特投资的电动车品牌rivian。瑞萨v3h和v3u里都有针对双目的硬核处理部分,英伟达的xavier也有。
与单目三目的2d系统相比,立体双目最大的优势是无需识别目标也可以探测目标的3d信息,也更擅长目标的追踪与位置预测。单目和三目摄像头的致命缺陷就是目标识别(分类)和探测(detection)是一体的,无法分割的。
必须先识别才能探测得知目标的信息,而深度学习的穷举法特性导致其肯定会出现漏检,也就是说3d模型有缺失,因为深度学习的认知范围来自其数据集,而数据集是有限的,不可能穷举所有类型,因此深度学习容易出现漏检而忽略前方障碍物,也就是说如果无法识别目标,系统会认为前方障碍物不存在,不做任何减速,特斯拉多次事故大多都是这个原因。
即使特斯拉的hw4.0(fsd beta)算力再高也是l2,也是无法避免漏检的,并且fsd beta版在识别与对于物体的警示功能方面仍有限,对于静态的物体、紧急驶出的车辆、建筑区域、较复杂的十字路口等无法进行辨别。单目三目系统的另一个缺点是静态目标反应要慢。
大部分基于立体双目的算法都是传统几何算法,不是深度学习算法,具备确定性和可解释性。目前提到的自动驾驶算力都是针对深度学习的卷积的,算力再高也与安全无关。针对立体双目,最大运算量在于立体匹配,一般都用硬核完成。
立体双目的缺点是标定困难,需要长时间摸索。算法人才奇缺,生态系统单薄,不像单目三目系统,免费资源无处不在,立体双目需要从内部培养人才,这个过程长达10年以上。这不是特斯拉等厂家能胜任的。宝马都有些吃力,宝马也跟风奔驰用过双目,但效果很差,比单目三目还差,宝马最近基本放弃双目路线。
与大多数自动驾驶系统不同,丰田将定位系统特别点出,称为sis ecu。
自动驾驶的定位有两种,一种称之为绝对定位,不依赖任何参照物和任何先验信息,直接给出无人车相对地球坐标或者说wgs84坐标系,也就是坐标(b,l,h),其中b为纬度,l为经度,h为大地高即是到wgs-84椭球面的高度。
另一种是相对定位,即有参照物或先验信息的定位。有像mobileye这样的视觉众包定位rem,视觉对光线变化很敏感,光线每时每刻都在变化,数据的一致性几乎不可能,逆光与背光完全不一样,某国产轿车逆光下adas系统几乎完全失效,因此准确度很低。
也有基于激光雷达先验信息的定位,准确度极高,但成本也极高,且不可能大范围(几百公里)使用。此外,相对定位无法与标准的高精度配合使用,两者的坐标系、数据格式、接口、时间轴完全不同,标准的传统的高精度地图必须有绝对定位。
绝对定位是不可缺少的,特别是全局规划。而目前绝对定位只能用卫星定位,而卫星定位除了qzss,其余都无法做到自动驾驶的车道级定位。这是l3/l4的瓶颈之一。
之所以说特斯拉是标准的l2级智能驾驶,也是因为特斯拉根本做不到车道级定位,目前全球唯一能做到车道级定位的是凯迪拉克的超级巡航,超级巡航使用了天宝的rtx服务,每年缴纳服务费才取得了车道级定位。
天宝的rtx全球跟踪基站网络在全球部署了120个左右的跟踪基站,对gnss观测值进行实时跟踪和存贮,将gnss观测值时发送给分别位于欧洲和美国的控制中心,控制中心对全星座精密卫星轨道、钟差和大气建模,得到全球精密定位改正数。全球精密位置改正数通过l波段卫星(天宝自己的卫星)或者网络的方式广播给服务授权的终端用户。
特斯拉里的定位只有一个gps。gps模块是neo-m8l-01a-81,水平精度圆概率误差(cep)为2.5米,有sbas辅助下是1.5米,接收gps/qzss/glonass/北斗,cep和rms是gps的定位准确度(俗称精度)单位,是误差概率单位。
就拿2.5m cep说吧,意思是以2.5m为半径画圆,有50%的点能打在圆内,也就是说,gps定位在2.5m精度的概率是50%,相应的rms(66.7%)2drms(95%)。当然很多商家为了参数好看,只给出cep。实际95%概率情况下是6米精度,有sbas辅助95%概率是3.6米精度。已经远超一个车道了。冷启动26秒,热启动1秒,辅助启动3秒。内置简易6轴imu,刷新频率仅20hz,成本不会超过80美分。
日本的gps是特殊的gps,附加了qzss。
早在1972 年,当时的日本电波研究所(现为信息与通信研究所) 就提出了准天顶卫星系统的概念,论证了这种系统很适合日本这样地处中纬度、国土狭长的国家;2002年11月1日正式成立了新卫星商业公司advanced space business corporation (asbc),共有43家企业出资,三菱电机公司、 日立制作所和丰田汽车公司等7家企业持股占77%。
但是事情并不顺利,最后还是由日本政府内务省出面接管qzss项目。日本政府接管后,在2010年9月11日,发射第一颗卫星michibiki,2011年6月1日,正式提供导航服务。2017年6月1日,发射第二颗卫星,2017年8月10日,发射第三颗卫星,2017年10月10日,发射第四颗卫星。日本计划在2023年,将qzss的导航卫星数量增加为7颗,届时将不再依赖美国gps,即可提供位置信息。
2023年-2026年,不加任何地基增强的空间信号测距误差为2.6米,加上地基增强可做到0.8米左右。2027年-2036年,不加地基增强误差为1米,2036年以后,误差为0.3米。qzss接收机上不需要增加任何硬件成本,只增加软件成本,苹果手机就支持qzss。
qzss廉价、高效、广播方式没有带宽的瓶颈,也没有延迟,是最适合自动驾驶的一种技术。缺点是日本国土狭长,7颗星覆盖率就可超过100%,对中美这样的大方块国家,恐怕得几十颗低轨道卫星。这种基础工作,恐怕最少要花数十年以上的时间才能决策批准并实施。
除了绝对定位,丰田也考虑了相对定位,为此增加了一颗远距离摄像头,即立体双目之上的那个摄像头,主要用来检测车道线,配合高精度地图的先验信息,实现相对车道级定位。
imu方面,丰田可能使用了tdk专为自动驾驶开发的imu,即iam-20685或者是iam-20680hp,这是单独外置的imu,精度颇高,iam-20685达到asil-b级标准,陀螺仪量程±2949bps,精确度±300bps。加速度计量程从±16g, ±32g到±65g,精确度±8g, ±20g和 ±36g,价格自然不低,iam-20680hp大约10美元(5千片起),iam-20658大约15美元,跟特斯拉的整个gps模块价格都差不多,而这仅仅是一个imu。
中美日三国自动驾驶竞赛,日本一向追求产品高完成度,给人感觉落后不少,不过谁能笑到最后?让时间来回答吧。


模拟电子技术难吗 10个经典模拟电路带你搞懂
抢先攻占IC制造商机 联电发力14纳米制程技术
采集数据慢,有报错维修吉时利源表2636B
Linux系统编程--fcntl()读写锁实例
TP-Link11正式发布了自己的第一款802.11ax Wi-Fi路由器
解析丰田L4级自动驾驶计算平台
电子设备智能供应链协同解决方案: 赋能产业数字化升级
压注法封装贴片LED填补空白 达到国际领先水平
怎样用Java制作基本的3D引擎
美国PCB收到了什么的影响
有奖邀约视频号“知识推荐官”,领取您的圣诞好礼~
车载电子设备不可或缺的EMC/EMI
“荣耀智慧屏“不是电视,是电视的未来”
Modbus RTU连接YGWE通讯点表单双机头
2018Q2全球市场手机均价及涨幅,哪些手机品牌涨价最猛?
中国高铁和谐号问世全面实现中国制造业智能化的中心思想
怎样用废微波炉建造一个小型电风扇
三星或将于第三季度推出铰接式可折叠手机
树根互联打造中国的Predix,中国智能制造升级
小米9确定支持无线充电,并且速度还不慢