英伟达自动驾驶软硬件一体化解决方案

gpu(graphics processing unit)图形处理器,又称显示核心、视觉处理器、显示芯片,是一种专门在个人电脑、工作站、游戏机和一些移动设备(如平板电脑、智能手机等)上图像运算工作的微处理器。
1985年10月ati使用asic技术开发出了第一款图形芯片和图形卡,1992年4月 ati发布了mach32图形卡集成了图形加速功能,1998年4月ati被idc评选为图形芯片工业的市场领导者。
但那时候这种芯片还没有gpu的称号,很长的一段时间ati都是把图形处理器称为vpu,直到amd收购ati之后其图形芯片才正式采用gpu的名字。
nvidia公司在1999年发布geforce 256图形处理芯片时首先提出gpu的概念。从此nv显卡的芯就用这个新名字gpu来称呼。gpu使显卡削减了对cpu的依赖,并实行部分原本cpu的工作,更加是在3d图形处理时。
gpu所采用的核心技术有硬体t&l、立方环境材质贴图与顶点混合、纹理压缩及凹凸映射贴图、双重纹理四像素256位渲染引擎等,而硬体t&l技术能够说是gpu的标志。
gpu能够从硬件上支持t&l(transformandlighting,多边形转换与光源处理)的显示芯片,因为t&l是3d渲染中的一个重要部分,其作用是计算多边形的3d位置和处理动态光线效果,也可以称为“几何处理”。一个好的t&l单元,可以提供细致的3d物体和高级的光线特效。
为密集型、易并行程序而生
gpu的核数远超cpu,被称为众核(nvidia fermi有512个核)。每个核拥有的缓存大小相对小,数字逻辑运算单元也少而简单(gpu初始时在浮点计算上一直弱于cpu)。在浮点运算、并行计算等部分计算方面,gpu可以提供数十倍乃至于上百倍于cpu的性能。gpu会产生大量热量,所以它的上方通常安装有散热器或风扇。
gpu的众核架构非常适合把同样的指令流并行发送到众核上,采用不同的输入数据执行。在 2003-2004年左右,图形学之外的领域专家开始注意到gpu与众不同的计算能力,开始尝试把gpu用于通用计算(即gpu)。
之后nvidia发布了cuda,amd和等公司也发布了opencl,gpu开始在通用计算领域得到广泛应用,包括:数值分析,海量数据处理(排序,map- reduce等),金融分析等等。gpu通用计算方面的标准目前有 open cl、cuda、ati stream。
gpu面对的则是类型高度统一的、相互无依赖的大规模数据和不需要被打断的纯净的计算环境。适合在gpu上运行的有:
(1)计算密集型的程序。所谓计算密集型(compute-intensive)的程序,就是其大部分运行时间花在了寄存器运算上,寄存器的速度和处理器的速度相当,从寄存器读写数据几乎没有延时。
(2)易于并行的程序。gpu其实是一种simd(single instruction multiple data)架构, 他有成百上千个核,每一个核在同一时间最好能做同样的事情。
具备以上特征的,是图形、视频的处理,因此gpu也可以说成专为图像处理而生。gpu图形处理的过程大致分成 5 个步骤: vertex shader、primitive processing、rasterisation、fragment shader、testing and blending。
1、vertex shader,是将三维空间中数个(x,y,z)顶点放进 gpu 中。
2、primitive processing,是将相关的点链接在一起,以形成图形。
3、rasterisation,因为电脑的屏幕是由一个又一个的像素组成,因此,需要将一条连续的直线,使用绘图的演算法,以方格绘出该直线。图形也是以此方式,先标出边线,再用方格填满整个平面。
4、fragment shader,将格点化后的图形着上颜色。
5、testing and blending。便是将第一步所获得的投影垂直距离取出,和第四步的结果一同做最后处理。
自动驾驶gpu厂商的一枝独秀
gpu厂商有不少,如imagination、inter、nvidia、amd(ati)、3dfx、matrox、sis和via、gcxx(隶属于vivante)、adreno(隶属于高通),但目前大部分的市场,都在移动端。
powervr(隶属于imagination技术公司)专注于移动gpu技术授权,它是移动平台gpu授权的老大,授权伙伴主要有intel、苹果、联发科、lg、高通、瑞萨、三星、海思、marvell、索尼等等。
mali(隶属于arm)有一整套gpu授权方案很多不具备独立开发gpu技术的芯片供应商都直接使用了arm处理器+mali gpu的设计,比如三星、瑞芯微、展讯、意法半导体、全志等。
gpu厂商在移动市场领域也是呈寡头垄断局面,amd和英伟达合力垄断了游戏/生产力gpu市场。但在自动驾驶领域吗,当中最为出名的,便是nvidia。
2016年底,基于amd自家gpu芯片的radeon instinct姗姗来迟,号称服务于自动驾驶汽车/无人机等领域,可用于深度学习推理和训练。作为一个高性能gpu加速器,它结合miopen和rocm开源软件,用于加速提升机器智能的发展。
其中radeon instinct mi6加速器基于备受欢迎的北极星gpu架构,采用被动散热,板卡功耗150瓦,fp16峰值性能达到5.7tflops,板载16gb gpu内存。
intel不但是世界上最大的cpu生产销售商,也是世界最大的gpu生产销售商。但在自动驾驶领域,inter并没有朝着gpu的方向而去,而是选择了mobileye的eyeq和altera的fpga方案。
如此一来,gpu在自动驾驶领域的争夺,目前就只是nvidia的一家独大了。
nvidia的gpu全家桶
针对自动驾驶领域,nvidia煞费苦心的构建了软硬件一体化的解决方案,连入门的开发套件也一应俱全。
硬件产品:
drive px parker autocruise,具备自动巡航能力,可支持高速公路自动驾驶以及高清制图。drive px parker autochauffeur,可用于点到点行驶。drive px xavier 能够提供 20 tops 的高性能,而功耗仅有 20 瓦。2018 年第一季度上市。
drive px pegasus能同时运行许多深度神经网络,可满足自动驾驶的一切安全所需,无需方向盘或踏板。pegasus 将于 2018 年中向 nvidia 的汽车合作伙伴供应。
软件产品:
nvidia dgx 系统 可以将数据中心的神经网络训练时间从几个月缩短到仅仅几天。所得到的神经网络模块可以在 nvidia drive px 上实时运行。训练好深度神经网络,然后再部署至汽车。
nvidia driveworks作为nvidia drive软件的一部分提供,用于选择汽车制造商,一级供应商和研究机构,致力于开发让汽车自行驾驶的系统。
nvidia drive ix 软件可利用来自车内外麦克风和摄像头的传感器数据,追踪驾驶员四周的环境。车载 nvidia drive px ai配合数据中心内的 nvidia tesla gpu ,可创建高度精细的地图。
开发者套件:
当然还不止于此,为了让创业者更容易学习,接触人工智能,公司推出了高性能、低能耗的 nvidia jetson tx1 tx2模块。专为开发者研发的套件,可以帮助初创公司进行深度学习、计算机视觉,进行大型、复杂的深度神经网络实验。虽不是专门针对自动驾驶,但很多初创团队都是用了tx2,完成了初代自动驾驶技术的验证。
可以说,nvidia为用户提供了一整套的产品,让市场学习并接受以gpu为核心的自动驾驶运算力平台。但光有产品,教学还不够,要让市场接受新鲜事物,赤膊上阵有时也势单力薄,最好能拉一些巨头共舞。
结盟产业链供应商,力推自动驾驶平台
为了更好的帮助开发者,以及初创公司,nvidia与一家自动驾驶系统零部件供应商autonomoustuff合作,开发了一套基于drive px的整套软硬件自动驾驶平台,分高中低配版本。
其中高级版本使用了福特fusion车型,包含2个velodyne vlp16激光雷达,未来将推出vlp32激光雷达;11个sekonix摄像头;1个xsens mti-g710、1个gnss辅助、imu强化版全球导航卫星系统/惯性导航系统(gnss/ins);5个雷达;1个novatel span igm-a1惯性测量单元(inertial measurement unit,imu);1个ibeo四层多回波(four layer multi-echo)lux传感器。
传感器合作伙伴:
当然不仅于此,在lidar厂商中,nvidia还挑选了ibeo、quanergy、velodyne作为合作伙伴。
nvidia和quanergy通过采用quanergy传感器和来自nvidia drive px(一个强大的自动驾驶平台)的处理器的集成方法,联手打造了自动驾驶汽车之路。quanergy传感器使汽车能够检测,识别和分类周围的物体。
摄像头也有合作伙伴,包括ficosa corp、flir、leopard imaging inc、pointgrey / flir、sekonix。flir以革命性的flirboson®热像仪内核为基础构建而成的flir adk™是开发下一代汽车热像仪和高级驾驶员辅助系统(adas)的经济高效方式。adk的热数据端口可直接通过标准usb连接进行分析,或通过可选的nvidia drive™px 2连接进行分析。
leopard imaging inc.专门创建相机解决方案。示例包括嵌入式机器视觉应用的立体深度映射,以及支持智能机器和消费类产品的摄像机。他们可以支持各种raw和yuv传感器,可以使用nvidia的片上isp,也可以使用csi或usb使用外部isp。
安全伙伴:
elektrobit和nvidia合作,开发了适用于nvidia drive™px的elektrobit eb tresos解决方案:用于开发高级驾驶辅助系统(adas)的软件平台。它将强大的计算处理器与硬件和软件相结合,为自驾车辆提供安全至关重要的adas功能。
2017年6月7日,瑞典哥德堡 - arccore是汽车行业软件和嵌入式平台的创新公司,正在nvidia drive™px平台上构建安全关键软件,为复杂的汽车系统提供动力。arccore的软件平台将基于着名的汽车标准autosar,并将用作自动驾驶的高性能评估系统。
结盟oem、tier1,落地商业化
为了推进自家产品的落地商用,nvidia又找来了主机厂、tier1,主机厂中不乏奥迪、奔驰、丰田、沃尔沃,宝马菲亚特、雪铁龙、保时捷等全球知名厂商,tier1有博世、zf、奥托立夫、海拉。
2017年3月16日,bosch展示了与nvidia合作打造的bosch ai 车载计算机。
2017年5月10日,nvidia宣布它正在与丰田合作提供人工智能硬件和软件技术,以提高计划在未来几年内推向市场的自动驾驶系统的功能。
2017年6月26日,nvidia宣布与zf和海拉建立了战略合作伙伴关系,将ai技术与新车评估计划(ncap)安全认证相结合,用于大规模部署自动驾驶车辆。该协议是非排他性的。
沃尔沃汽车和奥托立夫将与nvidia合作开发用于人工智能自动驾驶汽车的先进系统和软件,他们计划在2021年之前出售基于nvidia drive™px汽车计算平台的生产车辆。
在 ces 2017 上,奥迪和 nvidia 宣布加速推进长期合作,这一新的共同目标将使先进的 ai 汽车在 2020 年上路行驶。nvidia gpu 为全球所有下一代宝马汽车中采用的车载导航和信息系统提供支持。特斯拉和 nvidia 从最早开发革命性的 model s 就已经开始合作。
虽然跟oem、tier1绑定了合作关系,但nvidia并不踏实,因为大部分协议都是非排他协议。而在nvidia的官网上,自动驾驶合作伙伴一页中,tesla、宝马、本田、奥迪的合作页面已经打不开。
犹记得在2017年底,马斯克在一个私下场合,曾表露出要自造自动驾驶芯片的意愿,料想跟nvidia的合作也不是太满意。嗯,他的上一个合作伙伴是mobileye。

东芝和富士电机将共同投资,用于电动车节能芯片的增产
Fox提供采用新型紧凑封装的1V低耗电量振荡器
国轩高科获得1790kWh集装箱式储能电站订单
微电网的工作原理
美信推出MAX5984单端口PSE电源控制器
英伟达自动驾驶软硬件一体化解决方案
一次SQL查询优化原理分析:900W+数据,从17s到300ms
2022全球晶圆厂设备支出超1000亿美元,突破历史记录!
内窥镜气密性检测技术
5G建设加速,未来5G手机的换机需求有望快速增加
通信巨头激战5G,谁将成最后赢家?
如何利用VR技术创造出虚拟世界
升降压变换器的应用:基本的实现方式和拓扑的工作方式
新思科技成功实现与英特尔PCIe 6.0测试芯片的互操作性
共享电单车快速发展 电池的安全性以及监测性能成主要面临问题
毫米波雷达人体存在感应,人体精准感知应用
射频工程师的具体工作内容有哪些呢?
小米发布米家变频滚筒洗衣机1S 定价1299元
雷军:我的行业太恐怖!
曝三星突然撤销中国七大支社,还将继续裁员