聊聊TDA4芯片异构芯片设计及工作原理
超异构芯片最近是比较火的一个名词，其集中特性是将各类不同的芯片内核进行融合，这种集成式芯片设计可以充分整合芯片资源，进一步提升数据计算效率。并且由于芯片在设计之初就打通了相互之间互通兼容性，其内部功能划分和交互统一构建的逻辑优化，相比单芯片功能方案而言，可以显著降低彼此功能和交互的各种掣肘；并且很多设计原理图上可以在芯片之间通过共享某些资源，融合型单芯片可以进一步降低成本。
另外，对于自动驾驶系统设计而言，（80%-90%）的轻量级场景+10%左右的挑战场景+10%左右的极端场景需要提供高性能以行业领先的功率/性能比计算传统和深度学习算法，这些完全可以通过超异构的不同芯片核进行覆盖，充分降低复杂度和系统规模。
超异构芯片是具有高水平的系统集成，以实现先进汽车的可扩展性和更低成本的支持集中式 ecu。关键核心包括具有标量和矢量内核的下一代 dsp，专用深度学习的nn计算核和传统算法加速器，用于通用计算的最新 arm 和 gpu 处理器，集成的下一代生成成像子系统 (isp)，视频编解码器，以太网集线器和隔离的 mcu 功能安全岛，所有受保护汽车级安全和安保硬件加速器等。
一般情况下，除了芯片选型外，设计超异构芯片时需还要满足如下设计规则：
片上存储器应设计 ecc 保护并互连
内置自检 (bist) 、故障注入cpu 和片上ram
对于引脚错误设置故障信号模式
运行时安全诊断、电压、温度和时钟监控，窗口化看门狗定时器，用于存储器的 crc 引擎完整性检查
可用于应用的功能安全需要满足 iso26262 要求的asil d
启用需要大量数据的系统带宽、pcie 集线器和千兆以太网交换机以及 csi-2 端口以支持许多传感器输入的吞吐量。
1.超异构芯片内核解析
对于超异构芯片而言，一般是基于异构、可扩展的架构开发，多核异构的优点是各核充分发挥其处理效能的优点，再加上专用硬件加速器也可处理特定任务，从而在性能、功耗和成本上达到最佳平衡。 当前被各厂家广泛使用比较成熟的超异构芯片当属ti的jacinto 7 家族的处理器了，当然这也只是初级超异构芯片。
不同厂家对其使用方式不完全一致，有将其完全作为soc芯片使用的，充分使用了其上的ai算力，有些厂家在不太考虑其安全等级要求的情况下也可能将其当做mcu来使用。 本文将以ti的这块tda4的芯片为例进行详细介绍，说明相应的内部架构。
其中主要的几个异构模块包括如下：
1）处理器及加速器
①mcu域：
相当于异构芯片域控的mcu芯片单元所起的作用，用于启动底层硬件驱动、同步时间，启动操作系统及顶层应用软件中控制执行类部分逻辑运算。
这里mcu域主要是指mcu island中用于锁步功能的arm cortex-r5f充当；ti这类超异构芯片而言，cpu模块（cortex r5f）用于对soc域核周边对应的模块需要单独进行电压和时钟设计，同时，采用专用内存和接口确保其能够与更大的 soc 隔离。
②soc域：
此类模块通常使用高度定制化的nn加速器来实现。在环境感知模块中都会涉及大量的典型神经网络（nn）的运算，过程中深度学习算力主要被消耗掉。包括常见的各类图像、激光点云检测算法，比如物体检测、车道线检测、红绿灯识别等。
以ti为例设计的异构芯片中，微处理器系统端包括：arm cortex-a72和arm cortex-r5f、c71、c66几大模块。
其中，在各家域控tier1开发过程中一般会考虑在a72上运行hlos（如linux或qnx），其余核则运行rtos，整个运行核均可支持autosar。使用a72独立双核集群配置有助于多操作系统应用对软件管理程序的最低需求。
r5f子系统支持低级时序关键处理任务，用于实时性要求比较高的硬件驱动。使用c71（mma）进行深度学习神经网络nn和模型运算，所以说mma主要计算单位主要是以tops为计算单位。
dsp处理器（c66）功能包含前端和后端视觉处理两方面。前端视觉主要是nv12转bgr、环视拼图，后端进行浮点运算用以充当ai加速器的cnn后处理。
如上这种结构是一种典型的ai运算模块（又称为ai-dsa），适用于对ai运算性能要求高，算法相对稳定的情况。由于ai-dsa模块在整个智能驾驶场景运算上使用更为普遍，性能更加敏感，对于云端、边缘计算及自动驾驶几段场景的工程化落地更加具有可使用性。
③gpu域：
用于图像处理加速单元，包含大量浮点运算和实现动态 3d 渲染以增强观看效果应用程序。同时gpu域也可以认为是高效率的ai运算平台，对于异形场景cornercase的适配计算效率是最高的。
如上如果兼顾执行效率和执行性能上，可以做自适应的ai算力分配，普通场景的ai运算可以采用常规cpu+dsa方式进行，而特殊边缘场景可以采用gpu加速核方式进行高效能计算。
④其他处理模块：
venc/ vdec用于视频编解码单元，通常高性能的超异构芯片需要适配h.265/hevc这类高清视频编码器。对于下一代自动驾驶系统来说可以提供更高清的视频编码能力，实现高清视频压缩传输。
vpac（visionprocessing accelerator）用于对图像进行去畸变、下裁剪（crop）、重整型（resides）。其目的是确保输入给神经网络单元进行处理的图像已经被初步处理过了，这样可以提升图像网络处理速度和性能。
如下图是以简单的图像传输和处理可以讲清楚在这一类超异构芯片上如何进行数据链路的传输和处理。
2）存储单元
下图是大多数开发板所有的一个存储单元框架，接下来以此图为基础描述arm芯片的上电启动流程。
rom：芯片内部固化存储代码的存储器，其中固化在芯片irom中的启动代码为bl0。
ram：在rom启动运行的时候，只有ram是可用的，因此必须要自动从外扩存储器(nand/sd/usb)中拷贝的uboot.bin二进制文件的头最大16k（一般是4k或8k）代码（bl1）。
sdrom：芯片外部的运行内存，由运行在ram上的bl1进行初始化，用于运行bl2与应用程序。
nand flash ：芯片外部非易失闪存技术的存储器，没有地址总线，不能直接运行代码，需要将代码加载到ram上面才能运行。
就举例的tda4芯片而言，bl1 和 bl2 没有被集成（jacinto7集成 了 dmsc&mcu r5 取代了 bl1 和bl2 的功能）, bl31 执行 atf，bl32 执行 op-tee，bl33 是spl/u-boot。
相应的存储单元涉及main域和mcu域的管理，且两域分别单独用于片上共享存储单元，他们分别通过多核共享存储控制器msmc实现相应的存储管理。tda4内部还存在lpddr4 w/ecc模块，即使未使用 ddr 接口，其vdds_ddr均需要使用 lpddr4 电压范围进行供电。
2.超异构芯片的启动说明
对于超异构芯片而言，由于采用了多核异构的架构，因系统需求的差异，其相应的启动流程也有一定的差异性，并且由于集成多核制会导致其启动流程比单核和多核同构的处理器会复杂些。
bootloader 是在操作系统运行之前执行的一段小程序。通过这段小程序，我们可以初始化硬件设备、建立内存空间的映射表，从而建立适当的系统软硬件环境，为最终调用操作系统内核做好准备。
两种bootloader 可以选择 spl（secondary program loader）或 sbl（secondary bootloader）两种驱动加载。
spl表示程序加载，分为两级加载程序过程。第一级bootloader是指从rom 里面的程序中根据启动方式的选择引导并加载 spl。第二级bootloader是指对硬件的初始化过程，引导下一级的 bootloader 核或加载并运行应用程序。
sbl表示驱动加载。可以实现对外围设备进行配置，比如 ddr，可以加载并启动其它核。为了满足快速启动 mcu 执行相关的应用，mcu可以先启动，然后使用boot app 进而引导其它应用程序。在 sbl 启动流程中，sbl 可以直接加载 linux内核和 dtb。
如下图显示了完整的异构芯片tda4的程序加载过程。
对于如上超异构芯片而言，用的最广的要数arm cortex-a72核了，因为其在整数、浮点、内存等性能皆有不同程度的提升，虽然还缺少一些细节，不过ipc性能上相对于之前的产品提升了16-30%左右。如下图表示了芯片a72的具体启动原理。
整个代码启动运行过程包括首先把bl1加载到ram中运行，然后由bl1对sdram进行初始化。最后，代码重定向完成后在内存中执行的uboot的完整代码bl2。
从应用层面的系统需求来讲，不同的应用可以部署在不同的核，不同核的启动时序影响着系统需求是否能实现。总体来讲，针对系统的应用需求，可能有如下的额外要求：提前can信息响应、提前启动画面、提前启动摄像头、提前分配linux使用空间、提前显示视频动画等。我们应设计合理的 soc 启动流程来满足系统的需求。
3.总结
超异构芯片super soc作为adas系统普遍应用的处理器，在面向 adas 和自动驾驶车辆 (av) 应用过程中起着举足轻重的作用。
智驾领域中，soc需要深度学习算法中会比传统芯片提供提供高性能计算能力，同时可以有效优化其功耗和系统集成度。最终实现支持集中式ecu 或多种传感器的高级汽车平台实现可扩展性和更低的成本。
避免毫米波应用中的连接器反射
高精度直流电源存在哪些优势？为什么选择它
电容器充当ESD保护器件的原理以及容值计算
雷达技术在高级辅助驾驶系统(ADAS)的应用
如何正确使用 Redis ?
聊聊TDA4芯片异构芯片设计及工作原理
使用RAPIDS在NVIDIA GPU上分析脑细胞基准
2020 iPad Pro供电的新A12Z Bionic中启用了禁用的内核
水库雨水情监测预警系统方案
人工智能迎来市场蓝海，改变智慧城市服务水平
小米8、一加6、坚果R1和魅族15plus的性能对比，有什么不同？
无线局域网络802.11ac产品开发设计过程
华为mate10最强旗舰即将上市:麒麟970成最大看点,顶配版价格也良心,性能不输iPhoneX
bot护理机器人
沧穹科技完成数千万元Pre-A轮融资
中国联通与山东能源把5G技术与煤炭开采工艺结合研发矿用5G专网系统
5G技术将成为VR、AR产业赖以发展的通信技术
小米6与华为P10Plus对比评测：旗舰手机大比拼，华为P10Plus和小米6发热测试谁更胜一筹？
RS触发器中什么是置位和复位
是德科技RF和 RRM 一致性测试系统领跑 GCF、PTCRB RF 3CA LTE 测试用例和频段用例
另外，对于自动驾驶系统设计而言，（80%-90%）的轻量级场景+10%左右的挑战场景+10%左右的极端场景需要提供高性能以行业领先的功率/性能比计算传统和深度学习算法，这些完全可以通过超异构的不同芯片核进行覆盖，充分降低复杂度和系统规模。
超异构芯片是具有高水平的系统集成，以实现先进汽车的可扩展性和更低成本的支持集中式 ecu。关键核心包括具有标量和矢量内核的下一代 dsp，专用深度学习的nn计算核和传统算法加速器，用于通用计算的最新 arm 和 gpu 处理器，集成的下一代生成成像子系统 (isp)，视频编解码器，以太网集线器和隔离的 mcu 功能安全岛，所有受保护汽车级安全和安保硬件加速器等。
一般情况下，除了芯片选型外，设计超异构芯片时需还要满足如下设计规则：
片上存储器应设计 ecc 保护并互连
内置自检 (bist) 、故障注入cpu 和片上ram
对于引脚错误设置故障信号模式
运行时安全诊断、电压、温度和时钟监控，窗口化看门狗定时器，用于存储器的 crc 引擎完整性检查
可用于应用的功能安全需要满足 iso26262 要求的asil d
启用需要大量数据的系统带宽、pcie 集线器和千兆以太网交换机以及 csi-2 端口以支持许多传感器输入的吞吐量。
1.超异构芯片内核解析
对于超异构芯片而言，一般是基于异构、可扩展的架构开发，多核异构的优点是各核充分发挥其处理效能的优点，再加上专用硬件加速器也可处理特定任务，从而在性能、功耗和成本上达到最佳平衡。 当前被各厂家广泛使用比较成熟的超异构芯片当属ti的jacinto 7 家族的处理器了，当然这也只是初级超异构芯片。
不同厂家对其使用方式不完全一致，有将其完全作为soc芯片使用的，充分使用了其上的ai算力，有些厂家在不太考虑其安全等级要求的情况下也可能将其当做mcu来使用。 本文将以ti的这块tda4的芯片为例进行详细介绍，说明相应的内部架构。
其中主要的几个异构模块包括如下：
1）处理器及加速器
①mcu域：
相当于异构芯片域控的mcu芯片单元所起的作用，用于启动底层硬件驱动、同步时间，启动操作系统及顶层应用软件中控制执行类部分逻辑运算。
这里mcu域主要是指mcu island中用于锁步功能的arm cortex-r5f充当；ti这类超异构芯片而言，cpu模块（cortex r5f）用于对soc域核周边对应的模块需要单独进行电压和时钟设计，同时，采用专用内存和接口确保其能够与更大的 soc 隔离。
②soc域：
此类模块通常使用高度定制化的nn加速器来实现。在环境感知模块中都会涉及大量的典型神经网络（nn）的运算，过程中深度学习算力主要被消耗掉。包括常见的各类图像、激光点云检测算法，比如物体检测、车道线检测、红绿灯识别等。
以ti为例设计的异构芯片中，微处理器系统端包括：arm cortex-a72和arm cortex-r5f、c71、c66几大模块。
其中，在各家域控tier1开发过程中一般会考虑在a72上运行hlos（如linux或qnx），其余核则运行rtos，整个运行核均可支持autosar。使用a72独立双核集群配置有助于多操作系统应用对软件管理程序的最低需求。
r5f子系统支持低级时序关键处理任务，用于实时性要求比较高的硬件驱动。使用c71（mma）进行深度学习神经网络nn和模型运算，所以说mma主要计算单位主要是以tops为计算单位。
dsp处理器（c66）功能包含前端和后端视觉处理两方面。前端视觉主要是nv12转bgr、环视拼图，后端进行浮点运算用以充当ai加速器的cnn后处理。
如上这种结构是一种典型的ai运算模块（又称为ai-dsa），适用于对ai运算性能要求高，算法相对稳定的情况。由于ai-dsa模块在整个智能驾驶场景运算上使用更为普遍，性能更加敏感，对于云端、边缘计算及自动驾驶几段场景的工程化落地更加具有可使用性。
③gpu域：
用于图像处理加速单元，包含大量浮点运算和实现动态 3d 渲染以增强观看效果应用程序。同时gpu域也可以认为是高效率的ai运算平台，对于异形场景cornercase的适配计算效率是最高的。
如上如果兼顾执行效率和执行性能上，可以做自适应的ai算力分配，普通场景的ai运算可以采用常规cpu+dsa方式进行，而特殊边缘场景可以采用gpu加速核方式进行高效能计算。
④其他处理模块：
venc/ vdec用于视频编解码单元，通常高性能的超异构芯片需要适配h.265/hevc这类高清视频编码器。对于下一代自动驾驶系统来说可以提供更高清的视频编码能力，实现高清视频压缩传输。
vpac（visionprocessing accelerator）用于对图像进行去畸变、下裁剪（crop）、重整型（resides）。其目的是确保输入给神经网络单元进行处理的图像已经被初步处理过了，这样可以提升图像网络处理速度和性能。
如下图是以简单的图像传输和处理可以讲清楚在这一类超异构芯片上如何进行数据链路的传输和处理。
2）存储单元
下图是大多数开发板所有的一个存储单元框架，接下来以此图为基础描述arm芯片的上电启动流程。
rom：芯片内部固化存储代码的存储器，其中固化在芯片irom中的启动代码为bl0。
ram：在rom启动运行的时候，只有ram是可用的，因此必须要自动从外扩存储器(nand/sd/usb)中拷贝的uboot.bin二进制文件的头最大16k（一般是4k或8k）代码（bl1）。
sdrom：芯片外部的运行内存，由运行在ram上的bl1进行初始化，用于运行bl2与应用程序。
nand flash ：芯片外部非易失闪存技术的存储器，没有地址总线，不能直接运行代码，需要将代码加载到ram上面才能运行。
就举例的tda4芯片而言，bl1 和 bl2 没有被集成（jacinto7集成 了 dmsc&mcu r5 取代了 bl1 和bl2 的功能）, bl31 执行 atf，bl32 执行 op-tee，bl33 是spl/u-boot。
相应的存储单元涉及main域和mcu域的管理，且两域分别单独用于片上共享存储单元，他们分别通过多核共享存储控制器msmc实现相应的存储管理。tda4内部还存在lpddr4 w/ecc模块，即使未使用 ddr 接口，其vdds_ddr均需要使用 lpddr4 电压范围进行供电。
2.超异构芯片的启动说明
对于超异构芯片而言，由于采用了多核异构的架构，因系统需求的差异，其相应的启动流程也有一定的差异性，并且由于集成多核制会导致其启动流程比单核和多核同构的处理器会复杂些。
bootloader 是在操作系统运行之前执行的一段小程序。通过这段小程序，我们可以初始化硬件设备、建立内存空间的映射表，从而建立适当的系统软硬件环境，为最终调用操作系统内核做好准备。
两种bootloader 可以选择 spl（secondary program loader）或 sbl（secondary bootloader）两种驱动加载。
spl表示程序加载，分为两级加载程序过程。第一级bootloader是指从rom 里面的程序中根据启动方式的选择引导并加载 spl。第二级bootloader是指对硬件的初始化过程，引导下一级的 bootloader 核或加载并运行应用程序。
sbl表示驱动加载。可以实现对外围设备进行配置，比如 ddr，可以加载并启动其它核。为了满足快速启动 mcu 执行相关的应用，mcu可以先启动，然后使用boot app 进而引导其它应用程序。在 sbl 启动流程中，sbl 可以直接加载 linux内核和 dtb。
如下图显示了完整的异构芯片tda4的程序加载过程。
对于如上超异构芯片而言，用的最广的要数arm cortex-a72核了，因为其在整数、浮点、内存等性能皆有不同程度的提升，虽然还缺少一些细节，不过ipc性能上相对于之前的产品提升了16-30%左右。如下图表示了芯片a72的具体启动原理。
整个代码启动运行过程包括首先把bl1加载到ram中运行，然后由bl1对sdram进行初始化。最后，代码重定向完成后在内存中执行的uboot的完整代码bl2。
从应用层面的系统需求来讲，不同的应用可以部署在不同的核，不同核的启动时序影响着系统需求是否能实现。总体来讲，针对系统的应用需求，可能有如下的额外要求：提前can信息响应、提前启动画面、提前启动摄像头、提前分配linux使用空间、提前显示视频动画等。我们应设计合理的 soc 启动流程来满足系统的需求。
3.总结
超异构芯片super soc作为adas系统普遍应用的处理器，在面向 adas 和自动驾驶车辆 (av) 应用过程中起着举足轻重的作用。
智驾领域中，soc需要深度学习算法中会比传统芯片提供提供高性能计算能力，同时可以有效优化其功耗和系统集成度。最终实现支持集中式ecu 或多种传感器的高级汽车平台实现可扩展性和更低的成本。
避免毫米波应用中的连接器反射
高精度直流电源存在哪些优势？为什么选择它
电容器充当ESD保护器件的原理以及容值计算
雷达技术在高级辅助驾驶系统(ADAS)的应用
如何正确使用 Redis ?
聊聊TDA4芯片异构芯片设计及工作原理
使用RAPIDS在NVIDIA GPU上分析脑细胞基准
2020 iPad Pro供电的新A12Z Bionic中启用了禁用的内核
水库雨水情监测预警系统方案
人工智能迎来市场蓝海，改变智慧城市服务水平
小米8、一加6、坚果R1和魅族15plus的性能对比，有什么不同？
无线局域网络802.11ac产品开发设计过程
华为mate10最强旗舰即将上市:麒麟970成最大看点,顶配版价格也良心,性能不输iPhoneX
bot护理机器人
沧穹科技完成数千万元Pre-A轮融资
中国联通与山东能源把5G技术与煤炭开采工艺结合研发矿用5G专网系统
5G技术将成为VR、AR产业赖以发展的通信技术
小米6与华为P10Plus对比评测：旗舰手机大比拼，华为P10Plus和小米6发热测试谁更胜一筹？
RS触发器中什么是置位和复位
是德科技RF和 RRM 一致性测试系统领跑 GCF、PTCRB RF 3CA LTE 测试用例和频段用例