全面概述ARM Mali GPU架构演进！
年初有机会调研了一下历代arm mali gpu架构，目前一共四代【1】，分别是utgard，midgard，bifrost和valhall。有感于他的演进是大gpu架构发展的缩影，所以作文一篇记录心得。我不打算逐一介绍各代架构的细节，而是针对shader处理器聊一聊每代gpu的发展。对各代架构细节有兴趣或者希望了解全貌的同学可以参考【2】【3】【4】【5】。
shader处理器
图形api发展到opengl 2.0之后，图形处理管线摆脱了之前的固定模式，实现了高度的可定制化。出现了针对图形管线各阶段的shader，比如vertex shader，fragment shader，再到后来的geometry shader，tessellation shader和compute shader。每个shader都是一个用户编写的小程序，执行这些小程序就是gpu中shader处理器的工作。
shader处理器作为核心组件，它的架构关系到gpu的性能表现，也是演进最为激烈的部分。每代mali gpu都会对shader处理器做较大调整以适应图形api和应用的发展。这里着重讨论两个主要变化——统一处理器架构和tlp驱动的架构设计。
从独立到统一
初代的utgard架构有两种shader处理器，gp——执行vertex shader，pp——执行fragment shader。两者采用不同的硬件架构和指令集，所以编译器会将不同的shader编译成各自shader处理器的机器码后交由它们分别执行。
vertex shader是对每一个顶点执行一次，而fragment shader是对每一个像素执行一次，一般情况下fragment shader的执行次数会多于vertex shader；而且很多图形效果的实现，fragment shader都比vertex shader更加复杂。所以utgard是一个gp配上多个pp，比如一个gp配四个pp就是mp4，最高能配到mp8。单个pp的硬件设计也相对gp更加复杂。
这种独立shader处理器的架构shader处理器之间算力无法互通，当一种shader算力需求远大于另一种时，另一种shader处理器只能干等着无法帮忙，造成利用率下降。而且随着图形api加入新的shader种类，给每一种shader设计一种处理器会不断增加软件和硬件的复杂度。但其实这些shader在纯计算部分几乎是一样的，可以复用大部分的设计，不必每一个shader都搞一套。
所以从midgard这一代开始，采用了统一shader处理器架构。不同种类的shader共享计算部分作为统一shader处理器，顶点插值和光栅化这些固定功能操作独立于外。这样每种shader都能跑满所有的处理器，提高了硬件利用率。
从ilp到tlp
ilp（instruction level parallelism）和tlp（thread level parallelism）都或多或少同时存在于每代的shader处理器架构中，但是趋势是tlp的比重逐渐加大。
utgard和midgard架构下tlp仅限于处理器级别，shader处理器就像cpu的一个核心，一次运行一个顶点或者像素的shader，有几个处理器就有几个线程。比如mali400mp4，有四个pp，可以并行处理四个像素的fragment shader。每个处理器完全采用了ilp的方式着重优化单线程的处理能力。
我们可以从两种架构所使用的vliw指令【6】一窥ilp的设计。utgard pp的指令编码可以参见【7】，包含两个向量处理单元、两个标量处理单元、一个函数处理单元，还有负责各类数据加载和执行控制的单元。这种vliw指令和普通的cpu指令不同，一条指令可以完成多个操作。它对应了硬件上的管线（pipeline）结构，如图一所示。管线是处理器执行指令的一条流水线，可以分成多个阶段（stage）。vliw指令里的各个操作由这条管线里的各个阶段完成。
图一：utgard pp处理器管线【7】
比如这一系列操作：取贴图数据，然后做加法，再做乘法，最后写结果到内存。精简指令集（risc）一般需要四条指令，每条指令都有各自的取指令，执行，写结果的步骤；但是vliw可以在一条指令里将这些操作依序串起来，取出的贴图数据不需要写进寄存器文件，直接传给加法单元处理，加法单元的结果也是这样直接传递给乘法单元，最后输出到内存。所以vliw管线会更长，但是由于略去了操作的中间步骤，整合后更加高效。
普通cpu会通过复杂的硬件设计，动态调度要执行的指令来提高单线程性能，比如并行执行和乱序执行。vliw却是通过在编译阶段，依靠编译器静态调度各个操作填充到vliw指令的单元中。所以很多早期的gpu包括桌面和移动的，为了简化硬件降低功耗，都采用vliw来加强ilp。但是这种设计对编译器要求很高。如何调度shader里的操作以充分利用一条指令里的所有操作单元决定了硬件的执行效率。当然shader本身的逻辑也决定了有没有足够可以并行的操作。这些都是ilp发展方向的限制条件。
好在图形计算是一个天生的数据并行良好的邻域——有大量的图元需要计算，而且每个图元的计算可以独立进行，不依赖其他图元。所以每个图元的计算都可以作为一个线程，绘制出一帧画面就是跑完这成千上万个线程的工作。利用大量的线程，获得很多可以并行执行的操作，不用很复杂的调度就能达到很高的硬件利用率，这就是gpu里tlp设计的出发点。
从bifrost架构开始，arm在单处理器内部也引入了tlp。方法是将大量线程每4个一组（后来扩展为8、16个），然后一组一组在单个处理器中运行。同组的线程执行相同的指令，类似于simd。这样就不需要为每个线程都准备一套完整的处理器设计，而是可以多个线程共享除了执行器和寄存器以外的部分。再乘上核心数，同时运行的线程数量大大增加。
而且为了隐藏一些操作比如内存访问的延迟，还有一个线程组的池，里面可以准备执行到不同指令的几十组线程，在一组线程因为数据访问等依赖无法马上执行时，硬件调度器可以挂起这组线程执行另一组的线程。也算是利用线程数量的例子。
不过bifrost架构里依然有很多ilp的设计，比如句式（clause）指令（图二）：将很多串行指令组成一个指令块——句子，句子是硬件调度器调度的最小单位。句子内部可以有一些加速操作，比如当一个加法指令输出是一个减法指令输入的时候，可以不通过寄存器文件直接传递数据。而且单个指令虽然减少了单元数量，但还是有三个计算单元。所以编译器还是需要考虑单指令单元填充以及多指令组成句子的问题。
图二：bifrost句式指令【4】
valhall架构就更加依赖tlp来提升性能了，为此放弃了句式指令和多单元指令这些依赖软件的ilp特性，减小了调度粒度的同时也缩短了处理器管线。如图三所示，valhall的处理器有三个计算单元，包括一个fma（fused-multiply-add），一个cvt（convert）和一个sfu（special function unit），线程组调度器可以在线程组池里找出三个当前指令使用不同计算单元的线程组，让他们在四个时钟周期内同时在三个计算单元内执行。而bifrost虽然也有三个计算单元，但是他们属于一条长指令，而且add和table排在fma下游，是一个串行结构，这一条管线需要八个时钟周期。
对比来看valhall再次加强了tlp，一个处理器最多可以同时运行三个线程组，而bifrost最多只有一个。反过来看valhall将三个bifrost处理器压缩为一个，减少了控制逻辑，就可以有更多的空间增加处理器的数量，也是增加了tlp。
图三：valhall和bifrost处理器对比【5】
结语
在gpu架构历史上，统一shader处理器和tlp驱动架构设计都是趋势。各家各代的gpu都或多或少经历了这个过程。我们纯从架构上看后期的gpu都比前期来的先进，但是放在当时的环境下，早期的图形应用shader负载不是很复杂，而且移动邻域处理器对于面积和功耗方面的严格控制，都是他合理性的来源。
引用
mali （gpu）：https://zh.wikipedia.org/wiki/mali_（gpu）
lima driver status update:https://xdc2019.x.org/event/5/contributions/328/attachments/420/670/lima.pdf
arm‘s mali midgard architecture explored:https://www.anandtech.com/show/8234/arms-mali-midgard-architecture-explored
arm unveils next generation bifrost gpu architecture & mali-g71： the new high-end mali:https://www.anandtech.com/show/10375/arm-unveils-bifrost-and-mali-g71
arm’s new mali-g77 & valhall gpu architecture： a major leap:https://www.anandtech.com/show/14385/arm-announces-malig77-gpu
very long instruction word:https://en.wikipedia.org/wiki/very_long_instruction_worda4%e5%ad%97
mali isa:https://gitlab.freedesktop.org/panfrost/mali-isa-docs/-/tree/master
如何正确搅拌无铅锡膏,需要注意什么
跟进华为18月不卡顿?小米MIUI迎关键升级,系统更加流畅
LED照明灯具的噪声对策详解
OPPO、华为的“一哥”之争日益白热化,oppo手机利润超过华为
基于UCC28911型号具有初级侧稳压和恒流控制功能的高电压反激开关
全面概述ARM Mali GPU架构演进！
液位传感器在测量过程中主要有三种影响因素
智能浪潮下 特斯拉迅猛发展的背后也出现了不少的问题
应用于倍频电路的预置可逆分频器设计
浪潮2020年提升平台+生态能力，实现云+数+AI新型互联网企业
对自动驾驶汽车抱持希望但也抱持怀疑态度
5G将至，中兴携5G终端方案亮相IFA 2018
中国再次研究出黑科技！米波雷达潜力巨大，先天具反隐身优势
延长FLASH和EEPROM芯片写入次数的小方法
使用 NVIDIA BlueField DPU 加速 Suricata IDS / IPS
工业AI未来将如何为炼油业提供动力
中科院云南天文台发现太阳暗条触发和物质转移机制
拯救者电竞手机的90W氮化镓充电器今日上市
双速电机的工作原理
美国加征关税，TCL集团：产品暂未列入美国新拟加征关税清单
shader处理器
图形api发展到opengl 2.0之后，图形处理管线摆脱了之前的固定模式，实现了高度的可定制化。出现了针对图形管线各阶段的shader，比如vertex shader，fragment shader，再到后来的geometry shader，tessellation shader和compute shader。每个shader都是一个用户编写的小程序，执行这些小程序就是gpu中shader处理器的工作。
shader处理器作为核心组件，它的架构关系到gpu的性能表现，也是演进最为激烈的部分。每代mali gpu都会对shader处理器做较大调整以适应图形api和应用的发展。这里着重讨论两个主要变化——统一处理器架构和tlp驱动的架构设计。
从独立到统一
初代的utgard架构有两种shader处理器，gp——执行vertex shader，pp——执行fragment shader。两者采用不同的硬件架构和指令集，所以编译器会将不同的shader编译成各自shader处理器的机器码后交由它们分别执行。
vertex shader是对每一个顶点执行一次，而fragment shader是对每一个像素执行一次，一般情况下fragment shader的执行次数会多于vertex shader；而且很多图形效果的实现，fragment shader都比vertex shader更加复杂。所以utgard是一个gp配上多个pp，比如一个gp配四个pp就是mp4，最高能配到mp8。单个pp的硬件设计也相对gp更加复杂。
这种独立shader处理器的架构shader处理器之间算力无法互通，当一种shader算力需求远大于另一种时，另一种shader处理器只能干等着无法帮忙，造成利用率下降。而且随着图形api加入新的shader种类，给每一种shader设计一种处理器会不断增加软件和硬件的复杂度。但其实这些shader在纯计算部分几乎是一样的，可以复用大部分的设计，不必每一个shader都搞一套。
所以从midgard这一代开始，采用了统一shader处理器架构。不同种类的shader共享计算部分作为统一shader处理器，顶点插值和光栅化这些固定功能操作独立于外。这样每种shader都能跑满所有的处理器，提高了硬件利用率。
从ilp到tlp
ilp（instruction level parallelism）和tlp（thread level parallelism）都或多或少同时存在于每代的shader处理器架构中，但是趋势是tlp的比重逐渐加大。
utgard和midgard架构下tlp仅限于处理器级别，shader处理器就像cpu的一个核心，一次运行一个顶点或者像素的shader，有几个处理器就有几个线程。比如mali400mp4，有四个pp，可以并行处理四个像素的fragment shader。每个处理器完全采用了ilp的方式着重优化单线程的处理能力。
我们可以从两种架构所使用的vliw指令【6】一窥ilp的设计。utgard pp的指令编码可以参见【7】，包含两个向量处理单元、两个标量处理单元、一个函数处理单元，还有负责各类数据加载和执行控制的单元。这种vliw指令和普通的cpu指令不同，一条指令可以完成多个操作。它对应了硬件上的管线（pipeline）结构，如图一所示。管线是处理器执行指令的一条流水线，可以分成多个阶段（stage）。vliw指令里的各个操作由这条管线里的各个阶段完成。
图一：utgard pp处理器管线【7】
比如这一系列操作：取贴图数据，然后做加法，再做乘法，最后写结果到内存。精简指令集（risc）一般需要四条指令，每条指令都有各自的取指令，执行，写结果的步骤；但是vliw可以在一条指令里将这些操作依序串起来，取出的贴图数据不需要写进寄存器文件，直接传给加法单元处理，加法单元的结果也是这样直接传递给乘法单元，最后输出到内存。所以vliw管线会更长，但是由于略去了操作的中间步骤，整合后更加高效。
普通cpu会通过复杂的硬件设计，动态调度要执行的指令来提高单线程性能，比如并行执行和乱序执行。vliw却是通过在编译阶段，依靠编译器静态调度各个操作填充到vliw指令的单元中。所以很多早期的gpu包括桌面和移动的，为了简化硬件降低功耗，都采用vliw来加强ilp。但是这种设计对编译器要求很高。如何调度shader里的操作以充分利用一条指令里的所有操作单元决定了硬件的执行效率。当然shader本身的逻辑也决定了有没有足够可以并行的操作。这些都是ilp发展方向的限制条件。
好在图形计算是一个天生的数据并行良好的邻域——有大量的图元需要计算，而且每个图元的计算可以独立进行，不依赖其他图元。所以每个图元的计算都可以作为一个线程，绘制出一帧画面就是跑完这成千上万个线程的工作。利用大量的线程，获得很多可以并行执行的操作，不用很复杂的调度就能达到很高的硬件利用率，这就是gpu里tlp设计的出发点。
从bifrost架构开始，arm在单处理器内部也引入了tlp。方法是将大量线程每4个一组（后来扩展为8、16个），然后一组一组在单个处理器中运行。同组的线程执行相同的指令，类似于simd。这样就不需要为每个线程都准备一套完整的处理器设计，而是可以多个线程共享除了执行器和寄存器以外的部分。再乘上核心数，同时运行的线程数量大大增加。
而且为了隐藏一些操作比如内存访问的延迟，还有一个线程组的池，里面可以准备执行到不同指令的几十组线程，在一组线程因为数据访问等依赖无法马上执行时，硬件调度器可以挂起这组线程执行另一组的线程。也算是利用线程数量的例子。
不过bifrost架构里依然有很多ilp的设计，比如句式（clause）指令（图二）：将很多串行指令组成一个指令块——句子，句子是硬件调度器调度的最小单位。句子内部可以有一些加速操作，比如当一个加法指令输出是一个减法指令输入的时候，可以不通过寄存器文件直接传递数据。而且单个指令虽然减少了单元数量，但还是有三个计算单元。所以编译器还是需要考虑单指令单元填充以及多指令组成句子的问题。
图二：bifrost句式指令【4】
valhall架构就更加依赖tlp来提升性能了，为此放弃了句式指令和多单元指令这些依赖软件的ilp特性，减小了调度粒度的同时也缩短了处理器管线。如图三所示，valhall的处理器有三个计算单元，包括一个fma（fused-multiply-add），一个cvt（convert）和一个sfu（special function unit），线程组调度器可以在线程组池里找出三个当前指令使用不同计算单元的线程组，让他们在四个时钟周期内同时在三个计算单元内执行。而bifrost虽然也有三个计算单元，但是他们属于一条长指令，而且add和table排在fma下游，是一个串行结构，这一条管线需要八个时钟周期。
对比来看valhall再次加强了tlp，一个处理器最多可以同时运行三个线程组，而bifrost最多只有一个。反过来看valhall将三个bifrost处理器压缩为一个，减少了控制逻辑，就可以有更多的空间增加处理器的数量，也是增加了tlp。
图三：valhall和bifrost处理器对比【5】
结语
在gpu架构历史上，统一shader处理器和tlp驱动架构设计都是趋势。各家各代的gpu都或多或少经历了这个过程。我们纯从架构上看后期的gpu都比前期来的先进，但是放在当时的环境下，早期的图形应用shader负载不是很复杂，而且移动邻域处理器对于面积和功耗方面的严格控制，都是他合理性的来源。
引用
mali （gpu）：https://zh.wikipedia.org/wiki/mali_（gpu）
lima driver status update:https://xdc2019.x.org/event/5/contributions/328/attachments/420/670/lima.pdf
arm‘s mali midgard architecture explored:https://www.anandtech.com/show/8234/arms-mali-midgard-architecture-explored
arm unveils next generation bifrost gpu architecture & mali-g71： the new high-end mali:https://www.anandtech.com/show/10375/arm-unveils-bifrost-and-mali-g71
arm’s new mali-g77 & valhall gpu architecture： a major leap:https://www.anandtech.com/show/14385/arm-announces-malig77-gpu
very long instruction word:https://en.wikipedia.org/wiki/very_long_instruction_worda4%e5%ad%97
mali isa:https://gitlab.freedesktop.org/panfrost/mali-isa-docs/-/tree/master
如何正确搅拌无铅锡膏,需要注意什么
跟进华为18月不卡顿?小米MIUI迎关键升级,系统更加流畅
LED照明灯具的噪声对策详解
OPPO、华为的“一哥”之争日益白热化,oppo手机利润超过华为
基于UCC28911型号具有初级侧稳压和恒流控制功能的高电压反激开关
全面概述ARM Mali GPU架构演进！
液位传感器在测量过程中主要有三种影响因素
智能浪潮下 特斯拉迅猛发展的背后也出现了不少的问题
应用于倍频电路的预置可逆分频器设计
浪潮2020年提升平台+生态能力，实现云+数+AI新型互联网企业
对自动驾驶汽车抱持希望但也抱持怀疑态度
5G将至，中兴携5G终端方案亮相IFA 2018
中国再次研究出黑科技！米波雷达潜力巨大，先天具反隐身优势
延长FLASH和EEPROM芯片写入次数的小方法
使用 NVIDIA BlueField DPU 加速 Suricata IDS / IPS
工业AI未来将如何为炼油业提供动力
中科院云南天文台发现太阳暗条触发和物质转移机制
拯救者电竞手机的90W氮化镓充电器今日上市
双速电机的工作原理
美国加征关税，TCL集团：产品暂未列入美国新拟加征关税清单