移动GPU经典的Rogue架构浅析 人工智能的新战场
随着人工智能的飞速发展，和业界对人工智能项目落地的巨大需求，移动端gpu的竞争也日益激烈，除了来自各gpu厂商之间的竞争之外，也要与专用芯片展开竞争（例如寒武纪的npu等），可谓群雄逐鹿。
在之前的一篇浅析移动端gpu的文章中介绍过移动端gpu领域主要的三家厂商。随着苹果弃用powervr，在手机领域mali和adreno有着绝对的优势，而在物联网和自动驾驶领域，三家都并未建立起完整的生态。这两个领域除了gpu，也有一些专用芯片厂商入局，随着物联网和自动驾驶的发展，竞争将更加激烈。相对于其他移动厂商，powervr在gpu的技术方面披露的比较多，其中比较经典当属rogue架构。rogue架构采用的是延后式分块渲染架构(tbdr),凭借该技术，rogue架构曾一直是移动端gpu的标杆。作为苹果移动端gpu的独家供应商，也曾风光无限。本文就对rogue架构进行一些分析，欢迎高手点评斧正。
架构概述
rogue架构是一种可编程的架构，能够支持通用计算和图形渲染。rogue架构针对顶点和像素的传输、计算数据在内存之间的传输以及数据和计算核心之间的交互等提供了不同的硬件。本文将侧重于通用计算方面的特性。
如上图所示，rogue架构中通用计算相关的部件有计算数据控制器(compute data master,cdm），粗粒度调度器(coarse grain scheduler，cgs)，统一渲染集群（unified shading clusters），l1混合缓存(l1 mixed cache)。
gpu的整个计算流程是，cdm负责将cpu分配的单个任务拆分为多个子任务，然后传递给cgs，由cgs将多个独立的子任务部署到usc上去执行。只有计算任务是由cdm处理的，所以cdm是计算任务专用的通道。
每个usc pair包含两个uscs和一个纹理处理单元(texture processing unit,tpu)，这样可以有效的平衡纹理访问和计算。usc是rogue架构中的主要计算单元。tpu是一种专门加速内核代码中访问图像和纹理的硬件，它拥有独立的缓存，能够加速处理器对图像数据的访问。对于一些需要对图像进行专门访问的算法和一些大尺寸的图像，tpu可以提供很好的加速效果。
l1混合缓存是rogue架构的主要缓存，所有对内存的访问都会首先在这里缓存。当数据读取不能使用该缓存的时候，则会使用系统级缓存。系统级的高速缓存直接与系统ram交互，也是数据命中缓存的最后机会。
统一渲染集群(usc)
rogue架构中负责计算的核心部件是usc，是一个可编程的标量simd处理器，通常包含16个alu pilelines，用来执行计算内核中代码。下图为rogue架构中的usc示意图。
图中包含多种部件，我们只关心两种，一种是内存，一种是alu。usc内部的内存空间主要包括两个寄存器组，一个是common store，由整个usc共享；一个是unified store，每4个alu 管线(pipelines)共享一块。
unified store是usc中4个小的由寄存器组成的存储体，每个存储体被4个alu pipes所共享，对应于opencl中的私有存储。每个unified store包含1280个128-bit的寄存器，也就是说，每个alu管线平均拥有320个寄存器。例如，如果每个线程申请10个寄存器，那么，每个usc上只能执行512个线程（每个alu管线执行32个线程，需要320个寄存器），这也是达到推荐占有率所需最小的线程数。由于每个线程拥有独立的寄存器等资源，所以可以实现0开销的warp切换，切换的时候不需要进行中间数据转存。当然在具体计算中，每个线程即opencl的workitem所能拥有的寄存器，与多种因素有关。
这128位的寄存器可以像4个32位寄存器一样，被内核有效的访问，所以内核最多可以使用40个32位寄存器，达到推荐的利用率。如果一个给定的内核需要的寄存器不止这些，此时驻留的任务就会减少，减少执行每个任务的线程数量，这样每个线程就会获得更多的寄存器空间。imagination的编译器只会降低利用率，因为占有率对于隐藏线程中的延迟是至关重要的。
usc利用率(usc/multiprocessor utilization)，是指usc执行活动的warp所用的时间与被阻断的时间之比。如下图所示，其利用率为75%。
usc的占有率是指驻留的warps与可用的驻留槽的比率。如下图所示，展示了驻留的warps和可用warps的示意图。驻留槽的数量与具体产品有关，大多是16个。图中的占有率为6/16。
所以，当寄存器不够用的时候，编译器会牺牲利用率，保证占有率，有利于隐藏延迟。如果寄存器溢出严重，利用率不会无限制降低，会达到一个限度后，将溢出的寄存器分配到主存储器中，也就是全局存储(global memory)，这样会造成很高的带宽和延迟成本，大幅度降低程序的性能。当然，这种调度是有软件控制的，所以不同的设备之间会有区别。
common store就是通常意义上的共享内存，它是对一个usc中的所有alu pipelines可见的，主要用于线程之间的数据交换，任何共享的内存都存储在这个位置，例如opencl的local memory，opengl的share memory。它也用于存储对象句柄，例如图像，纹理和采样器状态等。
common store被分配在4个存储体中，每个存储体可看作是一个128位宽的数列，如下图所示。
在common store中，可以同时从4个存储体中获取数据，整个数据行可以在单周期内读取，例如一个任务中的16个线程从同一行获取连续数据(绿色部分)，那么每个线程可以在一个周期内获取32位值。但是，如果多于一个线程试图从同一列访问数据(红色部分)，则会导致存储体冲突，因为每个周期，存储体只能提供一次访问请求，因此请求将被序列化，大大降低访问性能。为了避免存储体冲突，common store中的数据应该跨行访问，每周期访问不同存储体中的4个128位寄存器。
alu pipelines是usc中的计算单元，结构图如下图所示。这是series7xt alus示意图。rogue架构中每个usc包含16个alu pipelines，每个alu中包含有fp16，fp32等核心用于计算。不同型号的gpu包含的alu core类型不同，数量也不同。例如在series7xt plus gpu中增加了integer pipelines，能够支持int8和int16等整数类型，可以大幅度提升gpu性能，在series7xt gpu中增加了fp64。fp16核心也不是rogue架构的标配，早期型号也是没有的。
根据alu core的数量和时钟频率，可以很方便的计算出gpu的理论峰值。可采用如下公式：
例如series7xt系列中的gt7600包含6个usc，一共有192个fp32 core or 384个fp16 core。时钟频率有三种可定制，分别为650mhz， 800mhz和1ghz。以650mhz为例，其峰值性能为：
曝5G版iPhone和iPad Pro将在9月份发布 均搭载A14处理器
单车智能渐渐式微,车路协同的概念越来越得到业内的关注
磁盘驱动前置放大器L6440的性能特点及应用
人工智能（AI）逐渐成为许多澳大利亚人熟悉的工具
低功耗运算放大器系列的特点及应用
移动GPU经典的Rogue架构浅析 人工智能的新战场
ABB变频器ACS580通用型传动丨助力各种变频应用易用高效
车规电容标准知多少？
热敏电阻解决荧光灯阴极预热问题
安捷伦科技推出90000系列示波器PrecisionProbe软体
VITA49：软件无线电的未来
全球5G标准SEPs声明量达29586个,CATT/大唐排名全球第8位
三星和Marvell宣布推出新的节能SoC
基于RoboMasterC型开发板的RT-Thread使用分享（二）
中非卫星遥感应用合作中心成立
3D打印镜片未来或用于提升数据传输速度 具有不同折射率
测距传感器应用在车床生产中的好处有哪些
什么是橄榄石型LiFePO4?
车辆连接的未来
Aledia公司完成了D轮第一阶段融资
在之前的一篇浅析移动端gpu的文章中介绍过移动端gpu领域主要的三家厂商。随着苹果弃用powervr，在手机领域mali和adreno有着绝对的优势，而在物联网和自动驾驶领域，三家都并未建立起完整的生态。这两个领域除了gpu，也有一些专用芯片厂商入局，随着物联网和自动驾驶的发展，竞争将更加激烈。相对于其他移动厂商，powervr在gpu的技术方面披露的比较多，其中比较经典当属rogue架构。rogue架构采用的是延后式分块渲染架构(tbdr),凭借该技术，rogue架构曾一直是移动端gpu的标杆。作为苹果移动端gpu的独家供应商，也曾风光无限。本文就对rogue架构进行一些分析，欢迎高手点评斧正。
架构概述
rogue架构是一种可编程的架构，能够支持通用计算和图形渲染。rogue架构针对顶点和像素的传输、计算数据在内存之间的传输以及数据和计算核心之间的交互等提供了不同的硬件。本文将侧重于通用计算方面的特性。
如上图所示，rogue架构中通用计算相关的部件有计算数据控制器(compute data master,cdm），粗粒度调度器(coarse grain scheduler，cgs)，统一渲染集群（unified shading clusters），l1混合缓存(l1 mixed cache)。
gpu的整个计算流程是，cdm负责将cpu分配的单个任务拆分为多个子任务，然后传递给cgs，由cgs将多个独立的子任务部署到usc上去执行。只有计算任务是由cdm处理的，所以cdm是计算任务专用的通道。
每个usc pair包含两个uscs和一个纹理处理单元(texture processing unit,tpu)，这样可以有效的平衡纹理访问和计算。usc是rogue架构中的主要计算单元。tpu是一种专门加速内核代码中访问图像和纹理的硬件，它拥有独立的缓存，能够加速处理器对图像数据的访问。对于一些需要对图像进行专门访问的算法和一些大尺寸的图像，tpu可以提供很好的加速效果。
l1混合缓存是rogue架构的主要缓存，所有对内存的访问都会首先在这里缓存。当数据读取不能使用该缓存的时候，则会使用系统级缓存。系统级的高速缓存直接与系统ram交互，也是数据命中缓存的最后机会。
统一渲染集群(usc)
rogue架构中负责计算的核心部件是usc，是一个可编程的标量simd处理器，通常包含16个alu pilelines，用来执行计算内核中代码。下图为rogue架构中的usc示意图。
图中包含多种部件，我们只关心两种，一种是内存，一种是alu。usc内部的内存空间主要包括两个寄存器组，一个是common store，由整个usc共享；一个是unified store，每4个alu 管线(pipelines)共享一块。
unified store是usc中4个小的由寄存器组成的存储体，每个存储体被4个alu pipes所共享，对应于opencl中的私有存储。每个unified store包含1280个128-bit的寄存器，也就是说，每个alu管线平均拥有320个寄存器。例如，如果每个线程申请10个寄存器，那么，每个usc上只能执行512个线程（每个alu管线执行32个线程，需要320个寄存器），这也是达到推荐占有率所需最小的线程数。由于每个线程拥有独立的寄存器等资源，所以可以实现0开销的warp切换，切换的时候不需要进行中间数据转存。当然在具体计算中，每个线程即opencl的workitem所能拥有的寄存器，与多种因素有关。
这128位的寄存器可以像4个32位寄存器一样，被内核有效的访问，所以内核最多可以使用40个32位寄存器，达到推荐的利用率。如果一个给定的内核需要的寄存器不止这些，此时驻留的任务就会减少，减少执行每个任务的线程数量，这样每个线程就会获得更多的寄存器空间。imagination的编译器只会降低利用率，因为占有率对于隐藏线程中的延迟是至关重要的。
usc利用率(usc/multiprocessor utilization)，是指usc执行活动的warp所用的时间与被阻断的时间之比。如下图所示，其利用率为75%。
usc的占有率是指驻留的warps与可用的驻留槽的比率。如下图所示，展示了驻留的warps和可用warps的示意图。驻留槽的数量与具体产品有关，大多是16个。图中的占有率为6/16。
所以，当寄存器不够用的时候，编译器会牺牲利用率，保证占有率，有利于隐藏延迟。如果寄存器溢出严重，利用率不会无限制降低，会达到一个限度后，将溢出的寄存器分配到主存储器中，也就是全局存储(global memory)，这样会造成很高的带宽和延迟成本，大幅度降低程序的性能。当然，这种调度是有软件控制的，所以不同的设备之间会有区别。
common store就是通常意义上的共享内存，它是对一个usc中的所有alu pipelines可见的，主要用于线程之间的数据交换，任何共享的内存都存储在这个位置，例如opencl的local memory，opengl的share memory。它也用于存储对象句柄，例如图像，纹理和采样器状态等。
common store被分配在4个存储体中，每个存储体可看作是一个128位宽的数列，如下图所示。
在common store中，可以同时从4个存储体中获取数据，整个数据行可以在单周期内读取，例如一个任务中的16个线程从同一行获取连续数据(绿色部分)，那么每个线程可以在一个周期内获取32位值。但是，如果多于一个线程试图从同一列访问数据(红色部分)，则会导致存储体冲突，因为每个周期，存储体只能提供一次访问请求，因此请求将被序列化，大大降低访问性能。为了避免存储体冲突，common store中的数据应该跨行访问，每周期访问不同存储体中的4个128位寄存器。
alu pipelines是usc中的计算单元，结构图如下图所示。这是series7xt alus示意图。rogue架构中每个usc包含16个alu pipelines，每个alu中包含有fp16，fp32等核心用于计算。不同型号的gpu包含的alu core类型不同，数量也不同。例如在series7xt plus gpu中增加了integer pipelines，能够支持int8和int16等整数类型，可以大幅度提升gpu性能，在series7xt gpu中增加了fp64。fp16核心也不是rogue架构的标配，早期型号也是没有的。
根据alu core的数量和时钟频率，可以很方便的计算出gpu的理论峰值。可采用如下公式：
例如series7xt系列中的gt7600包含6个usc，一共有192个fp32 core or 384个fp16 core。时钟频率有三种可定制，分别为650mhz， 800mhz和1ghz。以650mhz为例，其峰值性能为：
曝5G版iPhone和iPad Pro将在9月份发布 均搭载A14处理器
单车智能渐渐式微,车路协同的概念越来越得到业内的关注
磁盘驱动前置放大器L6440的性能特点及应用
人工智能（AI）逐渐成为许多澳大利亚人熟悉的工具
低功耗运算放大器系列的特点及应用
移动GPU经典的Rogue架构浅析 人工智能的新战场
ABB变频器ACS580通用型传动丨助力各种变频应用易用高效
车规电容标准知多少？
热敏电阻解决荧光灯阴极预热问题
安捷伦科技推出90000系列示波器PrecisionProbe软体
VITA49：软件无线电的未来
全球5G标准SEPs声明量达29586个,CATT/大唐排名全球第8位
三星和Marvell宣布推出新的节能SoC
基于RoboMasterC型开发板的RT-Thread使用分享（二）
中非卫星遥感应用合作中心成立
3D打印镜片未来或用于提升数据传输速度 具有不同折射率
测距传感器应用在车床生产中的好处有哪些
什么是橄榄石型LiFePO4?
车辆连接的未来
Aledia公司完成了D轮第一阶段融资