超异构带来的算力指数级提升，使得Chiplet的价值得到更加充分的发挥
编者按
chiplet标准ucie已经得到很多主流大厂的认可，席卷之势愈发明显。但就chiplet的价值挖掘，目前可见的，都还停留在如何降成本和简单地扩大设计规模方面。我们觉得，chiplet的价值还没有得到充分挖掘。 chiplet带来的价值，不应该是线性增长，而应该是指数增长：
一方面，量变会引起质变，chiplet的流行，快速增加的单芯片设计规模，会给系统架构创新提供更大的发挥空间，使得计算的架构，从异构走向超异构。
另一方面，超异构带来的算力指数级提升，使得chiplet的价值得到更加充分的发挥，反过来会促进chiplet的大范围流行。
1 背景知识
1.1 单die性能和成本
单die的性能和成本，是正相关的关系。通常的芯片die设计，一定是在保证系统所需性能的条件下，选择最合适的工艺，达到最合适的面积（成本），达到在性能约束条件下的性能成本比最优。或者说：
在系统性能成本最优的状态下，受边际效应影响，想再想增加单die性能，所需要付出的成本代价非常高，会显著影响性价比。
在系统性能成本最优的状态下，想要再优化单die成本，可能会引起性能的大比例下降，反而不是性价比最优。
1.2 chiplet协议ucie
英特尔、amd、arm、高通、三星、台积电、日月光等大厂，以及google cloud、meta、微软于2022年3月2日宣布了一项新技术标准ucie（universal chiplet interconnect express）。ucie是一个开放的行业互连标准，可以实现小芯片之间的封装级互连，具有高带宽、低延迟、经济节能的优点。 ucie能够满足几乎所有计算领域，包括云端、边缘端、企业、5g、汽车、高性能计算和移动设备等，对算力、内存、存储和互连不断增长的需求。ucie 具有封装集成不同die的能力，这些die可以来自不同的晶圆厂、采用不同的设计和封装方式。
ucie白皮书中给出的chiplets封装集成的价值：
首先是面积的影响。为了满足不断增长的性能需求，芯片面积增加，有些设计甚至会超出掩模版面积的限制。即使不超过面积限制，改用多个小芯片也更有利于提升良率。另外，多个相同die的集成封装能够适用于更大规模的场景。
另一个价值体现在降低成本。例如，处理器核心可以采用先进的工艺，用更高的成本换取极致的性能，而内存和i/o控制器则可以复用非先进工艺。随着工艺节点的进步，成本增长非常迅速。若采用多die集成模式，有些die的功能不变，我们不必对其采用先进工艺，可在节省成本的同时快速抢占市场。chiplet封装集成模式还可以使用户能够自主选择die的数量和类型。例如，用户可以根据需求挑选任意数量的计算、内存和i/o die，并无需进行die的定制设计，可降低产品的sku成本。
允许厂商能够以快速且经济的方式提供定制解决方案。如图1所示，不同的应用场景可能需要不同的计算加速能力，但可以使用同一种核心、内存和i/o。chiplet方式允许厂商根据功能需求对不同的功能单元应用不同的工艺节点，并实现共同封装。相比板级互连，封装级互连具有线长更短、布线更紧密的优点。
1.3 超异构计算
系统变得越来越庞大，系统可以分解成很多个子系统，子系统的规模已经达到传统单系统的规模。因此，都升级一下：系统变成了宏系统，子系统变成了系统。 系统足够庞大，场景综合，单类型架构无法包打天下：
cpu灵活性最好，但性能较差；
dsa性能很好，但灵活性差；
gpu介于两者之间，可以说能较好的平衡性能和灵活性，也可以说，性能和灵活性都不够极致。
规模庞大的复杂系统存在很多硬件加速的空间：
复杂系统最核心的一个特征是二八定律。用户只关心自己的应用，而应用通常只占系统的20%，另外80%用户不关心的也相对确定的部分，一般称为基础设施，这些是可以通过硬件加速来优化性能的。
系统是逐步发展和沉淀的。很多原本属于应用层的工作任务，随着时间推移，越来越成熟，逐渐地沉淀成了基础设施。这些沉淀的工作任务可以通过硬件加速来优化性能。最典型的场景是ai推理，现在已经成为了基础的服务，供不同的应用调用。
在云计算、边缘计算等形式的综合计算模式下，单个用户应用的规模可能不大，但因为云计算的超大规模和多租户，很多相似的用户应用其总和规模足够庞大，因此，也可以通过gpu、fpga或专用芯片的方式进行加速优化。
那么，要做的就是扬长避短，把不同类型的处理引擎协作起来，把各种引擎的优势充分利用起来，形成超异构计算架构：
dsa负责相对确定的大计算量的工作；
gpu负责应用层有一些性能敏感的并且有一定弹性的工作；
cpu啥都能干，负责兜底。
于是整个系统架构就变成了超异构架构。
总结一下计算架构发展的四个阶段：
第一阶段，单cpu串行计算；
第二极端，多核cpu的并行计算；
第三阶段，cpu+xpu的异构计算；
第四阶段，cpu+gpu+dsa+etc.的超异构计算。
2 chiplet技术方案
2.1 方案1：设计规模不变，优化单die面积和良率等
一般情况下，在同等工艺同等功耗技术下，我们可以简单地认为，面积和成本成正比的。chiplet实现用面积更小的die，实现同等规模设计，其优势主要为：
单die面积变小，增加芯片良率。而通常，单die的面积是已经平衡好良率的情况下的，再减小面积优化良率，可能效果并不是很明显。并且，多die封装会带来额外的良率风险。这样，一里一外的问题，通过多die来优化良率的效果可能就不会很明显。
可以让一些die不采用先进工艺，通过较低一些的工艺降低成本。
在不改变性能的条件下，通过chiplet封装可以降低成本；也可以反过来说，在同样成本条件下，通过chiplet封装可以提升性能。
2.2 方案2：单die设计规模不变，多die集成
当我们确定好单个die的性能和面积（功耗）的时候，这个时候相当于是把工艺的价值挖掘到了最优。需要chiplet的价值，也同样需要工艺的价值，都不能少。 我们要做的是在工艺价值的基础上，再叠加chiplet封装的价值。而不是如方案1一样，为了chiplet而chiplet，反而放弃工艺的价值。 因此，我们可以在原有die的基础上，通过多die封装来立竿见影地提升性能。
2.3 方案3：多die集成设计规模倍增，并且重构系统
通常，cpu组成的芯片，性能不够；而gpu、dsa组成的芯片无法单独工作，需要外挂cpu，形成cpu+xpu的异构计算架构；而soc本质上是cpu+xpu的多个异构系统的集成。 异构计算和soc，本质上都是以cpu为中心的系统，xpu是一个个孤岛，所有的事情都需要cpu的参与才能把这些处理引串起来。 超异构完全打破不同处理引擎之间的界限，cpu和其他xpu同样的地位，xpu间可以非常充分的交互，达到系统充分的整合。超异构计算可以做到：
性能和灵活性兼顾。因为二八定律的缘故，绝大部分计算是在dsa级别的处理引擎中完成，所以性能效率很好。而用户关心的应用依然是在cpu级别的处理引擎完成，又兼顾了灵活可编程性。
因为超异构计算架构可以驾驭更大的系统，因此，可以做到，在性能效率和dsa同量级的情况下，性能相比dsa再数量级的提升。
2.4 方案性能提升对比
注意：本节内容是定性分析，还无法做到定量分析。 方案1，可以实现性能的百分比增长。方案1的道理很好理解，本来的目标是优化成本，在同等性能情况下，能够百分比地优化成本。我们相应地折算一下，在同等成本下，方案1可以做到性能的百分比提升。 方案2，可以实现性能的线性增长。方案2也很好理解，通过增加更多数量的die来提升并行度，以此来提升性能。集成多少个die，性能就增加到多少倍。 方案3，可以实现性能的指数增长。方案3通过整个系统重构，挖掘系统的一些可加速的点，然后再实现整个系统的充分整合重构。以此来提升性能。可以达到数量级的性能增长。
3 总结
3.1 设计规模的量变，引起系统架构的质变
规模是一个很重要的因素。 云计算百万台的超大规模，其软硬件架构和运营模式跟传统的数百台的私有机房是完全迥异的。深度神经网络，通过更大量数据、更深层次网络的量变，成就了ai的“智”变。 芯片也是同样的道理，随着规模的增长，很多设计方案考虑的问题会跟以前完全不一样。在小规模的时候，我们强调定制，极度优化性能和功耗等；但等到超大规模ic设计，我们更多关注的是通用性、可编程性、易用性、生态等。 chiplet机制，提供了立竿见影让芯片设计规模数量级增加的能力。如果我们不在系统架构层次创新，充分利用芯片规模数量级增加的这个优势，只是简单的平行扩展，那真是暴殄天物，浪费chiplet给系统架构师们的馈赠。 换个角度，现有的异构计算也好，soc也好，无法驾驭chiplet提供的超大规模芯片系统。需要本质的、体系性的系统架构创新，来更好地驾驭chiplet的价值。
3.2 超异构，让chiplet价值得到更大的发挥
超异构集成更多的处理引擎，提供更高的并行性，实现更分布式的系统，可以更好地驾驭数量级增加的芯片设计规模。 此外，chiplet更好地容纳现有宏系统的承载，通过超异构，使得很多性能优化措施得到落实，从而使得性能指数级增长（而不是根据面积的增加，线性增长）。 可以说，超异构，成就了chiplet更大的价值，使得chiplet方案得到更大范围的落地，促进chiplet技术的成熟和市场繁荣。
3.3 chiplet和超异构的关系：双剑合璧，相互成就
超异构计算和chiplet技术是相互协同、相互成就的关系：
系统越大，设计规模越大，超异构的性能优势就越明显。
超异构计算，需要数量级提升的晶体管资源，而chiplet可以在芯片层次提供如此规模的晶体管资源，实现超异构计算方案和价值落地。
超异构计算的价值得到充分体现，超异构不断落地，会带动chiplet的价值发挥、更广泛的落地以及市场繁荣。
随着超异构的发展，对chiplet的要求会不断提高，需要chiplet技术向更高的能力迈进。
如何实施符合功能安全及ASPICE要求的模型动态测试——TPT Workshop邀请函
卡萨帝七星级服务给出一站式解决方案
物联网赋能挖掘更多应用场景
电容和电池的区别
ADI医疗超声系统整体解决方案
超异构带来的算力指数级提升，使得Chiplet的价值得到更加充分的发挥
Valve老大：三款完整VR游戏仍在研发中
小米6、华为P10哪个好？小米6、华为P10区别对比评测:小米6、华为P10的wifi强势对比，结果令人咋舌虚惊不已
【新专利介绍】一种电能表软件运行环境的仿真系统
美国宇航局朝着发射新任务迈出了一大步
如何提升边缘计算的安全性
AR数字展厅的全面介绍
桥堆的原理_桥堆构成的整流电路及故障处理
在PCB设计中如何增强防静电ESD功能
API 网格提供的安全控制效果如何？
二氧化碳传感器吊挂标准_二氧化碳传感器的作用
怎样在没有以太网屏蔽的情况下设置Arduino Web Control
红外半球监控摄像机在安装与使用中的常见问题有哪些
崛起的新生力量是阿里巴巴集团实现102年愿景的关键所在
干货：径向磁力和感应电动机的磁噪声分析方法让电机越来越安静
chiplet标准ucie已经得到很多主流大厂的认可，席卷之势愈发明显。但就chiplet的价值挖掘，目前可见的，都还停留在如何降成本和简单地扩大设计规模方面。我们觉得，chiplet的价值还没有得到充分挖掘。 chiplet带来的价值，不应该是线性增长，而应该是指数增长：
一方面，量变会引起质变，chiplet的流行，快速增加的单芯片设计规模，会给系统架构创新提供更大的发挥空间，使得计算的架构，从异构走向超异构。
另一方面，超异构带来的算力指数级提升，使得chiplet的价值得到更加充分的发挥，反过来会促进chiplet的大范围流行。
1 背景知识
1.1 单die性能和成本
单die的性能和成本，是正相关的关系。通常的芯片die设计，一定是在保证系统所需性能的条件下，选择最合适的工艺，达到最合适的面积（成本），达到在性能约束条件下的性能成本比最优。或者说：
在系统性能成本最优的状态下，受边际效应影响，想再想增加单die性能，所需要付出的成本代价非常高，会显著影响性价比。
在系统性能成本最优的状态下，想要再优化单die成本，可能会引起性能的大比例下降，反而不是性价比最优。
1.2 chiplet协议ucie
英特尔、amd、arm、高通、三星、台积电、日月光等大厂，以及google cloud、meta、微软于2022年3月2日宣布了一项新技术标准ucie（universal chiplet interconnect express）。ucie是一个开放的行业互连标准，可以实现小芯片之间的封装级互连，具有高带宽、低延迟、经济节能的优点。 ucie能够满足几乎所有计算领域，包括云端、边缘端、企业、5g、汽车、高性能计算和移动设备等，对算力、内存、存储和互连不断增长的需求。ucie 具有封装集成不同die的能力，这些die可以来自不同的晶圆厂、采用不同的设计和封装方式。
ucie白皮书中给出的chiplets封装集成的价值：
首先是面积的影响。为了满足不断增长的性能需求，芯片面积增加，有些设计甚至会超出掩模版面积的限制。即使不超过面积限制，改用多个小芯片也更有利于提升良率。另外，多个相同die的集成封装能够适用于更大规模的场景。
另一个价值体现在降低成本。例如，处理器核心可以采用先进的工艺，用更高的成本换取极致的性能，而内存和i/o控制器则可以复用非先进工艺。随着工艺节点的进步，成本增长非常迅速。若采用多die集成模式，有些die的功能不变，我们不必对其采用先进工艺，可在节省成本的同时快速抢占市场。chiplet封装集成模式还可以使用户能够自主选择die的数量和类型。例如，用户可以根据需求挑选任意数量的计算、内存和i/o die，并无需进行die的定制设计，可降低产品的sku成本。
允许厂商能够以快速且经济的方式提供定制解决方案。如图1所示，不同的应用场景可能需要不同的计算加速能力，但可以使用同一种核心、内存和i/o。chiplet方式允许厂商根据功能需求对不同的功能单元应用不同的工艺节点，并实现共同封装。相比板级互连，封装级互连具有线长更短、布线更紧密的优点。
1.3 超异构计算
系统变得越来越庞大，系统可以分解成很多个子系统，子系统的规模已经达到传统单系统的规模。因此，都升级一下：系统变成了宏系统，子系统变成了系统。 系统足够庞大，场景综合，单类型架构无法包打天下：
cpu灵活性最好，但性能较差；
dsa性能很好，但灵活性差；
gpu介于两者之间，可以说能较好的平衡性能和灵活性，也可以说，性能和灵活性都不够极致。
规模庞大的复杂系统存在很多硬件加速的空间：
复杂系统最核心的一个特征是二八定律。用户只关心自己的应用，而应用通常只占系统的20%，另外80%用户不关心的也相对确定的部分，一般称为基础设施，这些是可以通过硬件加速来优化性能的。
系统是逐步发展和沉淀的。很多原本属于应用层的工作任务，随着时间推移，越来越成熟，逐渐地沉淀成了基础设施。这些沉淀的工作任务可以通过硬件加速来优化性能。最典型的场景是ai推理，现在已经成为了基础的服务，供不同的应用调用。
在云计算、边缘计算等形式的综合计算模式下，单个用户应用的规模可能不大，但因为云计算的超大规模和多租户，很多相似的用户应用其总和规模足够庞大，因此，也可以通过gpu、fpga或专用芯片的方式进行加速优化。
那么，要做的就是扬长避短，把不同类型的处理引擎协作起来，把各种引擎的优势充分利用起来，形成超异构计算架构：
dsa负责相对确定的大计算量的工作；
gpu负责应用层有一些性能敏感的并且有一定弹性的工作；
cpu啥都能干，负责兜底。
于是整个系统架构就变成了超异构架构。
总结一下计算架构发展的四个阶段：
第一阶段，单cpu串行计算；
第二极端，多核cpu的并行计算；
第三阶段，cpu+xpu的异构计算；
第四阶段，cpu+gpu+dsa+etc.的超异构计算。
2 chiplet技术方案
2.1 方案1：设计规模不变，优化单die面积和良率等
一般情况下，在同等工艺同等功耗技术下，我们可以简单地认为，面积和成本成正比的。chiplet实现用面积更小的die，实现同等规模设计，其优势主要为：
单die面积变小，增加芯片良率。而通常，单die的面积是已经平衡好良率的情况下的，再减小面积优化良率，可能效果并不是很明显。并且，多die封装会带来额外的良率风险。这样，一里一外的问题，通过多die来优化良率的效果可能就不会很明显。
可以让一些die不采用先进工艺，通过较低一些的工艺降低成本。
在不改变性能的条件下，通过chiplet封装可以降低成本；也可以反过来说，在同样成本条件下，通过chiplet封装可以提升性能。
2.2 方案2：单die设计规模不变，多die集成
当我们确定好单个die的性能和面积（功耗）的时候，这个时候相当于是把工艺的价值挖掘到了最优。需要chiplet的价值，也同样需要工艺的价值，都不能少。 我们要做的是在工艺价值的基础上，再叠加chiplet封装的价值。而不是如方案1一样，为了chiplet而chiplet，反而放弃工艺的价值。 因此，我们可以在原有die的基础上，通过多die封装来立竿见影地提升性能。
2.3 方案3：多die集成设计规模倍增，并且重构系统
通常，cpu组成的芯片，性能不够；而gpu、dsa组成的芯片无法单独工作，需要外挂cpu，形成cpu+xpu的异构计算架构；而soc本质上是cpu+xpu的多个异构系统的集成。 异构计算和soc，本质上都是以cpu为中心的系统，xpu是一个个孤岛，所有的事情都需要cpu的参与才能把这些处理引串起来。 超异构完全打破不同处理引擎之间的界限，cpu和其他xpu同样的地位，xpu间可以非常充分的交互，达到系统充分的整合。超异构计算可以做到：
性能和灵活性兼顾。因为二八定律的缘故，绝大部分计算是在dsa级别的处理引擎中完成，所以性能效率很好。而用户关心的应用依然是在cpu级别的处理引擎完成，又兼顾了灵活可编程性。
因为超异构计算架构可以驾驭更大的系统，因此，可以做到，在性能效率和dsa同量级的情况下，性能相比dsa再数量级的提升。
2.4 方案性能提升对比
注意：本节内容是定性分析，还无法做到定量分析。 方案1，可以实现性能的百分比增长。方案1的道理很好理解，本来的目标是优化成本，在同等性能情况下，能够百分比地优化成本。我们相应地折算一下，在同等成本下，方案1可以做到性能的百分比提升。 方案2，可以实现性能的线性增长。方案2也很好理解，通过增加更多数量的die来提升并行度，以此来提升性能。集成多少个die，性能就增加到多少倍。 方案3，可以实现性能的指数增长。方案3通过整个系统重构，挖掘系统的一些可加速的点，然后再实现整个系统的充分整合重构。以此来提升性能。可以达到数量级的性能增长。
3 总结
3.1 设计规模的量变，引起系统架构的质变
规模是一个很重要的因素。 云计算百万台的超大规模，其软硬件架构和运营模式跟传统的数百台的私有机房是完全迥异的。深度神经网络，通过更大量数据、更深层次网络的量变，成就了ai的“智”变。 芯片也是同样的道理，随着规模的增长，很多设计方案考虑的问题会跟以前完全不一样。在小规模的时候，我们强调定制，极度优化性能和功耗等；但等到超大规模ic设计，我们更多关注的是通用性、可编程性、易用性、生态等。 chiplet机制，提供了立竿见影让芯片设计规模数量级增加的能力。如果我们不在系统架构层次创新，充分利用芯片规模数量级增加的这个优势，只是简单的平行扩展，那真是暴殄天物，浪费chiplet给系统架构师们的馈赠。 换个角度，现有的异构计算也好，soc也好，无法驾驭chiplet提供的超大规模芯片系统。需要本质的、体系性的系统架构创新，来更好地驾驭chiplet的价值。
3.2 超异构，让chiplet价值得到更大的发挥
超异构集成更多的处理引擎，提供更高的并行性，实现更分布式的系统，可以更好地驾驭数量级增加的芯片设计规模。 此外，chiplet更好地容纳现有宏系统的承载，通过超异构，使得很多性能优化措施得到落实，从而使得性能指数级增长（而不是根据面积的增加，线性增长）。 可以说，超异构，成就了chiplet更大的价值，使得chiplet方案得到更大范围的落地，促进chiplet技术的成熟和市场繁荣。
3.3 chiplet和超异构的关系：双剑合璧，相互成就
超异构计算和chiplet技术是相互协同、相互成就的关系：
系统越大，设计规模越大，超异构的性能优势就越明显。
超异构计算，需要数量级提升的晶体管资源，而chiplet可以在芯片层次提供如此规模的晶体管资源，实现超异构计算方案和价值落地。
超异构计算的价值得到充分体现，超异构不断落地，会带动chiplet的价值发挥、更广泛的落地以及市场繁荣。
随着超异构的发展，对chiplet的要求会不断提高，需要chiplet技术向更高的能力迈进。
如何实施符合功能安全及ASPICE要求的模型动态测试——TPT Workshop邀请函
卡萨帝七星级服务给出一站式解决方案
物联网赋能挖掘更多应用场景
电容和电池的区别
ADI医疗超声系统整体解决方案
超异构带来的算力指数级提升，使得Chiplet的价值得到更加充分的发挥
Valve老大：三款完整VR游戏仍在研发中
小米6、华为P10哪个好？小米6、华为P10区别对比评测:小米6、华为P10的wifi强势对比，结果令人咋舌虚惊不已
【新专利介绍】一种电能表软件运行环境的仿真系统
美国宇航局朝着发射新任务迈出了一大步
如何提升边缘计算的安全性
AR数字展厅的全面介绍
桥堆的原理_桥堆构成的整流电路及故障处理
在PCB设计中如何增强防静电ESD功能
API 网格提供的安全控制效果如何？
二氧化碳传感器吊挂标准_二氧化碳传感器的作用
怎样在没有以太网屏蔽的情况下设置Arduino Web Control
红外半球监控摄像机在安装与使用中的常见问题有哪些
崛起的新生力量是阿里巴巴集团实现102年愿景的关键所在
干货：径向磁力和感应电动机的磁噪声分析方法让电机越来越安静