深度解析HBM内存技术
hbm作为基于3d堆栈工艺的高性能dram，打破内存带宽及功耗瓶颈。hbm(high bandwidth memory)即高带宽存储器，通过使用先进封装(如tsv硅通孔、微凸块)将多个dram芯片进行堆叠，并与gpu一同进行封装，形成大容量、高带宽的ddr组合阵列。
hbm通过与处理器相同的“interposer”中间介质层与计算芯片实现紧凑连接，一方面既节省了芯片面积，另一方面又显著减少了数据传输时间；此外hbm采用tsv工艺进行3d堆叠，不仅显著提升了带宽，同时降低了功耗，实现了更高的集成度。
hbm性能远超gddr,成为当前gpu存储单元理想解决方案。gpu显存一般采用gddr或者hbm两种方案，但hbm性能远超gddr。
根据amd数据，从显存位宽来看，gddr5为32-bit,hbm为其四倍，达到了1024-bit;从时钟频率来看，hbm为500mhz，远远小于gddr5的1750mhz;从显存带宽来看，hbm的一个stack大于100gb/s,而gddr5的一颗芯片才25gb/s,所以hbm的数据传输速率远远高于gddr5。
从空间利用角度来看，hbm由于与gpu封装在一块，从而大幅度减少了显卡pcb的空间，而gddr5芯片面积为hbm芯片三倍，这意味着hbm能够在更小的空间内，实现更大的容量。因此，hbm可以在实现高带宽和高容量的同时节约芯片面积和功耗，被视为gpu存储单元理想解决方案。
在高性能gpu需求推动下，hbm目前已经成为ai服务器的搭载标配。ai大模型的兴起催生了海量算力需求，而数据处理量和传输速率大幅提升使得ai服务器对芯片内存容量和传输带宽提出更高要求。
hbm具备高带宽、高容量、低延时和低功耗优势，目前已逐步成为ai服务器中gpu的搭载标配。英伟达推出的多款用于ai训练的芯片a100、h100和h200,都采用了hbm显存。
其中，a100和h100芯片搭载了40gb的hbm2e和80gb的hbm3显存，最新的h200芯片搭载了速率更快、容量更高的hbm3e。amd的mi300系列也都采用了hbm3技术，mi300a的容量与前一代相同为128gb,而更高端的mi300x则将容量提升至192gb,增长了50%,相当于h100容量的2.4倍。
hbm市场竞争激烈，hbm产品向低能耗、高带宽、高容量加速迭代。从2016年第一代hbm1发布开始，hbm目前已经迭代到第五代产品——hbm3e,纵观五代hbm产品性能变化，可以发现hbm在带宽、i/o速率、容量、工艺节点等方面取得较大突破，其中带宽由初代的128gb/s迭代至hbm3e的1tb/s,i/o速率由1gbps迭代至8gbps,容量从1gb增至最高36gb,制造工艺则取得进一步突破，达到5nm级别。
最新一代hbm3e数据处理速度最高可达到1.15tb/s,hbm系列产品的更新迭代将在低能耗、高带宽、高容量上持续发力，以高性能牵引ai技术进一步革新。
hbm产品迭代助力ai芯片性能升级。当地时间2023年11月13日，英伟达发布了首款搭载最先进存储技术hbm3e的gpu芯片h200。h200作为首款搭载最先进存储技术hbm3e的gpu,拥有141gb显存容量和4.8tb/s显存带宽，与h100的80gb和3.35tb/s相比，显存容量增加76%,显存带宽增加43%。
尽管gpu核心未升级，但h200凭借更大容量、更高带宽的显存，依旧在人工智能大模型计算方面实现显著提升。根据英伟达官方数据，在单卡性能方面，h200相比h100,在llama2的130亿参数训练中速度提升40%,在gpt-3的1750亿参数训练中提升60%,在llama2的700亿参数训练中提升90%;在降低能耗、减少成本方面，h200的tco(总拥有成本)达到了新水平，最高可降低一半的能耗。
hbm市场目前被三大原厂占据，其中海力士份额领先，占据hbm市场主导地位。据trendforce数据，三大原厂海力士、三星、美光2022年hbm市占率分别为50%、40%、10%。2023年年初至今，生成式ai市场呈爆发式增长，大模型参数量、预训练数据量攀升，驱动ai服务器对高带宽、高容量的hbm需求迅速增加。
作为最先开发出hbm芯片的海力士，在aigc行业迅速发展背景下得以抢占先机，率先实现hbm3量产，抢占市场份额。2023年下半年英伟达高性能gpuh100与amd mi300将搭载海力士生产的hbm3,海力士市占率将进一步提升，预计2023年海力士、三星、美光市占率分别为53%、38%、9%。
tsv技术通过垂直堆叠多个dram,能显著提升存储容量、带宽并降低功耗。tsv(硅通孔)技术通过在芯片与芯片之间、晶圆和晶圆之间制作垂直导通，并通过铜、钨、多晶硅等导电物质的填充，实现硅通孔的垂直电气互联。
作为实现3d先进封装的关键技术之一，对比wire bond叠层封装，tsv可以提供更高的互连密度和更短的数据传输路径，因此具有更高的性能和传输速度。随着摩尔定律放缓，芯片特征尺寸接近物理极限，半导体器件的微型化也越来越依赖于集成tsv的先进封装。目前dram行业中，3d-tsvdram和hbm已经成功生产tsv,克服了容量和带宽的限制。
tsv为hbm核心工艺，在hbm3d封装成本中占比约30%。根据samsung,3d tsv工艺较传统pop封装形式节省了35%的封装尺寸，降低了50%的功耗，并且对比带来了8倍的带宽提升。对4层存储芯片和一层逻辑裸芯进行3d堆叠的成本进行分析，tsv形成和显露的成本合计占比，对应99.5%和99%两种键合良率的情形分别为30%和28%,超过了前/后道工艺的成本占比，是hbm3d封装中成本占比最高的部分。
tsv技术主要涉及深孔刻蚀、沉积、减薄抛光等关键工艺。tsv首先利用深反应离子刻蚀(drie)法制作通孔；然后使用化学气相沉积(pecvd)的方法沉积制作介电层、使用物理气相沉积(pvd)的方法沉积制作阻挡层和种子层；再选择电镀铜(cu)进行填孔；最后使用化学和机械抛光(cmp)法去除多余的铜。另外，由于芯片堆叠集成的需要，在完成铜填充后，还需要晶圆减薄和键合。
hbm多层堆叠结构提升工序步骤，带动封装设备需求持续提升。(1)前道环节：hbm需要通过tsv进行垂直方向连接，增加了tsv刻蚀设备需求，同时hbm中tsv、微凸点、硅中介层等工艺大量增加了前道工序，给前道检、量测设备带来增量；(2)后道环节：hbm堆叠结构增多，要求晶圆厚度不断降低，这意味着对减薄、键合等设备的需求提升；hbm多层堆叠结构依靠超薄晶圆和铜铜混合键合工艺增加了对临时键合/解键合等设备的需求；(3)各层dram die的保护材料也非常关键，对注塑或压塑设备提出了较高要求。
基于VHDL语言并选用FPGA设计了一个卷积码编码器
数字孪生智慧医院白皮书
无线充电系统电磁屏蔽与效率优化方案
浦科特M9PeSSD评测 顶级硬件带幻彩游戏王者风范自成
荣耀平板5 8英寸版评测 小钢炮本质呼之欲出
深度解析HBM内存技术
华为全联接大会 2023 | 华为数据通信参会早知道！
三路输出LED驱动器可驱动共阳极LED串
关于高频数字抽取滤波器的设计
过电压与过放电保护控制电路
OICT跨界融合会是5G工业互联网的制胜之道吗？
短见！4G何以阻挡公共WiFi网络脚步？
蓝牙跑步耳机哪个牌子好，骨传导运动耳机推荐
超声波变幅杆原理及结构
比亚迪海豹为智利圣地亚哥客户带来卓越的电动出行体验
dfrobot电位器套件简介
华为美国放信号：绕过政治壁垒 不和代理商“抢生意”
在汽车电子系统中如何选择多通道同步降压转换器？
反相器与温度传感器构成的温度/频率转换电路
三星首次在Note 10系列手机中采取双机策略 均有5G版本
hbm通过与处理器相同的“interposer”中间介质层与计算芯片实现紧凑连接，一方面既节省了芯片面积，另一方面又显著减少了数据传输时间；此外hbm采用tsv工艺进行3d堆叠，不仅显著提升了带宽，同时降低了功耗，实现了更高的集成度。
hbm性能远超gddr,成为当前gpu存储单元理想解决方案。gpu显存一般采用gddr或者hbm两种方案，但hbm性能远超gddr。
根据amd数据，从显存位宽来看，gddr5为32-bit,hbm为其四倍，达到了1024-bit;从时钟频率来看，hbm为500mhz，远远小于gddr5的1750mhz;从显存带宽来看，hbm的一个stack大于100gb/s,而gddr5的一颗芯片才25gb/s,所以hbm的数据传输速率远远高于gddr5。
从空间利用角度来看，hbm由于与gpu封装在一块，从而大幅度减少了显卡pcb的空间，而gddr5芯片面积为hbm芯片三倍，这意味着hbm能够在更小的空间内，实现更大的容量。因此，hbm可以在实现高带宽和高容量的同时节约芯片面积和功耗，被视为gpu存储单元理想解决方案。
在高性能gpu需求推动下，hbm目前已经成为ai服务器的搭载标配。ai大模型的兴起催生了海量算力需求，而数据处理量和传输速率大幅提升使得ai服务器对芯片内存容量和传输带宽提出更高要求。
hbm具备高带宽、高容量、低延时和低功耗优势，目前已逐步成为ai服务器中gpu的搭载标配。英伟达推出的多款用于ai训练的芯片a100、h100和h200,都采用了hbm显存。
其中，a100和h100芯片搭载了40gb的hbm2e和80gb的hbm3显存，最新的h200芯片搭载了速率更快、容量更高的hbm3e。amd的mi300系列也都采用了hbm3技术，mi300a的容量与前一代相同为128gb,而更高端的mi300x则将容量提升至192gb,增长了50%,相当于h100容量的2.4倍。
hbm市场竞争激烈，hbm产品向低能耗、高带宽、高容量加速迭代。从2016年第一代hbm1发布开始，hbm目前已经迭代到第五代产品——hbm3e,纵观五代hbm产品性能变化，可以发现hbm在带宽、i/o速率、容量、工艺节点等方面取得较大突破，其中带宽由初代的128gb/s迭代至hbm3e的1tb/s,i/o速率由1gbps迭代至8gbps,容量从1gb增至最高36gb,制造工艺则取得进一步突破，达到5nm级别。
最新一代hbm3e数据处理速度最高可达到1.15tb/s,hbm系列产品的更新迭代将在低能耗、高带宽、高容量上持续发力，以高性能牵引ai技术进一步革新。
hbm产品迭代助力ai芯片性能升级。当地时间2023年11月13日，英伟达发布了首款搭载最先进存储技术hbm3e的gpu芯片h200。h200作为首款搭载最先进存储技术hbm3e的gpu,拥有141gb显存容量和4.8tb/s显存带宽，与h100的80gb和3.35tb/s相比，显存容量增加76%,显存带宽增加43%。
尽管gpu核心未升级，但h200凭借更大容量、更高带宽的显存，依旧在人工智能大模型计算方面实现显著提升。根据英伟达官方数据，在单卡性能方面，h200相比h100,在llama2的130亿参数训练中速度提升40%,在gpt-3的1750亿参数训练中提升60%,在llama2的700亿参数训练中提升90%;在降低能耗、减少成本方面，h200的tco(总拥有成本)达到了新水平，最高可降低一半的能耗。
hbm市场目前被三大原厂占据，其中海力士份额领先，占据hbm市场主导地位。据trendforce数据，三大原厂海力士、三星、美光2022年hbm市占率分别为50%、40%、10%。2023年年初至今，生成式ai市场呈爆发式增长，大模型参数量、预训练数据量攀升，驱动ai服务器对高带宽、高容量的hbm需求迅速增加。
作为最先开发出hbm芯片的海力士，在aigc行业迅速发展背景下得以抢占先机，率先实现hbm3量产，抢占市场份额。2023年下半年英伟达高性能gpuh100与amd mi300将搭载海力士生产的hbm3,海力士市占率将进一步提升，预计2023年海力士、三星、美光市占率分别为53%、38%、9%。
tsv技术通过垂直堆叠多个dram,能显著提升存储容量、带宽并降低功耗。tsv(硅通孔)技术通过在芯片与芯片之间、晶圆和晶圆之间制作垂直导通，并通过铜、钨、多晶硅等导电物质的填充，实现硅通孔的垂直电气互联。
作为实现3d先进封装的关键技术之一，对比wire bond叠层封装，tsv可以提供更高的互连密度和更短的数据传输路径，因此具有更高的性能和传输速度。随着摩尔定律放缓，芯片特征尺寸接近物理极限，半导体器件的微型化也越来越依赖于集成tsv的先进封装。目前dram行业中，3d-tsvdram和hbm已经成功生产tsv,克服了容量和带宽的限制。
tsv为hbm核心工艺，在hbm3d封装成本中占比约30%。根据samsung,3d tsv工艺较传统pop封装形式节省了35%的封装尺寸，降低了50%的功耗，并且对比带来了8倍的带宽提升。对4层存储芯片和一层逻辑裸芯进行3d堆叠的成本进行分析，tsv形成和显露的成本合计占比，对应99.5%和99%两种键合良率的情形分别为30%和28%,超过了前/后道工艺的成本占比，是hbm3d封装中成本占比最高的部分。
tsv技术主要涉及深孔刻蚀、沉积、减薄抛光等关键工艺。tsv首先利用深反应离子刻蚀(drie)法制作通孔；然后使用化学气相沉积(pecvd)的方法沉积制作介电层、使用物理气相沉积(pvd)的方法沉积制作阻挡层和种子层；再选择电镀铜(cu)进行填孔；最后使用化学和机械抛光(cmp)法去除多余的铜。另外，由于芯片堆叠集成的需要，在完成铜填充后，还需要晶圆减薄和键合。
hbm多层堆叠结构提升工序步骤，带动封装设备需求持续提升。(1)前道环节：hbm需要通过tsv进行垂直方向连接，增加了tsv刻蚀设备需求，同时hbm中tsv、微凸点、硅中介层等工艺大量增加了前道工序，给前道检、量测设备带来增量；(2)后道环节：hbm堆叠结构增多，要求晶圆厚度不断降低，这意味着对减薄、键合等设备的需求提升；hbm多层堆叠结构依靠超薄晶圆和铜铜混合键合工艺增加了对临时键合/解键合等设备的需求；(3)各层dram die的保护材料也非常关键，对注塑或压塑设备提出了较高要求。
基于VHDL语言并选用FPGA设计了一个卷积码编码器
数字孪生智慧医院白皮书
无线充电系统电磁屏蔽与效率优化方案
浦科特M9PeSSD评测 顶级硬件带幻彩游戏王者风范自成
荣耀平板5 8英寸版评测 小钢炮本质呼之欲出
深度解析HBM内存技术
华为全联接大会 2023 | 华为数据通信参会早知道！
三路输出LED驱动器可驱动共阳极LED串
关于高频数字抽取滤波器的设计
过电压与过放电保护控制电路
OICT跨界融合会是5G工业互联网的制胜之道吗？
短见！4G何以阻挡公共WiFi网络脚步？
蓝牙跑步耳机哪个牌子好，骨传导运动耳机推荐
超声波变幅杆原理及结构
比亚迪海豹为智利圣地亚哥客户带来卓越的电动出行体验
dfrobot电位器套件简介
华为美国放信号：绕过政治壁垒 不和代理商“抢生意”
在汽车电子系统中如何选择多通道同步降压转换器？
反相器与温度传感器构成的温度/频率转换电路
三星首次在Note 10系列手机中采取双机策略 均有5G版本