AI时代推动存储器的创新与发展
作者：应用材料公司 mahendra pakala
在物联网、大数据和人工智能 （ai） 的推动下，从交通运输、医疗保健到零售和娱乐等众多行业将走上转型之路，应用材料公司将其统称为 ai 计算时代。
在以前的计算时代中，大型机/小型机、pc/服务器和智能手机/平板电脑均受益于摩尔定律的进步，伴随着 2d 微缩，产品的性能、功耗和面积/成本（也称为“ppac”）得以同步提升。
虽然 ai 时代的各类应用正在蓬勃发展，但摩尔定律却放缓了脚步；因此，行业需要在 2d 微缩以外取得突破，以全新方式推动 ppac 的提升。具体而言，我们需要新的计算架构、新材料、新结构（特别是节省面积的 3d 结构），以及用于芯片堆叠和异构设计的高级封装。
ai 时代的架构变化正在对逻辑和存储器产生影响。机器学习的算法大量地使用通用逻辑中极为复杂的矩阵乘法运算，这推动了加速器及其存储器的转变。ai 计算包含两种明显不同的存储器任务：第一种是存储计算的中间结果；第二种是存储与训练模型相关的权重。
性能和功耗对于云计算和边缘计算都十分重要，而存储器方面的创新能够为此提供助力。一种使用现有存储器技术的方法是“近存储器”，其中大量工作存储器被压缩并放置在物理上与逻辑存储器紧密相邻的位置，通过高速接口连接。例如，3d 堆叠和硅通孔技术正愈发受到欢迎。作为这些应用中的“工作存储器”，sram 和 dram 的一个主要缺点在于它们是易失性存储器，需要持续供电来保存数据（如权重）。
为了降低云和边缘的功耗，设计人员正在评估兼具高性能和非易失性的新型存储器，因为它们只有在主动读写时才需要使用电源。有三种方案引领着新型存储器， 它们分别是磁性ram （mram）、相变式 ram （pcram） 和电阻式 ram （reram） 。
不同于使用电荷，上述三款存储器利用新材料产生不同的电阻率状态 ，而高低电阻依次表示 1 和 0。mram 利用磁场方向的变化来控制电阻率。pcram 利用了从非晶态到晶态的材料排列结构变化。reram 在材料中创造了一条电流通路。pcram 和 reram 均提供电阻率的中间阶段，这可在每个单元中存储多层的比特数据。
我们来了解一下 ai 时代的计算应用，了解它们如何在未来蓝图中推动创新。
图 1. ai 时代推动半导体创新的复兴之路
物联网边缘应用可被划分为低性能/低功耗应用，以及高性能/高功耗应用。
例如，采用 ai 算法的安全摄像头是一种低性能/低功耗应用，ai 算法非常适合面部和语音识别等应用。设计目标是尽可能多地处理边缘数据，并且仅将重要信息传输到云。由于采样频率较低，因此性能要求也很低。功耗（包括待机功耗）至关重要，对于电池供电设备尤为如此。
目前，业界在边缘设备中使用 sram 存储器。sram 并非理想选择，因为每个存储单元需要多达六个晶体管，而且源泄漏功率会很高。在存储权重方面，sram 的能效并不突出，特别是在低频设计中使用时。作为替代方案，mram 可确保将晶体管密度提高数倍，从而实现更高的存储密度或更小的芯片尺寸。mram 的另一个关键特性在于，这种产品经专门设计，可以安装到嵌入式片上系统产品 （soc） 的后端互连层中。mram 可用于存储 soc 的操作系统和应用程序，无需使用嵌入式闪存芯片便可实现这一目的，从而减少了系统芯片的总数和成本。
高性能“近边缘”应用，如缺陷检测和医学筛检，则需要更高的性能。mram 的一种变型称作自旋轨道转矩 mram （sot-mram），经证实，这种产品在速度和功耗方面可能优于自旋转移力矩 mram （stt-mram）。
云计算需要尽可能高的计算性能，而训练时则需要将大量数据转移到机器学习加速器附近，相应地，需要为机器学习加速器提供较大的片上 sram 缓存并辅以大型片外 dram 阵列——这就要求使用持续的电源。用电量对云服务提供商非常重要，因为 ai 时代的数据会呈指数级增长，而电网功率有限且成本高昂。pcram 的功耗和成本比 dram 更低，而性能则比固态硬盘和机械硬盘更高，因此成为云计算架构的首选方案。
除了上述“二进制”的边缘应用、近边缘应用和云应用方面具备广阔前景外，在存储内计算的研究也在日益深入。可以想象，在存储器阵列中为机器学习执行频繁的矩阵乘法运算。设计人员正在探索伪交叉点架构，其中权重存储在各个存储器节点上。pcram、reram 甚至铁电场效应晶体管 （fefet） 都是优秀的备选方案，因为它们都有每单元多层存储的潜力。目前而言，reram 看起来是最适合此类应用的存储器。可以利用欧姆定律和基尔霍夫定律在阵列内完成矩阵乘法运算，而无需向芯片内移入和移出权重。多层单元架构能够实现全新级别的存储器密度，为设计和使用更大的模型提供支持。需要对新材料进行全面的开发和工程设计，才能将这些新的模拟存储器付诸现实，目前应用材料公司正在积极探索部分极具代表性的方案。
当摩尔定律的指数级发展速度逐渐减缓，ai 时代将迎来数据上的指数级增长。这种压力已经在推动着架构、材料、3d 结构以及用于芯片堆叠和异构集成的先进封装不断创新。存储器与 ai 计算引擎的关系越来越紧密，最终，存储器可能成为 ai 计算引擎本身。随着这些创新崭露头角，我们将见证性能、功耗和密度（面积/成本）的显著提升——随着新型存储器的逐步优化，边缘、近边缘和云应用的需求最终会得到满足。我们需要硬件上的全面复兴来释放 ai 时代的全部潜力。
2023首届中国科技城北川通航（无人机）产业峰会举行
宽窄带融合的探究推动数字集群通信行业的发展
明导国际电气设计软件助力特斯拉汽车公司走向标准化
新恒汇募资5.19亿元 扩充高密度QFN/DFN蚀刻引线框架产能
开放x86授权，收购高塔半导体，英特尔IDM2.0大棋已经下好
AI时代推动存储器的创新与发展
小型气泡原汁机减速电机选型方案的介绍
什么叫2nm芯片？2nm芯片正式官宣
什么是保险丝?
关于机器学习中的模型评估的性能分析及选择
LED智能照明控制系统的设计
Intel技术人员:未来可能出现千内核处理器
智慧物流市场规模将超万亿 电商平台与物流企业纷纷布局来抢占先机
今年AMD服务器CPU市场份额有望提升到10%
一文简述976nm泵浦技术的前生今世
【广州华锐互动】智慧楼宇可视化为智慧城市升级提供新契机
FreeRTOS|自定义裁剪
贴片式电阻器的制作工艺解析
重庆飞狐航空为无人机爱好者科普宣讲和试飞表演
PTVA120501EA-V1高功率放大器
在物联网、大数据和人工智能 （ai） 的推动下，从交通运输、医疗保健到零售和娱乐等众多行业将走上转型之路，应用材料公司将其统称为 ai 计算时代。
在以前的计算时代中，大型机/小型机、pc/服务器和智能手机/平板电脑均受益于摩尔定律的进步，伴随着 2d 微缩，产品的性能、功耗和面积/成本（也称为“ppac”）得以同步提升。
虽然 ai 时代的各类应用正在蓬勃发展，但摩尔定律却放缓了脚步；因此，行业需要在 2d 微缩以外取得突破，以全新方式推动 ppac 的提升。具体而言，我们需要新的计算架构、新材料、新结构（特别是节省面积的 3d 结构），以及用于芯片堆叠和异构设计的高级封装。
ai 时代的架构变化正在对逻辑和存储器产生影响。机器学习的算法大量地使用通用逻辑中极为复杂的矩阵乘法运算，这推动了加速器及其存储器的转变。ai 计算包含两种明显不同的存储器任务：第一种是存储计算的中间结果；第二种是存储与训练模型相关的权重。
性能和功耗对于云计算和边缘计算都十分重要，而存储器方面的创新能够为此提供助力。一种使用现有存储器技术的方法是“近存储器”，其中大量工作存储器被压缩并放置在物理上与逻辑存储器紧密相邻的位置，通过高速接口连接。例如，3d 堆叠和硅通孔技术正愈发受到欢迎。作为这些应用中的“工作存储器”，sram 和 dram 的一个主要缺点在于它们是易失性存储器，需要持续供电来保存数据（如权重）。
为了降低云和边缘的功耗，设计人员正在评估兼具高性能和非易失性的新型存储器，因为它们只有在主动读写时才需要使用电源。有三种方案引领着新型存储器， 它们分别是磁性ram （mram）、相变式 ram （pcram） 和电阻式 ram （reram） 。
不同于使用电荷，上述三款存储器利用新材料产生不同的电阻率状态 ，而高低电阻依次表示 1 和 0。mram 利用磁场方向的变化来控制电阻率。pcram 利用了从非晶态到晶态的材料排列结构变化。reram 在材料中创造了一条电流通路。pcram 和 reram 均提供电阻率的中间阶段，这可在每个单元中存储多层的比特数据。
我们来了解一下 ai 时代的计算应用，了解它们如何在未来蓝图中推动创新。
图 1. ai 时代推动半导体创新的复兴之路
物联网边缘应用可被划分为低性能/低功耗应用，以及高性能/高功耗应用。
例如，采用 ai 算法的安全摄像头是一种低性能/低功耗应用，ai 算法非常适合面部和语音识别等应用。设计目标是尽可能多地处理边缘数据，并且仅将重要信息传输到云。由于采样频率较低，因此性能要求也很低。功耗（包括待机功耗）至关重要，对于电池供电设备尤为如此。
目前，业界在边缘设备中使用 sram 存储器。sram 并非理想选择，因为每个存储单元需要多达六个晶体管，而且源泄漏功率会很高。在存储权重方面，sram 的能效并不突出，特别是在低频设计中使用时。作为替代方案，mram 可确保将晶体管密度提高数倍，从而实现更高的存储密度或更小的芯片尺寸。mram 的另一个关键特性在于，这种产品经专门设计，可以安装到嵌入式片上系统产品 （soc） 的后端互连层中。mram 可用于存储 soc 的操作系统和应用程序，无需使用嵌入式闪存芯片便可实现这一目的，从而减少了系统芯片的总数和成本。
高性能“近边缘”应用，如缺陷检测和医学筛检，则需要更高的性能。mram 的一种变型称作自旋轨道转矩 mram （sot-mram），经证实，这种产品在速度和功耗方面可能优于自旋转移力矩 mram （stt-mram）。
云计算需要尽可能高的计算性能，而训练时则需要将大量数据转移到机器学习加速器附近，相应地，需要为机器学习加速器提供较大的片上 sram 缓存并辅以大型片外 dram 阵列——这就要求使用持续的电源。用电量对云服务提供商非常重要，因为 ai 时代的数据会呈指数级增长，而电网功率有限且成本高昂。pcram 的功耗和成本比 dram 更低，而性能则比固态硬盘和机械硬盘更高，因此成为云计算架构的首选方案。
除了上述“二进制”的边缘应用、近边缘应用和云应用方面具备广阔前景外，在存储内计算的研究也在日益深入。可以想象，在存储器阵列中为机器学习执行频繁的矩阵乘法运算。设计人员正在探索伪交叉点架构，其中权重存储在各个存储器节点上。pcram、reram 甚至铁电场效应晶体管 （fefet） 都是优秀的备选方案，因为它们都有每单元多层存储的潜力。目前而言，reram 看起来是最适合此类应用的存储器。可以利用欧姆定律和基尔霍夫定律在阵列内完成矩阵乘法运算，而无需向芯片内移入和移出权重。多层单元架构能够实现全新级别的存储器密度，为设计和使用更大的模型提供支持。需要对新材料进行全面的开发和工程设计，才能将这些新的模拟存储器付诸现实，目前应用材料公司正在积极探索部分极具代表性的方案。
当摩尔定律的指数级发展速度逐渐减缓，ai 时代将迎来数据上的指数级增长。这种压力已经在推动着架构、材料、3d 结构以及用于芯片堆叠和异构集成的先进封装不断创新。存储器与 ai 计算引擎的关系越来越紧密，最终，存储器可能成为 ai 计算引擎本身。随着这些创新崭露头角，我们将见证性能、功耗和密度（面积/成本）的显著提升——随着新型存储器的逐步优化，边缘、近边缘和云应用的需求最终会得到满足。我们需要硬件上的全面复兴来释放 ai 时代的全部潜力。
2023首届中国科技城北川通航（无人机）产业峰会举行
宽窄带融合的探究推动数字集群通信行业的发展
明导国际电气设计软件助力特斯拉汽车公司走向标准化
新恒汇募资5.19亿元 扩充高密度QFN/DFN蚀刻引线框架产能
开放x86授权，收购高塔半导体，英特尔IDM2.0大棋已经下好
AI时代推动存储器的创新与发展
小型气泡原汁机减速电机选型方案的介绍
什么叫2nm芯片？2nm芯片正式官宣
什么是保险丝?
关于机器学习中的模型评估的性能分析及选择
LED智能照明控制系统的设计
Intel技术人员:未来可能出现千内核处理器
智慧物流市场规模将超万亿 电商平台与物流企业纷纷布局来抢占先机
今年AMD服务器CPU市场份额有望提升到10%
一文简述976nm泵浦技术的前生今世
【广州华锐互动】智慧楼宇可视化为智慧城市升级提供新契机
FreeRTOS|自定义裁剪
贴片式电阻器的制作工艺解析
重庆飞狐航空为无人机爱好者科普宣讲和试飞表演
PTVA120501EA-V1高功率放大器