AI芯片成为耗电大户，负载功耗接近一个小国家？
如今，对人工智能的需求巨大。法国施耐德电气公司估计，2023年人工智能工作负载的功耗总计约为4.3吉瓦（gw），略低于塞浦路斯国家2021年的功耗（ 4.7吉瓦）。该公司预计，人工智能工作负载的功耗将以26%至36%的复合年增长率（cagr）增长，这意味着到2028年，人工智能工作负载的功耗将从13.5吉瓦增至20吉瓦，这比冰岛2021年消费的电力消耗还要多。
巨大的电力需求
据施耐德电气称，到 2023 年，所有数据中心的总功耗预计将达到 54 gw，其中人工智能工作负载将占到 4.3 gw。在这些人工智能工作负载中，训练和推理之间的分配特点是 20% 的功耗用于训练目的，80% 分配给推理任务。这意味着人工智能工作负载将占今年数据中心总功耗的约8%。
展望 2028 年，施耐德预计数据中心的总能耗将增至 90 吉瓦，其中人工智能工作负载的能耗将达到 13.5 吉瓦至 20 吉瓦。这表明，到 2028 年，人工智能可能消耗数据中心总用电量的 15% 至 20% 左右，这表明数据中心人工智能工作负载的功耗比例在五年内显着增加。根据施耐德电气的估计，训练和推理之间的分布预计将略有变化，训练消耗 15% 的电力，推理则占 85%。
ai gpu 变得更加“饥饿”
人工智能数据中心功耗不断上升的主要原因是人工智能工作负载的加剧、人工智能gpu和人工智能处理器的进步以及其他数据中心硬件的要求不断增加。例如，nvidia 2020 年的 a100 功耗高达 400w，而 2022 年的 h100 功耗高达 700w。除了 gpu 之外，ai 服务器还运行耗电的 cpu 和网卡。
ai 工作负载，尤其是与训练相关的工作负载，需要大量计算资源，包括配备 ai gpu、专用 asic 或 cpu 的专用服务器。人工智能集群的规模受人工智能模型的复杂性和规模的影响，是功耗的主要决定因素。更大的人工智能模型需要更多数量的 gpu，从而增加总体能源需求。例如，拥有 22,000 个 h100 gpu 的集群使用大约 700 个机架。基于 h100 的机架在安装八台 hpe cray xd670 gpu 加速服务器时，机架总密度为 80 kw。施耐德电气指出，因此，整个集群需要大约 31 兆瓦的电力，这还不包括冷却等额外基础设施需求所需的能源。
这些集群和 gpu 在整个训练过程中通常几乎满负荷运行，确保平均能耗几乎与峰值功耗相同。该文件指出，大量ai集群的机架密度在30kw到100kw之间，具体取决于gpu的数量和型号。
网络延迟在人工智能数据中心的功耗中也起着至关重要的作用。复杂的网络基础设施对于支持分布式训练过程中强大的 gpu 所需的高速数据通信至关重要。对高速网络电缆和基础设施（例如能够支持高达 800 gb/s 速度的电缆和基础设施）的需求进一步增加了总体能耗。
鉴于人工智能工作负载需要高耗电的 asic、gpu、cpu、网卡和 ssd，冷却构成了重大挑战。鉴于高机架密度和计算过程中产生的巨大热量，有效的冷却解决方案对于保持最佳性能并防止硬件故障或失效至关重要。与此同时，空气和液体冷却方法在功耗方面也“昂贵”，这就是为什么它们也对用于人工智能工作负载的数据中心的功耗造成很大影响。
一些建议
施耐德电气预计ai硬件的功耗不会很快降低，公司充分预计ai机架的功耗将达到100kw或更高。因此，施耐德电气对专门处理人工智能工作负载的数据中心提出了一些建议。
施耐德电气特别建议从传统的120/208v过渡到240/415v配电，以更好地适应人工智能工作负载的高功率密度。对于冷却，建议从空气冷却转向液体冷却，以提高处理器的可靠性和能源效率，尽管沉浸式冷却可能会产生更好的效果。使用的货架应更宽敞，其规格例如宽度至少为 750 毫米，静态承重能力大于 1,800 公斤。
U54内核特权模式中断介绍
研究人员开发Spidey Senses 帮助自动驾驶汽车避免危险
荣耀V40系列放料：高配麒麟9000，将搭载鸿蒙2.0
紧跟行业趋势，威迈斯IPO上市加速自动化进程
机器与人类合作效益 远胜任何一方单打独斗
AI芯片成为耗电大户，负载功耗接近一个小国家？
电感器的主要参数都有哪些
IT资产跟踪系统是什么，它的特点是什么
芯启源科技®射频同轴连接器
在未来，自动化检测设备替代人工品检是必然的
中国移动已经在中央商务区开通2.6GHz+4.9GHz 5G双频网试验点
中国半数LED芯片厂商将破产
大功率快充桩成为未来发展的主流趋势
零件设计优化的同时，如何合理控制3D打印成本
瑞萨（Renesas）收购美国功率半导体制造商
医用警报系统的设计方法和当前的实现方案
鲲鹏、申威、海光等***，奋力追赶，实现新突破
航顺芯片高性能HK32C030系列MCU简述
单片机对两位共阳数码管的驱动设计
PLC远程监控与数据采集方案
巨大的电力需求
据施耐德电气称，到 2023 年，所有数据中心的总功耗预计将达到 54 gw，其中人工智能工作负载将占到 4.3 gw。在这些人工智能工作负载中，训练和推理之间的分配特点是 20% 的功耗用于训练目的，80% 分配给推理任务。这意味着人工智能工作负载将占今年数据中心总功耗的约8%。
展望 2028 年，施耐德预计数据中心的总能耗将增至 90 吉瓦，其中人工智能工作负载的能耗将达到 13.5 吉瓦至 20 吉瓦。这表明，到 2028 年，人工智能可能消耗数据中心总用电量的 15% 至 20% 左右，这表明数据中心人工智能工作负载的功耗比例在五年内显着增加。根据施耐德电气的估计，训练和推理之间的分布预计将略有变化，训练消耗 15% 的电力，推理则占 85%。
ai gpu 变得更加“饥饿”
人工智能数据中心功耗不断上升的主要原因是人工智能工作负载的加剧、人工智能gpu和人工智能处理器的进步以及其他数据中心硬件的要求不断增加。例如，nvidia 2020 年的 a100 功耗高达 400w，而 2022 年的 h100 功耗高达 700w。除了 gpu 之外，ai 服务器还运行耗电的 cpu 和网卡。
ai 工作负载，尤其是与训练相关的工作负载，需要大量计算资源，包括配备 ai gpu、专用 asic 或 cpu 的专用服务器。人工智能集群的规模受人工智能模型的复杂性和规模的影响，是功耗的主要决定因素。更大的人工智能模型需要更多数量的 gpu，从而增加总体能源需求。例如，拥有 22,000 个 h100 gpu 的集群使用大约 700 个机架。基于 h100 的机架在安装八台 hpe cray xd670 gpu 加速服务器时，机架总密度为 80 kw。施耐德电气指出，因此，整个集群需要大约 31 兆瓦的电力，这还不包括冷却等额外基础设施需求所需的能源。
这些集群和 gpu 在整个训练过程中通常几乎满负荷运行，确保平均能耗几乎与峰值功耗相同。该文件指出，大量ai集群的机架密度在30kw到100kw之间，具体取决于gpu的数量和型号。
网络延迟在人工智能数据中心的功耗中也起着至关重要的作用。复杂的网络基础设施对于支持分布式训练过程中强大的 gpu 所需的高速数据通信至关重要。对高速网络电缆和基础设施（例如能够支持高达 800 gb/s 速度的电缆和基础设施）的需求进一步增加了总体能耗。
鉴于人工智能工作负载需要高耗电的 asic、gpu、cpu、网卡和 ssd，冷却构成了重大挑战。鉴于高机架密度和计算过程中产生的巨大热量，有效的冷却解决方案对于保持最佳性能并防止硬件故障或失效至关重要。与此同时，空气和液体冷却方法在功耗方面也“昂贵”，这就是为什么它们也对用于人工智能工作负载的数据中心的功耗造成很大影响。
一些建议
施耐德电气预计ai硬件的功耗不会很快降低，公司充分预计ai机架的功耗将达到100kw或更高。因此，施耐德电气对专门处理人工智能工作负载的数据中心提出了一些建议。
施耐德电气特别建议从传统的120/208v过渡到240/415v配电，以更好地适应人工智能工作负载的高功率密度。对于冷却，建议从空气冷却转向液体冷却，以提高处理器的可靠性和能源效率，尽管沉浸式冷却可能会产生更好的效果。使用的货架应更宽敞，其规格例如宽度至少为 750 毫米，静态承重能力大于 1,800 公斤。
U54内核特权模式中断介绍
研究人员开发Spidey Senses 帮助自动驾驶汽车避免危险
荣耀V40系列放料：高配麒麟9000，将搭载鸿蒙2.0
紧跟行业趋势，威迈斯IPO上市加速自动化进程
机器与人类合作效益 远胜任何一方单打独斗
AI芯片成为耗电大户，负载功耗接近一个小国家？
电感器的主要参数都有哪些
IT资产跟踪系统是什么，它的特点是什么
芯启源科技®射频同轴连接器
在未来，自动化检测设备替代人工品检是必然的
中国移动已经在中央商务区开通2.6GHz+4.9GHz 5G双频网试验点
中国半数LED芯片厂商将破产
大功率快充桩成为未来发展的主流趋势
零件设计优化的同时，如何合理控制3D打印成本
瑞萨（Renesas）收购美国功率半导体制造商
医用警报系统的设计方法和当前的实现方案
鲲鹏、申威、海光等***，奋力追赶，实现新突破
航顺芯片高性能HK32C030系列MCU简述
单片机对两位共阳数码管的驱动设计
PLC远程监控与数据采集方案