QLC固态硬盘将成企业新宠！和Solidigm高管探讨未来企业级存储发展趋势
随着5g、大数据、云计算、物联网乃至ai预训练大模型等技术的不断演进，数字化浪潮正在推动全人类社会朝向新的文明层次快速发展。数字化永远无法回避的一个话题就是数据存储。有意思的是，曾经不被看好的qlc产品，竟在云计算和数据中心市场，迸发出新的活力，有望逐步成为企业级存储主力之选……
圆周率计算迎来新的世界纪录
前不久，storagereview团队在位于美国辛辛那提的实验室中使用第四代amd epyc cpu和solidigm d5-p5316 qlc ssd，进行圆周率（π）小数点后100万亿位数的计算，最终的成绩成功打破世界纪录，其速度几乎达到此前的3倍（原纪录由google于去年6月创造，共运行近158 天），总运行时间缩短至59天10小时46分49.55秒。其中，基于4bit单元qlc闪存的solidigm d5-p5316可用容量为530.1tb，测试中使用峰值为514.5tb，总读取量为40.2 pb，写入35.4 pb，总计数据吞吐量高达75.6 pb。该团队负责人beeler表示：“qlc非常适合这类工作负载。它支持突发写入和频繁写入，如果我们保持每天向每个驱动器发送接近30tb的数据写入的节奏，每年的数据写入将超过10pbw。事实证明，qlc ssd完全可以跟上计算速度，并在单个服务器中提供巨大的存储密度。此外，在近60天的测试中，我们发现ssd耐用性的消耗几乎可以忽略不计。”这次的测试几乎颠覆了绝大多数人对于qlc ssd的固有印象。
▲第四代qlc ssd在存储密度提升的同时，还带来了满足散热、边缘化、非结构化和云端化需求等多方面的优势和便利。
作为ssd的核心组件，nand闪存经历了slc、mlc、tlc、qlc四代演进，每单元存储数据从1bit发展到2bit、3bit、4bit。不过伴随着每单元存储位数增加，电压变化也逐级递增，而电压频繁切换会导致更多的错误和更长的擦除时间，表现出来就是写入速度更低、寿命更短、可靠性更差。尤其是在消费级市场，多数消费者对于ssd的选择更倾向于tlc，而非qlc。所以此次新的圆周率计算世界纪录诞生时，solidigm d5-p5316作为一款qlc产品的表现，尤其是对于容量、成本、性能和耐用性的兼顾，着实令人感到意外。
qlc ssd整体性能大翻身？
无独有偶，sk海力士收购intel nand闪存业务重组而来的solidigm，很快又发布了同样基于qlc闪存的全新企业级产品p5-d5430，再次引发了“qlc取代tlc”的话题讨论。据悉，p5-d5430采用大连fab 68工厂出品的192层堆叠3d qlc闪存芯片（该厂的qlc产品占40%以上），容量从3.84tb到30.72tb不等（e1.s款最大容量为15.36tb），128k顺序读写速度最高为7gb/s和3gb/s，4k随机读写速度最高达971k iops和120k iops。而且它还具备高达90％ iops一致性，以及大约6％的硬盘寿命可变性。简单说就是整体的可靠性更趋于一致，读写表现也非常平稳。
▲d5-p5430 30.72tb容量的产品预计今年下半年量产
从solidigm的官方数据来看，相对其举例的企业级tlc产品，p5-d5430在顺序/随机读取性能上已经赶超了前者，但它却可以轻松实现更大的容量，以及最多14%的写入寿命提升（相对固定的写入负载下，对闪存擦写寿命的消耗速度会随容量上升而放缓）。也就是说，目前qlc产品唯一的弱势之处，只剩写入性能。而可能很多人想不到的是，qlc在企业和数据中心市场，写入性能这一指标在存储设备采购考量中的优先级，并没有那么靠前。
▲qlc和tlc ssd各项性能的实例对比
solidigm亚太区应用工程部总监翁昀表示，对于存储设备，“除了关注性能参数，还要看一下实际的工作负载是什么样的……一些ai模型在3年内增长了1万倍以上，高清电影的数据量比几年前大9倍……数据读写方式在更多的使用场景里还是以读为主。几年前我和一家互联网公司交流过，他们主流的内容分发网络里，读7天，然后花一个晚上去做一些写入，然后再读7天，再花一个晚上写入。在94%的企业级工作负载当中，80%是读，20%是写。所以tlc ssd其实对于有些工作负载而言，并非最佳选择。”
ai时代对存储的需求到底是什么？
事实的确如此，甚至在ai时代“读多写少”会表现得更加明显。我们知道，ai业务中除了个别业务场景主要针对结构化数据进行分析外（例如消费记录、交易记录等风险控制、趋势预测场景），大多数场景需要处理的是非结构化数据，例如图像识别、语音识别、自动驾驶等，这些场景通常使用的是深度学习算法。
这也就意味着ai时代，存储领域面临四大挑战。
一是容量需求。人类社会产生的数据量正在以惊人的速度增长，预计到2025年全球每天将创建约463eb数据。5g、ai、物联网等应用源源不断地催生了大量数据流，它们各自提出了深度数据存储和随机速度的要求。
二是海量小文件。由于训练任务需要的文件数量都在几亿到十几亿的量级，所以存储需要能承载几十亿甚至上百亿的文件数量。同时，由于很多训练模型都是依赖于图片、音频片段、视频片段文件，而这些文件的大小大部分都是在几kb到几mb之间。
三是读多写少。ai环境的数据特点是读多写少，以视觉识别为例，它需要加载数千万甚至上亿张图片，针对图片使用卷积神经网络、resnet等算法，生成识别模型。完成一轮训练后，为了减少图片输入顺序的相关性对训练结果带来的影响，会将文件次序打乱之后，重新加载，训练多个轮次。这就意味着每个轮次都需要根据新的顺序加载数千万乃至上亿张图片，因此对于存储的高吞吐、低延时提出了更高的要求。
四是可靠性。比如ai业务不同环境的数据组织方式不可控，很有可能用户会将大量文件存放在同一个目录，容易导致多个计算节点在训练过程中同时读取这一批数据，这个目录所在的元数据节点就会成为热点。那么目录热点读取的可靠性，存储介质在读取状态下的均衡性和平稳性就需要有所保障。
qlc产品总体拥有成本的巨大优势
其实一言以蔽之，大数据时代，或者说企业的数字化转型或是ai业务发展等多种需求下，多数场景存储的工作负载都处于“读多写少”的状态。在大部分场景中，如预训练任务只读取文件，中间很少产生中间数据，即使产生了少量的中间数据，也是会选择写在本地，很少选择写回存储集群。solidigm援引相关数据指出，2020~2023年全球范围出货的数据中心级ssd，大约85％的每日全盘写入次数（dwpd）还不到1，甚至大多数ssd都不会有dwpd的评级。
▲对比全tlc阵列，以d5-p5430组成的7pb存储方案总体拥有成本更低。
此外，solidigm d5-p5430产品具备u.2 15mm、e1.s 9.5mm和e3.s 7.5 mm等多种接口规格，最大容量达到30.72tb（将于年末推出），可以凭借大容量低成本的优势，更好地满足非结构化数据存储的需求。对比7pb全tlc阵列对象存储解决方案，它可以直接缩减一半的固态硬盘和服务器需求，降低18%的电力成本和33.3%的机架占地面积，功率密度提升26%，企业总体拥有成本降低27%。至于混合阵列方案，d5-p5430相对应的优势则更加显著，总体拥有成本降低多达39%。solidigm亚太区销售总监倪锦峰还透露，“可持续性方面，hdd的年失效率现在是很高的，差不多在3%左右，这会导致后续废物处理的很多挑战，但是我们的ssd承诺的年失效率是0.44%，实际使用要比这个值低很多。也就是说（使用我们的qlc ssd）除了能减轻运维压力，后续废弃物处理的麻烦也会少很多。”
▲对比hdd+tlc ssd阵列的话，qlc整体成本优势更加突出。
写在最后
随着5g、大数据、云计算、物联网和ai技术的快速发展，数字化变革浪潮已是席卷各行各业，数据生成和存储需求呈现指数级增长态势，这也使得存储技术必须不断发展才能跟上新的工作负载和需求转变。在qlc ssd刚推出的时候，许多存储厂商都将首发目标对准了企业级市场，而不是消费级，原因就在于3d nand技术通过堆栈更高的层数，可以轻松实现更大的存储密度，因此qlc颗粒的优势更适合大容量数据盘。
而如今通过最新的qlc产品，我们看到除了在带宽、读取性能、整体可靠性和耐用性等核心性能方面，qlc ssd在部分表现上已经追上tlc产品，还凭借着更高的存储密度，可以轻松实现容量和成本上的优势。对于需要平衡性一切因素和性价比的企业级市场来说，qlc产品无疑是更好的选择。因此，我们也看到包括京东、阿里、联想、戴尔在内的一众科技巨头，都已经开始成规模地选用qlc产品。而随着ssd纠错技术的不断迭代，qlc的可靠性也会越来越高，甚至我们可以期待，如果未来qlc产品在价格上与tlc拉开足够的差距之后，qlc会真正迎来逆天改命的新局面，在消费市场也唱响属于它的主旋律。
基于智能开关的两种电源方案
反无人机防御系统的作用是什么，它有哪些特点
花火聚合路由器介绍 建筑工地移动办公应急组网
消费类需求爆降，销售额大幅增长，MCU市场正面临两极分化
浅谈博途VASS06的CPU设置要求
QLC固态硬盘将成企业新宠！和Solidigm高管探讨未来企业级存储发展趋势
宽带固定衰减器的主要用途和指标
什么？国产航母都下水了，你还不知道军舰有哪些？！
ADAS 市场崛起，这家公司一已将深度学习网络应用到 ADAS 系统中
哪些时候运算放大器代替不了比较器
国内的模拟芯片行业的发展还需要些什么
机器狗入切尔诺贝利禁区执行测试任务
我国云计算市场发展呈现四大热点
fireflyAIO-3288C PWM 输出介绍
如何修改Linux内核代码风格？
可耐受高温及振动的高可靠性性能与结构
多通道ADC使工业4.0的机器状态监测成为可能
服务器端发票识别api接口
当 GPT 遇上低代码，Power Platform 新功能来了！
养殖水质标准养殖水质标准与危害
圆周率计算迎来新的世界纪录
前不久，storagereview团队在位于美国辛辛那提的实验室中使用第四代amd epyc cpu和solidigm d5-p5316 qlc ssd，进行圆周率（π）小数点后100万亿位数的计算，最终的成绩成功打破世界纪录，其速度几乎达到此前的3倍（原纪录由google于去年6月创造，共运行近158 天），总运行时间缩短至59天10小时46分49.55秒。其中，基于4bit单元qlc闪存的solidigm d5-p5316可用容量为530.1tb，测试中使用峰值为514.5tb，总读取量为40.2 pb，写入35.4 pb，总计数据吞吐量高达75.6 pb。该团队负责人beeler表示：“qlc非常适合这类工作负载。它支持突发写入和频繁写入，如果我们保持每天向每个驱动器发送接近30tb的数据写入的节奏，每年的数据写入将超过10pbw。事实证明，qlc ssd完全可以跟上计算速度，并在单个服务器中提供巨大的存储密度。此外，在近60天的测试中，我们发现ssd耐用性的消耗几乎可以忽略不计。”这次的测试几乎颠覆了绝大多数人对于qlc ssd的固有印象。
▲第四代qlc ssd在存储密度提升的同时，还带来了满足散热、边缘化、非结构化和云端化需求等多方面的优势和便利。
作为ssd的核心组件，nand闪存经历了slc、mlc、tlc、qlc四代演进，每单元存储数据从1bit发展到2bit、3bit、4bit。不过伴随着每单元存储位数增加，电压变化也逐级递增，而电压频繁切换会导致更多的错误和更长的擦除时间，表现出来就是写入速度更低、寿命更短、可靠性更差。尤其是在消费级市场，多数消费者对于ssd的选择更倾向于tlc，而非qlc。所以此次新的圆周率计算世界纪录诞生时，solidigm d5-p5316作为一款qlc产品的表现，尤其是对于容量、成本、性能和耐用性的兼顾，着实令人感到意外。
qlc ssd整体性能大翻身？
无独有偶，sk海力士收购intel nand闪存业务重组而来的solidigm，很快又发布了同样基于qlc闪存的全新企业级产品p5-d5430，再次引发了“qlc取代tlc”的话题讨论。据悉，p5-d5430采用大连fab 68工厂出品的192层堆叠3d qlc闪存芯片（该厂的qlc产品占40%以上），容量从3.84tb到30.72tb不等（e1.s款最大容量为15.36tb），128k顺序读写速度最高为7gb/s和3gb/s，4k随机读写速度最高达971k iops和120k iops。而且它还具备高达90％ iops一致性，以及大约6％的硬盘寿命可变性。简单说就是整体的可靠性更趋于一致，读写表现也非常平稳。
▲d5-p5430 30.72tb容量的产品预计今年下半年量产
从solidigm的官方数据来看，相对其举例的企业级tlc产品，p5-d5430在顺序/随机读取性能上已经赶超了前者，但它却可以轻松实现更大的容量，以及最多14%的写入寿命提升（相对固定的写入负载下，对闪存擦写寿命的消耗速度会随容量上升而放缓）。也就是说，目前qlc产品唯一的弱势之处，只剩写入性能。而可能很多人想不到的是，qlc在企业和数据中心市场，写入性能这一指标在存储设备采购考量中的优先级，并没有那么靠前。
▲qlc和tlc ssd各项性能的实例对比
solidigm亚太区应用工程部总监翁昀表示，对于存储设备，“除了关注性能参数，还要看一下实际的工作负载是什么样的……一些ai模型在3年内增长了1万倍以上，高清电影的数据量比几年前大9倍……数据读写方式在更多的使用场景里还是以读为主。几年前我和一家互联网公司交流过，他们主流的内容分发网络里，读7天，然后花一个晚上去做一些写入，然后再读7天，再花一个晚上写入。在94%的企业级工作负载当中，80%是读，20%是写。所以tlc ssd其实对于有些工作负载而言，并非最佳选择。”
ai时代对存储的需求到底是什么？
事实的确如此，甚至在ai时代“读多写少”会表现得更加明显。我们知道，ai业务中除了个别业务场景主要针对结构化数据进行分析外（例如消费记录、交易记录等风险控制、趋势预测场景），大多数场景需要处理的是非结构化数据，例如图像识别、语音识别、自动驾驶等，这些场景通常使用的是深度学习算法。
这也就意味着ai时代，存储领域面临四大挑战。
一是容量需求。人类社会产生的数据量正在以惊人的速度增长，预计到2025年全球每天将创建约463eb数据。5g、ai、物联网等应用源源不断地催生了大量数据流，它们各自提出了深度数据存储和随机速度的要求。
二是海量小文件。由于训练任务需要的文件数量都在几亿到十几亿的量级，所以存储需要能承载几十亿甚至上百亿的文件数量。同时，由于很多训练模型都是依赖于图片、音频片段、视频片段文件，而这些文件的大小大部分都是在几kb到几mb之间。
三是读多写少。ai环境的数据特点是读多写少，以视觉识别为例，它需要加载数千万甚至上亿张图片，针对图片使用卷积神经网络、resnet等算法，生成识别模型。完成一轮训练后，为了减少图片输入顺序的相关性对训练结果带来的影响，会将文件次序打乱之后，重新加载，训练多个轮次。这就意味着每个轮次都需要根据新的顺序加载数千万乃至上亿张图片，因此对于存储的高吞吐、低延时提出了更高的要求。
四是可靠性。比如ai业务不同环境的数据组织方式不可控，很有可能用户会将大量文件存放在同一个目录，容易导致多个计算节点在训练过程中同时读取这一批数据，这个目录所在的元数据节点就会成为热点。那么目录热点读取的可靠性，存储介质在读取状态下的均衡性和平稳性就需要有所保障。
qlc产品总体拥有成本的巨大优势
其实一言以蔽之，大数据时代，或者说企业的数字化转型或是ai业务发展等多种需求下，多数场景存储的工作负载都处于“读多写少”的状态。在大部分场景中，如预训练任务只读取文件，中间很少产生中间数据，即使产生了少量的中间数据，也是会选择写在本地，很少选择写回存储集群。solidigm援引相关数据指出，2020~2023年全球范围出货的数据中心级ssd，大约85％的每日全盘写入次数（dwpd）还不到1，甚至大多数ssd都不会有dwpd的评级。
▲对比全tlc阵列，以d5-p5430组成的7pb存储方案总体拥有成本更低。
此外，solidigm d5-p5430产品具备u.2 15mm、e1.s 9.5mm和e3.s 7.5 mm等多种接口规格，最大容量达到30.72tb（将于年末推出），可以凭借大容量低成本的优势，更好地满足非结构化数据存储的需求。对比7pb全tlc阵列对象存储解决方案，它可以直接缩减一半的固态硬盘和服务器需求，降低18%的电力成本和33.3%的机架占地面积，功率密度提升26%，企业总体拥有成本降低27%。至于混合阵列方案，d5-p5430相对应的优势则更加显著，总体拥有成本降低多达39%。solidigm亚太区销售总监倪锦峰还透露，“可持续性方面，hdd的年失效率现在是很高的，差不多在3%左右，这会导致后续废物处理的很多挑战，但是我们的ssd承诺的年失效率是0.44%，实际使用要比这个值低很多。也就是说（使用我们的qlc ssd）除了能减轻运维压力，后续废弃物处理的麻烦也会少很多。”
▲对比hdd+tlc ssd阵列的话，qlc整体成本优势更加突出。
写在最后
随着5g、大数据、云计算、物联网和ai技术的快速发展，数字化变革浪潮已是席卷各行各业，数据生成和存储需求呈现指数级增长态势，这也使得存储技术必须不断发展才能跟上新的工作负载和需求转变。在qlc ssd刚推出的时候，许多存储厂商都将首发目标对准了企业级市场，而不是消费级，原因就在于3d nand技术通过堆栈更高的层数，可以轻松实现更大的存储密度，因此qlc颗粒的优势更适合大容量数据盘。
而如今通过最新的qlc产品，我们看到除了在带宽、读取性能、整体可靠性和耐用性等核心性能方面，qlc ssd在部分表现上已经追上tlc产品，还凭借着更高的存储密度，可以轻松实现容量和成本上的优势。对于需要平衡性一切因素和性价比的企业级市场来说，qlc产品无疑是更好的选择。因此，我们也看到包括京东、阿里、联想、戴尔在内的一众科技巨头，都已经开始成规模地选用qlc产品。而随着ssd纠错技术的不断迭代，qlc的可靠性也会越来越高，甚至我们可以期待，如果未来qlc产品在价格上与tlc拉开足够的差距之后，qlc会真正迎来逆天改命的新局面，在消费市场也唱响属于它的主旋律。
基于智能开关的两种电源方案
反无人机防御系统的作用是什么，它有哪些特点
花火聚合路由器介绍 建筑工地移动办公应急组网
消费类需求爆降，销售额大幅增长，MCU市场正面临两极分化
浅谈博途VASS06的CPU设置要求
QLC固态硬盘将成企业新宠！和Solidigm高管探讨未来企业级存储发展趋势
宽带固定衰减器的主要用途和指标
什么？国产航母都下水了，你还不知道军舰有哪些？！
ADAS 市场崛起，这家公司一已将深度学习网络应用到 ADAS 系统中
哪些时候运算放大器代替不了比较器
国内的模拟芯片行业的发展还需要些什么
机器狗入切尔诺贝利禁区执行测试任务
我国云计算市场发展呈现四大热点
fireflyAIO-3288C PWM 输出介绍
如何修改Linux内核代码风格？
可耐受高温及振动的高可靠性性能与结构
多通道ADC使工业4.0的机器状态监测成为可能
服务器端发票识别api接口
当 GPT 遇上低代码，Power Platform 新功能来了！
养殖水质标准养殖水质标准与危害