深度学习的存储性能要求以及它的核心功能
（文章来源：比特网）
深度学习算法的本质意味着它们使用了大量的矩阵数学。与计算机图形不同，神经网络和其他深度学习模型不需要高精度浮点结果，并且通常由新一代人工智能优化的gpu和支持低精度8位和16位矩阵计算的cpu进一步加速，这种优化可以将存储系统转变为更大的性能瓶颈。
深度学习模型和数据源的多样性，以及通常用于深度学习服务器的分布式计算设计，意味着旨在为人工智能提供存储的系统必须解决以下问题：各种各样的数据格式，包括二进制对象（blob）数据、图像、视频、音频、文本和结构化数据，它们具有不同的格式和i/o特性。横向扩展系统架构，其中工作负载分布在多个系统中，通常为4到16个，用于培训，可能有数百个或数千个用于数据推理。
带宽和吞吐量，可以快速向计算硬件提供大量数据。无论数据特性如何，iops都能维持高吞吐量;也就是说，可以实现许多小交易和较少的大转移。以最小的延迟提供数据，因为与虚拟内存分页一样，当gpu等待新数据时，训练算法的性能会显着降低。
深度学习存储系统设计必须在各种数据类型和深度学习模型中提供均衡的性能。根据nvidia公司一位工程师的说法，在各种负载条件下验证存储系统性能至关重要。
他说，“工作负载的复杂性加上深度学习培训所需的数据量创造了一个具有挑战性的性能环境。考虑到这些环境的复杂性，在投入生产之前收集基准性能数据，验证核心系统（硬件组件和操作系统）是否能够在综合负载下提供预期性能至关重要。”
深度学习存储系统的核心功能，上述性能因素促使人工智能存储系统供应商采用五项核心功能，其中包括：1.可增量扩展的并行扩展系统设计，其中i/o性能随容量而扩展。这种设计的一个标志是分布式存储体系结构或文件系统，它将对象和文件等逻辑元素与保存它们的物理设备或设备区分开。2.可编程的、软件定义的控制平台，它是实现横向扩展设计和大多数管理任务自动化的关键。
3.企业级可靠性、耐久性、冗余和存储服务。4.对于深度学习培训系统，采用紧密耦合的计算存储系统架构，采用无阻塞网络设计，连接服务器和存储，最低链路速度为10gb至25gb以太网或edr（25gbps）infiniband。5. ssd设备越来越多地使用速度更快的nvme设备，提供比sata更高的吞吐量和iops。
o das系统通常使用nvme-over-pcie设备。o nas设计通常使用10gb以太网或更快的以太网，使用nvme over fabric、infiniband或交换pcie结构。
国内外运营商共话SDN/NFV： 坐着谈不如站起来行
基于单片机与FPGA的总线接口逻辑设计
vivoNEX2真机渲染图曝光 背部发光月环设计很神奇
研华推出新的物联网设备运营管理应用WISE-PaaS/DeviceOn
如何建立完整的国内半导体和显示面板产业链?
深度学习的存储性能要求以及它的核心功能
通过工业智能网关实现松下PLC数据采集和远程上下载程序
双极性晶体管的动态分析
小米6即将发布，小米5已跌至“最低价”！
污水流量计量表怎么调试_污水流量计的异常及解决措施
人工智能赋能传媒技术，实现流程再造
电容器的一些常见故障，电容器的故障处理集注意事项
台积电在一份致客户的函件中公布了两项重要决定
深紫外LED作为一种新的消毒方式，一跃成为当前的热点
工业机器人的驱动系统及选用原则
digilent Digital Discovery专用高速数据传输适配器介绍
中国“芯”陷入困境,破局之法在哪里?
语音芯片助力指静脉识别锁实现语音播放功能！
交流接触器反复弹跳怎么解决 交流接触器是干什么用的
集中抄表系统及分体式预付费电表的原理及设计
深度学习算法的本质意味着它们使用了大量的矩阵数学。与计算机图形不同，神经网络和其他深度学习模型不需要高精度浮点结果，并且通常由新一代人工智能优化的gpu和支持低精度8位和16位矩阵计算的cpu进一步加速，这种优化可以将存储系统转变为更大的性能瓶颈。
深度学习模型和数据源的多样性，以及通常用于深度学习服务器的分布式计算设计，意味着旨在为人工智能提供存储的系统必须解决以下问题：各种各样的数据格式，包括二进制对象（blob）数据、图像、视频、音频、文本和结构化数据，它们具有不同的格式和i/o特性。横向扩展系统架构，其中工作负载分布在多个系统中，通常为4到16个，用于培训，可能有数百个或数千个用于数据推理。
带宽和吞吐量，可以快速向计算硬件提供大量数据。无论数据特性如何，iops都能维持高吞吐量;也就是说，可以实现许多小交易和较少的大转移。以最小的延迟提供数据，因为与虚拟内存分页一样，当gpu等待新数据时，训练算法的性能会显着降低。
深度学习存储系统设计必须在各种数据类型和深度学习模型中提供均衡的性能。根据nvidia公司一位工程师的说法，在各种负载条件下验证存储系统性能至关重要。
他说，“工作负载的复杂性加上深度学习培训所需的数据量创造了一个具有挑战性的性能环境。考虑到这些环境的复杂性，在投入生产之前收集基准性能数据，验证核心系统（硬件组件和操作系统）是否能够在综合负载下提供预期性能至关重要。”
深度学习存储系统的核心功能，上述性能因素促使人工智能存储系统供应商采用五项核心功能，其中包括：1.可增量扩展的并行扩展系统设计，其中i/o性能随容量而扩展。这种设计的一个标志是分布式存储体系结构或文件系统，它将对象和文件等逻辑元素与保存它们的物理设备或设备区分开。2.可编程的、软件定义的控制平台，它是实现横向扩展设计和大多数管理任务自动化的关键。
3.企业级可靠性、耐久性、冗余和存储服务。4.对于深度学习培训系统，采用紧密耦合的计算存储系统架构，采用无阻塞网络设计，连接服务器和存储，最低链路速度为10gb至25gb以太网或edr（25gbps）infiniband。5. ssd设备越来越多地使用速度更快的nvme设备，提供比sata更高的吞吐量和iops。
o das系统通常使用nvme-over-pcie设备。o nas设计通常使用10gb以太网或更快的以太网，使用nvme over fabric、infiniband或交换pcie结构。
国内外运营商共话SDN/NFV： 坐着谈不如站起来行
基于单片机与FPGA的总线接口逻辑设计
vivoNEX2真机渲染图曝光 背部发光月环设计很神奇
研华推出新的物联网设备运营管理应用WISE-PaaS/DeviceOn
如何建立完整的国内半导体和显示面板产业链?
深度学习的存储性能要求以及它的核心功能
通过工业智能网关实现松下PLC数据采集和远程上下载程序
双极性晶体管的动态分析
小米6即将发布，小米5已跌至“最低价”！
污水流量计量表怎么调试_污水流量计的异常及解决措施
人工智能赋能传媒技术，实现流程再造
电容器的一些常见故障，电容器的故障处理集注意事项
台积电在一份致客户的函件中公布了两项重要决定
深紫外LED作为一种新的消毒方式，一跃成为当前的热点
工业机器人的驱动系统及选用原则
digilent Digital Discovery专用高速数据传输适配器介绍
中国“芯”陷入困境,破局之法在哪里?
语音芯片助力指静脉识别锁实现语音播放功能！
交流接触器反复弹跳怎么解决 交流接触器是干什么用的
集中抄表系统及分体式预付费电表的原理及设计