深度学习如何挑选GPU？
深度学习是一个对计算有着大量需求的领域，从一定程度上来说，gpu的选择将从根本上决定深度学习的体验。因此，选择购买合适的gpu是一项非常重要的决策。那么2022年，如何选择合适的gpu呢？这篇文章整合了网络上现有的gpu选择标准和评测信息，希望能作为你的购买决策的参考。
1 是什么使一个gpu比另一个gpu更快？
有一些可靠的性能指标可以作为人们的经验判断。以下是针对不同深度学习架构的一些优先准则： convolutional networks and transformers: tensor cores > flops > memory bandwidth > 16-bit capability recurrent networks: memory bandwidth > 16-bit capability > tensor cores > flops
2 如何选择nvidia/amd/google
nvidia的标准库使在cuda中建立第一个深度学习库变得非常容易。早期的优势加上nvidia强大的社区支持意味着如果使用nvidia gpu，则在出现问题时可以轻松得到支持。但是nvidia现在政策使得只有tesla gpu能在数据中心使用cuda，而gtx或rtx则不允许，而tesla与gtx和rtx相比并没有真正的优势，价格却高达10倍。 amd功能强大，但缺少足够的支持。amd gpu具有16位计算能力，但是跟nvidia gpu的tensor内核相比仍然有差距。 google tpu具备很高的成本效益。由于tpu具有复杂的并行基础结构，因此如果使用多个云tpu（相当于4个gpu），tpu将比gpu具有更大的速度优势。因此，就目前来看，tpu更适合用于训练卷积神经网络。
3 多gpu并行加速
卷积网络和循环网络非常容易并行，尤其是在仅使用一台计算机或4个gpu的情况下。tensorflow和pytorch也都非常适合并行递归。但是，包括transformer在内的全连接网络通常在数据并行性方面性能较差，因此需要更高级的算法来加速。如果在多个gpu上运行，应该先尝试在1个gpu上运行，比较两者速度。由于单个gpu几乎可以完成所有任务，因此，在购买多个gpu时，更好的并行性（如pcie通道数）的质量并不是那么重要。
4 性能评测
1）来自tim dettmers的成本效益评测[1] https://timdettmers.com/2019/04/03/which-gpu-for-deep-learning/
卷积网络（cnn），递归网络（rnn）和transformer的归一化性能/成本数（越高越好）。rtx 2060的成本效率是tesla v100的5倍以上。对于长度小于100的短序列，word rnn表示bilstm。使用pytorch 1.0.1和cuda 10进行基准测试。 从这些数据可以看出，rtx 2060比rtx 2070，rtx 2080或rtx 2080 ti具有更高的成本效益。原因是使用tensor cores进行16位计算的能力比仅仅拥有更多tensor cores内核要有价值得多。 2）来自lambda的评测[2,3] https://lambdalabs.com/blog/best-gpu-tensorflow-2080-ti-vs-v100-vs-titan-v-vs-1080-ti-benchmark/ https://lambdalabs.com/blog/choosing-a-gpu-for-deep-learning/
gpu平均加速/系统总成本
gpu性能，以每秒处理的图像为单位
以 quadro rtx 8000 为基准的针对quadro rtx 8000的图像模型训练吞吐量 3) 来自知乎@aero的「在线」gpu评测[4] https://www.zhihu.com/question/299434830/answer/1010987691 大家用的最多的可能是google colab，毕竟免费，甚至能选tpu
电瓶修复-过充电修复的原理
图像相似度分析——相似度算法
MPS 公司在线技术支持平台MPSNOW
数据中心加速器就看GRVI Phalanx FPGA加速器
上海首颁载人测试牌照,自动驾驶企业还面临着多重考验
深度学习如何挑选GPU？
关于工业涂料—金属涂层的介绍和使用指南
科学家正研究用冰制造机器人
碱性蓄电池的常见故障和对策
Python 中怎么来实现类似 Cache 的功能
英特尔已经宣布在美国投资200亿美元用于芯片生产
单波长激光泵浦的石墨烯-硅基异质波导集成克尔光频梳的理论研究
常见的分布式存储系统有哪些类型
逻辑与运算——AND电路
三星三季度预计下滑80%，2009年以来最低
华为官宣新服务，要彻底向安卓说再见
半导体行业资本逐鹿 芯片龙头英特尔锐势稍减
InAs/GaSb Ⅱ类超晶格红外探测器背减薄技术工作研究
浅谈喇叭防水透气膜（防水透声膜）特点有哪些
友尚推出基于瑞昱半导体技术的高整合度Hi-Fi耳机芯片级解决方案
1 是什么使一个gpu比另一个gpu更快？
有一些可靠的性能指标可以作为人们的经验判断。以下是针对不同深度学习架构的一些优先准则： convolutional networks and transformers: tensor cores > flops > memory bandwidth > 16-bit capability recurrent networks: memory bandwidth > 16-bit capability > tensor cores > flops
2 如何选择nvidia/amd/google
nvidia的标准库使在cuda中建立第一个深度学习库变得非常容易。早期的优势加上nvidia强大的社区支持意味着如果使用nvidia gpu，则在出现问题时可以轻松得到支持。但是nvidia现在政策使得只有tesla gpu能在数据中心使用cuda，而gtx或rtx则不允许，而tesla与gtx和rtx相比并没有真正的优势，价格却高达10倍。 amd功能强大，但缺少足够的支持。amd gpu具有16位计算能力，但是跟nvidia gpu的tensor内核相比仍然有差距。 google tpu具备很高的成本效益。由于tpu具有复杂的并行基础结构，因此如果使用多个云tpu（相当于4个gpu），tpu将比gpu具有更大的速度优势。因此，就目前来看，tpu更适合用于训练卷积神经网络。
3 多gpu并行加速
卷积网络和循环网络非常容易并行，尤其是在仅使用一台计算机或4个gpu的情况下。tensorflow和pytorch也都非常适合并行递归。但是，包括transformer在内的全连接网络通常在数据并行性方面性能较差，因此需要更高级的算法来加速。如果在多个gpu上运行，应该先尝试在1个gpu上运行，比较两者速度。由于单个gpu几乎可以完成所有任务，因此，在购买多个gpu时，更好的并行性（如pcie通道数）的质量并不是那么重要。
4 性能评测
1）来自tim dettmers的成本效益评测[1] https://timdettmers.com/2019/04/03/which-gpu-for-deep-learning/
卷积网络（cnn），递归网络（rnn）和transformer的归一化性能/成本数（越高越好）。rtx 2060的成本效率是tesla v100的5倍以上。对于长度小于100的短序列，word rnn表示bilstm。使用pytorch 1.0.1和cuda 10进行基准测试。 从这些数据可以看出，rtx 2060比rtx 2070，rtx 2080或rtx 2080 ti具有更高的成本效益。原因是使用tensor cores进行16位计算的能力比仅仅拥有更多tensor cores内核要有价值得多。 2）来自lambda的评测[2,3] https://lambdalabs.com/blog/best-gpu-tensorflow-2080-ti-vs-v100-vs-titan-v-vs-1080-ti-benchmark/ https://lambdalabs.com/blog/choosing-a-gpu-for-deep-learning/
gpu平均加速/系统总成本
gpu性能，以每秒处理的图像为单位
以 quadro rtx 8000 为基准的针对quadro rtx 8000的图像模型训练吞吐量 3) 来自知乎@aero的「在线」gpu评测[4] https://www.zhihu.com/question/299434830/answer/1010987691 大家用的最多的可能是google colab，毕竟免费，甚至能选tpu
电瓶修复-过充电修复的原理
图像相似度分析——相似度算法
MPS 公司在线技术支持平台MPSNOW
数据中心加速器就看GRVI Phalanx FPGA加速器
上海首颁载人测试牌照,自动驾驶企业还面临着多重考验
深度学习如何挑选GPU？
关于工业涂料—金属涂层的介绍和使用指南
科学家正研究用冰制造机器人
碱性蓄电池的常见故障和对策
Python 中怎么来实现类似 Cache 的功能
英特尔已经宣布在美国投资200亿美元用于芯片生产
单波长激光泵浦的石墨烯-硅基异质波导集成克尔光频梳的理论研究
常见的分布式存储系统有哪些类型
逻辑与运算——AND电路
三星三季度预计下滑80%，2009年以来最低
华为官宣新服务，要彻底向安卓说再见
半导体行业资本逐鹿 芯片龙头英特尔锐势稍减
InAs/GaSb Ⅱ类超晶格红外探测器背减薄技术工作研究
浅谈喇叭防水透气膜（防水透声膜）特点有哪些
友尚推出基于瑞昱半导体技术的高整合度Hi-Fi耳机芯片级解决方案