深度学习主流部署框架及路线图
深度学习工程师做什么
深度学习已经改变了很多行业，深度学习工程师已经是不折不扣的高薪职业，但是也有越来越内卷的趋势，以前只要求会训练模型就可以了，现在多数深度学习工程师岗位都要求掌握模型训练与模型部署。 可以毫不夸张的说，以后只有既会训练，又会部署而且是会c++部署模型的深度学习工程师才会继续高薪之路，否则按照这个内卷趋势，只会训练模型，不会部署模型的深度学习工程师必然会受到后来开发者越来越多的挑战，前期积累的优势荡然无存。所以 掌握从数据标注、到模型训练、到模型部署技能 是深度学习工程师基本要求，也是未来的必然趋势。
深度学习工程化步骤
深度学习工程落地分为两个主要阶段，分别是数据准备、模型训练、模型部署三个主要阶段。
深度学习模型部署场景
深度学习模型部署场景主要包括：
01
云部署场景
主要是基于云服务器与分布式服务提供，企业需要支付云服务器算力费用与存储费用。优点是便于扩展，方便在多个位置与节点快速部署使用模型算法；缺点是与边缘部署相比，延时比较高，可靠性比较低，数据安全受到挑战，没有充分利用边缘设备算力。
02
边缘（pc端侧）部署场景
高性能应用的理想选择、高度可定制（使用与应用程序相关的部件构建）、灵活的定价（因为可以根据应用选择组件）。优点是成本可控，数据安全有保证，低延时高可靠，因此在机器视觉、安防监控等领域都大量采用该方案，依靠工控机+显卡的方式提供算力实现模型部署，支持缺陷检测、安防监控、自动化生产等。缺点是对一些成本特别敏感的行业依然无法大量采用该方案。
03
边缘（arm、fpga和推理板卡，智能相机）
边缘与端侧部署一个很重要的场景，典型的就是各种人工智能盒子，包括英特尔的nuc盒子，最新推出alxborad板卡，英伟达的jetson系列板卡，rk系列的板卡、树莓派等，已经基于他们实现的各种智能设备。他们的优点是低成本，低功耗、显著节省外围硬件算力，同时高可靠性，安全，适用于对算力要求不是很严苛的场景，支持各种轻量化的模型部署。缺点是对深度学习开发者要求较高，要求对模型进行量化，各个板卡支持的模型部署框架不同，工具链软件也不一样
深度学习主流部署框架
深度学习开发者至少应该掌握一种深度学习模型部署框架，当前深度学习模型部署主要有openvino、tensorrt、onnxruntime 这三个当前主流的框架。 openvino来自英特尔公司，当前最新版本是openvino2023.1
tensorrt来自英伟达公司，当前最新版本是tensorrt8.6
onnxruntime来自微软，当前最新版本是1.15.x
如何选择
英特尔cpu/gpu上模型加速与推理最佳选择是openvino
英伟达gpu上模型加速与推理最佳选择tensorrt
兼容不同硬件厂家平台模型算子支持度高，兼容性强最佳选择是onnxruntime
pcb板设计中最关键的几个地方
物联网C3SD技术架构的结构与关键技术的研究介绍
采用高度集成的SupraTV 160系列处理器设计电视机顶盒
PNNL新电解液配方 使电池使用寿命翻7倍
基于TFF的CMOS技术实现超高速分频的设计
深度学习主流部署框架及路线图
车联网技术用到了哪些关键的技术
骁龙710才是性价比较高的选择
2012上半年中国半导体产业同比仅增长7.5%
特斯拉新款人形机器人准备上市，它的电机如何
视频会议系统设计方案（一）
视觉的机制
为什么绿光LED照明灯特别适用于瑕疵检测
精位科技成功入选“普华永道中国X成都新经济企业创新加速营”
半导体射频电源市场现状分析
5G联接和AI打造智慧网络,Zain积极推动数字化转型
window10怎么恢复出厂设置在哪
聊天机器人发展或将面临的三大障碍：获取用户信任和理解最难
视觉传感器种类
HDJB-702A微机继电保护测试仪上位机做交流试验
深度学习已经改变了很多行业，深度学习工程师已经是不折不扣的高薪职业，但是也有越来越内卷的趋势，以前只要求会训练模型就可以了，现在多数深度学习工程师岗位都要求掌握模型训练与模型部署。 可以毫不夸张的说，以后只有既会训练，又会部署而且是会c++部署模型的深度学习工程师才会继续高薪之路，否则按照这个内卷趋势，只会训练模型，不会部署模型的深度学习工程师必然会受到后来开发者越来越多的挑战，前期积累的优势荡然无存。所以 掌握从数据标注、到模型训练、到模型部署技能 是深度学习工程师基本要求，也是未来的必然趋势。
深度学习工程化步骤
深度学习工程落地分为两个主要阶段，分别是数据准备、模型训练、模型部署三个主要阶段。
深度学习模型部署场景
深度学习模型部署场景主要包括：
01
云部署场景
主要是基于云服务器与分布式服务提供，企业需要支付云服务器算力费用与存储费用。优点是便于扩展，方便在多个位置与节点快速部署使用模型算法；缺点是与边缘部署相比，延时比较高，可靠性比较低，数据安全受到挑战，没有充分利用边缘设备算力。
02
边缘（pc端侧）部署场景
高性能应用的理想选择、高度可定制（使用与应用程序相关的部件构建）、灵活的定价（因为可以根据应用选择组件）。优点是成本可控，数据安全有保证，低延时高可靠，因此在机器视觉、安防监控等领域都大量采用该方案，依靠工控机+显卡的方式提供算力实现模型部署，支持缺陷检测、安防监控、自动化生产等。缺点是对一些成本特别敏感的行业依然无法大量采用该方案。
03
边缘（arm、fpga和推理板卡，智能相机）
边缘与端侧部署一个很重要的场景，典型的就是各种人工智能盒子，包括英特尔的nuc盒子，最新推出alxborad板卡，英伟达的jetson系列板卡，rk系列的板卡、树莓派等，已经基于他们实现的各种智能设备。他们的优点是低成本，低功耗、显著节省外围硬件算力，同时高可靠性，安全，适用于对算力要求不是很严苛的场景，支持各种轻量化的模型部署。缺点是对深度学习开发者要求较高，要求对模型进行量化，各个板卡支持的模型部署框架不同，工具链软件也不一样
深度学习主流部署框架
深度学习开发者至少应该掌握一种深度学习模型部署框架，当前深度学习模型部署主要有openvino、tensorrt、onnxruntime 这三个当前主流的框架。 openvino来自英特尔公司，当前最新版本是openvino2023.1
tensorrt来自英伟达公司，当前最新版本是tensorrt8.6
onnxruntime来自微软，当前最新版本是1.15.x
如何选择
英特尔cpu/gpu上模型加速与推理最佳选择是openvino
英伟达gpu上模型加速与推理最佳选择tensorrt
兼容不同硬件厂家平台模型算子支持度高，兼容性强最佳选择是onnxruntime
pcb板设计中最关键的几个地方
物联网C3SD技术架构的结构与关键技术的研究介绍
采用高度集成的SupraTV 160系列处理器设计电视机顶盒
PNNL新电解液配方 使电池使用寿命翻7倍
基于TFF的CMOS技术实现超高速分频的设计
深度学习主流部署框架及路线图
车联网技术用到了哪些关键的技术
骁龙710才是性价比较高的选择
2012上半年中国半导体产业同比仅增长7.5%
特斯拉新款人形机器人准备上市，它的电机如何
视频会议系统设计方案（一）
视觉的机制
为什么绿光LED照明灯特别适用于瑕疵检测
精位科技成功入选“普华永道中国X成都新经济企业创新加速营”
半导体射频电源市场现状分析
5G联接和AI打造智慧网络,Zain积极推动数字化转型
window10怎么恢复出厂设置在哪
聊天机器人发展或将面临的三大障碍：获取用户信任和理解最难
视觉传感器种类
HDJB-702A微机继电保护测试仪上位机做交流试验