超星未来NE100开箱体验，15分钟部署目标检测模型
「ne100」是超星未来基于自研计算芯片「惊蛰r1」和全流程开发工具链「鲁班」打造的智能计算平台开发套件，包括完备的推理环境。其中鲁班工具链以 docker 形式提供，完整包括剪枝、量化、编译工具以及相应实例。ne100 配套完整，开箱即用，无需繁琐的安装过程。
下面以目标检测模型 yolov5 为例，展示部署过程。
注：开发环境为 linux 系统的 pc 或服务器，神经网络需要导出为 onnx 格式文件。
可通过标准命令加载工具链 docker 文件：
gunzip -c nova_development_kit.tar.gz | sudo docker load
参考用户手册中示例脚本启动容器，进入开发环境。
基于原始模型导出 onnx 文件时，请确保网络已经处于推理模式，并且计算图的输入节点为首个 conv 算子的输入(格式[1,c,h,w])，输出节点为最后一个（组）conv 算子的输出，详细信息请参考用户手册。
#1 模型量化与编译
1个api，5行代码，轻松完成
量化工具以 onnx 文件和部分图片为输入，将神经网络从 fp32 量化为 int8 精度，目前支持 ptq 与 qat 功能。仅需在代码中将量化和编译工具导入并通过 api 调用，即可对 onnx 模型完成量化和编译，分别只需要1个 api 和5行代码。详细的 api 说明请参考用户手册。
1. 导入量化工具
from nquantizer import run_quantizer 2. 调用量化工具
quant_model = run_quantizer( onnx_model, dataloader=val_loader, num_batches=200, output_dir=work_dir + /quantizer_output, input_vars=input_vars,) 3. 导入编译工具
from ncompiler import run_compiler 4. 调用编译工具
run_compiler( input_dir=work_dir + /quantizer_output, output_dir=work_dir + /compiler_output, enable_simulator=true, enable_profiler=true,)
编译后 compiler_output 目录中的 npu.param（模型结构描述文件）和 npu.bin（模型权重文件）是 ne100 部署时所需要的文件。
#2 模型部署
接口简洁，功能丰富，快速调用npu
为了实现 惊蛰r1 芯片多核 npu 的简单高效推理与应用开发，超星未来基于 ncnn 推理框架增量开发运行时，并提供高性能加速库，满足异构推理的端到端优化需求。
运行时特别设计了 npumat, npunet 和 npuextractor 等组件，功能如下：
npumat：提供npu使用的数据排布格式hwc，提高数据存储读取性能
npunet：提供模型不变信息的基础数据结构，支持核心绑定、优先级调度、数据导出、性能监测等功能
npuextractor：提供npu推理所需的set_input, get_output, get_time、extract等基本功能
yolov5 推理中前后处理部分与主流平台上的代码一致，应用迁移时仅需更换 npu 的推理代码，包括：
1. 初始化帧数据结构
2. 加载网络结构描述文件与网络权重文件，并且配置核心绑定、数据导出及性能监测等功能
3. 基于加载的模型文件和前处理后的帧数据进行推理，提取结果用于后处理
#3 模型推理
架构高效，能耗出色，助力ai应用落地
推理代码经过编译后运行，即可得到如下推理结果：
得益于超星未来自研平湖架构的高效设计，yolov5 等主流网络的算力利用率均超过 70%，同时芯片整体功耗可控制在 8w 左右，有效支持各类边缘端 ai 应用部署。
在M2M应用中使用NOR和NAND闪存
Google正在致力于开发一款新的操作系统--Fuchsia
一加3T黑色版面世 比iPhone 7红色特别版更耐看
SpaceX第七批星链卫星将发射 在轨卫星总数将达410颗
传感器领域大作：ADI公司的革命性MEMS开关技术基本原理
超星未来NE100开箱体验，15分钟部署目标检测模型
先进封装 Chiplet 技术与 AI 芯片发展
jenkins简单的使用教程_jenkins安装与配置
音频、以太网、显示、电池......ADI是这样助力实现“第三生活空间”的！
iphone4s越狱_iphone4s 5.1.1完美越狱教程
诺基亚9什么时候上市？诺基亚9最新消息：诺基亚9配置、设计、运存大幅度提升，带来了诚意
Frost&Sullivan发明多种传感器增强导航和障碍物检测解决方案
Creative发布搭载混合三重驱动的无线耳机，能同时与两个音频源配对
74L194构成的八级触摸音量控制器
OrCAD教程：如何打印原理图 如何生成元件清单
基于芯海科技MCU的小尺寸彩屏显示解决方案
苗圩：欢迎中外企业在中国5G市场展开公平竞争
iphone8什么时候上市?iphone8最新消息:iphone8双卡双待的新功能是个阴谋?那就只能发布会见分晓了!
人工电源网络（LISN）的校准方法
直接功率控制的基本原理
下面以目标检测模型 yolov5 为例，展示部署过程。
注：开发环境为 linux 系统的 pc 或服务器，神经网络需要导出为 onnx 格式文件。
可通过标准命令加载工具链 docker 文件：
gunzip -c nova_development_kit.tar.gz | sudo docker load
参考用户手册中示例脚本启动容器，进入开发环境。
基于原始模型导出 onnx 文件时，请确保网络已经处于推理模式，并且计算图的输入节点为首个 conv 算子的输入(格式[1,c,h,w])，输出节点为最后一个（组）conv 算子的输出，详细信息请参考用户手册。
#1 模型量化与编译
1个api，5行代码，轻松完成
量化工具以 onnx 文件和部分图片为输入，将神经网络从 fp32 量化为 int8 精度，目前支持 ptq 与 qat 功能。仅需在代码中将量化和编译工具导入并通过 api 调用，即可对 onnx 模型完成量化和编译，分别只需要1个 api 和5行代码。详细的 api 说明请参考用户手册。
1. 导入量化工具
from nquantizer import run_quantizer 2. 调用量化工具
quant_model = run_quantizer( onnx_model, dataloader=val_loader, num_batches=200, output_dir=work_dir + /quantizer_output, input_vars=input_vars,) 3. 导入编译工具
from ncompiler import run_compiler 4. 调用编译工具
run_compiler( input_dir=work_dir + /quantizer_output, output_dir=work_dir + /compiler_output, enable_simulator=true, enable_profiler=true,)
编译后 compiler_output 目录中的 npu.param（模型结构描述文件）和 npu.bin（模型权重文件）是 ne100 部署时所需要的文件。
#2 模型部署
接口简洁，功能丰富，快速调用npu
为了实现 惊蛰r1 芯片多核 npu 的简单高效推理与应用开发，超星未来基于 ncnn 推理框架增量开发运行时，并提供高性能加速库，满足异构推理的端到端优化需求。
运行时特别设计了 npumat, npunet 和 npuextractor 等组件，功能如下：
npumat：提供npu使用的数据排布格式hwc，提高数据存储读取性能
npunet：提供模型不变信息的基础数据结构，支持核心绑定、优先级调度、数据导出、性能监测等功能
npuextractor：提供npu推理所需的set_input, get_output, get_time、extract等基本功能
yolov5 推理中前后处理部分与主流平台上的代码一致，应用迁移时仅需更换 npu 的推理代码，包括：
1. 初始化帧数据结构
2. 加载网络结构描述文件与网络权重文件，并且配置核心绑定、数据导出及性能监测等功能
3. 基于加载的模型文件和前处理后的帧数据进行推理，提取结果用于后处理
#3 模型推理
架构高效，能耗出色，助力ai应用落地
推理代码经过编译后运行，即可得到如下推理结果：
得益于超星未来自研平湖架构的高效设计，yolov5 等主流网络的算力利用率均超过 70%，同时芯片整体功耗可控制在 8w 左右，有效支持各类边缘端 ai 应用部署。
在M2M应用中使用NOR和NAND闪存
Google正在致力于开发一款新的操作系统--Fuchsia
一加3T黑色版面世 比iPhone 7红色特别版更耐看
SpaceX第七批星链卫星将发射 在轨卫星总数将达410颗
传感器领域大作：ADI公司的革命性MEMS开关技术基本原理
超星未来NE100开箱体验，15分钟部署目标检测模型
先进封装 Chiplet 技术与 AI 芯片发展
jenkins简单的使用教程_jenkins安装与配置
音频、以太网、显示、电池......ADI是这样助力实现“第三生活空间”的！
iphone4s越狱_iphone4s 5.1.1完美越狱教程
诺基亚9什么时候上市？诺基亚9最新消息：诺基亚9配置、设计、运存大幅度提升，带来了诚意
Frost&Sullivan发明多种传感器增强导航和障碍物检测解决方案
Creative发布搭载混合三重驱动的无线耳机，能同时与两个音频源配对
74L194构成的八级触摸音量控制器
OrCAD教程：如何打印原理图 如何生成元件清单
基于芯海科技MCU的小尺寸彩屏显示解决方案
苗圩：欢迎中外企业在中国5G市场展开公平竞争
iphone8什么时候上市?iphone8最新消息:iphone8双卡双待的新功能是个阴谋?那就只能发布会见分晓了!
人工电源网络（LISN）的校准方法
直接功率控制的基本原理