ceva, inc.推出的适用于人工智能和机器学习 (ai/ml) 推理工作负载的最新一代处理器架构 neupro-m。
neupro-m针对 edge ai 和 edge compute 的广阔市场, 是一个自包含的异构架构,由多个专用协处理器和可配置的硬件加速器组成,可无缝同时处理深度神经网络的各种工作负载,将性能提升 5 -15x 与其前身相比。
作为业界首创,neupro-m 支持片上系统 (soc) 和异构 soc (hsoc) 可扩展性,可实现高达 1,200 tops,并提供可选的稳健安全启动和端到端数据隐私。
neupro–m 兼容处理器最初包括以下预配置内核:
npm11 – 单个 neupro-m 引擎,在 1.25ghz 时高达 20 tops
npm18 – 8 个 neupro-m 引擎,在 1.25ghz 时高达 160 tops
据该公司称,在处理 resnet50 卷积神经网络时,单个 npm11 内核实现了 5 倍的性能提升和 6 倍的内存带宽减少,从而实现了高达每瓦 24 tops 的合适功率效率。
neupro-m 能够处理所有已知的神经网络架构,以及对下一代网络(如转换器、3d 卷积、自注意力和所有类型的递归神经网络)的集成原生支持。neupro-m 经过优化,可处理 250 多个神经网络、450 多个 ai 内核和 50 多个算法。嵌入式矢量处理单元 (vpu) 确保基于未来的软件支持新的神经网络拓扑和 ai 工作负载的新进展。此外,cdnn 离线压缩工具可以将 neupro-m 的 fps/watt 提高 5-10 倍,用于常见基准测试,而对准确性的影响最小。
neupro-m 异构架构由特定功能的协处理器和负载平衡机制组成,与前代产品相比,它们是性能和效率飞跃的主要贡献者。通过将控制功能分配给本地控制器并以分层方式实现本地内存资源,neupro-m 实现了数据流的灵活性,可实现 90% 以上的利用率,并在任何给定时间防止不同协处理器和加速器的数据不足。 cdnn 框架通过实践针对特定网络、所需带宽、可用内存和目标性能所采用的各种数据流方案来获得最佳负载平衡。
neupro-m 架构亮点包括:
由 4k mac(乘加)组成的主网格阵列,混合精度为 2-16 位。
用于权重和激活的 winograd 变换引擎,将卷积时间减少 2 倍,并允许 8 位卷积处理,精度下降 《0.5%。
稀疏引擎可避免每层使用零值权重或激活的操作,从而获得高达 4 倍的性能提升,同时降低内存带宽和功耗。
完全可编程的向量处理单元,用于处理具有所有数据类型的新的不受支持的神经网络架构,从 32 位浮点到 2 位二进制神经网络 (bnn)。
可配置的权重和数据压缩到 2 位,同时存储到内存中,并在读取时实时解压缩,以减少内存带宽。
动态配置的两级存储器架构可最大限度地减少因与外部 sdram 之间的数据传输而导致的功耗。
为了说明这些功能在 neupro-m 架构中的优势,同时使用 winograd 变换、稀疏引擎和低分辨率 4x4 位激活的正交机制,可将 resnet50 等网络的循环计数减少 3 倍以上和 yolo v3。
由于神经网络权重和偏差、数据集和网络拓扑成为所有者的关键知识产权,因此需要保护它们免遭未经授权的使用。neupro-m 架构以可选的信任根、身份验证和加密加速器的形式支持安全访问。
对于汽车市场,neupro-m 内核及其 ceva 深度神经网络 (cdnn) 深度学习编译器和软件工具包符合汽车 iso26262 asil-b 功能安全标准,并符合严格的质量保证标准 iatf16949 和 a-spice。
结合 ceva 的神经网络编译器 cdnn 及其强大的软件开发环境,neupro-m 为客户提供了一个完全可编程的硬件/软件 ai 开发环境,以最大限度地提高他们的 ai 性能。cdnn 包含的软件可以充分利用客户的 neupro-m 定制硬件来优化功率、性能和带宽。cdnn 软件还包括一个内存管理器,用于减少内存和优化负载平衡算法,并广泛支持各种网络格式,包括 onnx、caffe、tensorflow、tensorflow lite、pytorch 等。cdnn 与常见的开源框架兼容,包括 glow、tvm、halide 和 tensorflow,并在使用精度守恒方法的同时包括“层融合”和“训练后量化”等模型优化功能。
neupro-m 可用于今天的主要客户许可和今年第二季度的一般许可。neupro-m 客户还可以从 ceva 的异构 soc 设计服务中受益,以帮助集成和支持系统设计和小芯片开发。
大疆$499的Spark无人机提供手势控制,设计简约
冲压工厂利用MES系统实现信息化管理的重要性
荣耀 20S将于9月 4号发布,并称其为荣耀最强自拍手机
高度垄断的背景下,存储芯片开始出现涨价潮
一种融合语义不变量的点线立体SLAM系统
CEVA NeuPro-M异构和安全处理器架构
大众汽车正寻求收购在华电动车合资伙伴江淮汽车的可观比例股权
最近的一些人工智能十大事件你都知道哪些?
珠海泰芯半导体在AIOT领域的应用方案分享
苹果发布会举行 公布iOS9系统公测版将在7月开放
医疗设备中的人工智能可能会导致糖尿病患者自我管理的突破
浅谈DCS系统在步进梁式加热炉上的应用
iPhone8什么时候上市:iPhone8被坑惨延后量产果粉泪奔,华为荣耀9强势来袭抢风头?
盘点那些比Apple Watch更加先进的可穿戴设备
启扬方案:智能硬件终端打造智慧养老场景
空客天津总装公司向尼泊尔喜马拉雅航空公司成功交付了一架A319飞机
采用AT89S52单片机与AD7755电能计量芯片设计多费率单相电能表
浅述TensorFlow开发环境搭建教程
关于40G QSFP+ BiDi SR4光模块的详细介绍
高房价重压之下最艰难的并非华为