ML-EXray：云到边缘部署验证框架
嵌入式ai和ml在边缘的部署不断增加，无疑引入了从云到边缘的新性能变化。尽管边缘设备上的ai执行性能突然发生了负面变化，但采用tinyml是一种前进的方式。
该过程中的主要挑战是识别边缘部署期间的潜在问题，以及 ml 推理执行中的可见性较低。为了解决这个问题，斯坦福大学的一组研究人员提出了一个端到端框架，该框架提供了对层级ml执行的可见性，并分析了云到边缘的部署问题。
ml-exray 是一种云到边缘部署验证框架，旨在通过记录中间输出来扫描边缘 ml 应用程序中的模型执行，并使用参考管道提供相同数据的重放。此外，它还比较性能差异和每层输出差异，使用户能够自定义函数来验证模型行为。
ml-exray的结果表明，该框架能够识别预处理错误，量化问题，次优内核等问题。ml-exray 只需不到 15 行代码，即可检查边缘部署管道，并将模型性能校正多达 30%。此外，该框架还指导操作员将内核执行延迟优化两个数量级。
调试框架系统由三部分组成：
跨平台 api，用于边缘和云端 ml 推理的检测和日志记录
用于数据回放和建立基线的参考管道
用于检测问题并分析根本原因的部署验证框架
对于自定义日志和用户定义的验证，ml-exray 提供了一个用于编写自定义断言函数的接口。通用部署验证流程图易于理解，因为 ml-exray 从检测的应用程序和引用管道中获取日志。数据集用于在应用框架之前训练应用程序。
将框架应用于两个管道后，将执行精度匹配，这将检查准确性下降并仔细检查层级详细信息以找到差异。检测完成后，将注册断言函数以进行根本原因分析。
研究人员发布的评估表显示了该过程中涉及的任务，模型和断言。该框架适用于各种任务，以识别多个维度的部署问题，包括输入处理、量化和系统性能。此外，预处理调试目标的代码行实现为四个 loc（代码行），而没有 ml-exray 的代码行为 25 行。在结束关于新方法和优化调试框架的讨论之前，让我们回顾一下研究的命题。
总结一下通过 ml-exray 引入边缘 ai 部署在识别故障和处理错误方面的创新：
一套检测 api 和 python 库，可查看任务关键型应用程序边缘设备上的层级详细信息。
端到端边缘部署验证框架，为用户提供了一个界面，用于设计用于验证和检查的自定义函数。
ml-exray 旨在检测工业设置中导致 ml 执行性能下降的各种部署问题。
君正集成电路开发平台 Newton2介绍
OPPOR11什么时候上市？OPPOR11最新消息：OPPOR11基本配置抢先看，6月10日浙江卫视全明星宴
详解鼎阳示波器之波特图功能
智能汽车玻璃的PVB中间膜自寻商机
can总线和lin总线的区别与联系?
ML-EXray：云到边缘部署验证框架
心系天下三星W21 5G正式发布
破解物联网不是火箭科学
实现高效交流电机驱动系统设计的技巧
病害肉检测仪的工作原理及功能
深度神经网络变革发展迅速正对半导体IC设计与制造形成深刻的变革
如何增强双层石墨烯的超导性
世界芯片排名一览表 2021年芯片十大品牌有哪些？
基于SWD离线烧写OTP
直线马达立体式车库市场占有率正逐年增加
奥比中光发布Femto W与Persee+深度相机
美萍网络技术有限公司研发出AI智能电销机器人，适用于销售行业
400G OSFP SR8光模块最新解决方案
小米mix2意外曝光，下巴确实变窄了不少！
种子低温低湿储藏箱是什么，它的作用是什么
该过程中的主要挑战是识别边缘部署期间的潜在问题，以及 ml 推理执行中的可见性较低。为了解决这个问题，斯坦福大学的一组研究人员提出了一个端到端框架，该框架提供了对层级ml执行的可见性，并分析了云到边缘的部署问题。
ml-exray 是一种云到边缘部署验证框架，旨在通过记录中间输出来扫描边缘 ml 应用程序中的模型执行，并使用参考管道提供相同数据的重放。此外，它还比较性能差异和每层输出差异，使用户能够自定义函数来验证模型行为。
ml-exray的结果表明，该框架能够识别预处理错误，量化问题，次优内核等问题。ml-exray 只需不到 15 行代码，即可检查边缘部署管道，并将模型性能校正多达 30%。此外，该框架还指导操作员将内核执行延迟优化两个数量级。
调试框架系统由三部分组成：
跨平台 api，用于边缘和云端 ml 推理的检测和日志记录
用于数据回放和建立基线的参考管道
用于检测问题并分析根本原因的部署验证框架
对于自定义日志和用户定义的验证，ml-exray 提供了一个用于编写自定义断言函数的接口。通用部署验证流程图易于理解，因为 ml-exray 从检测的应用程序和引用管道中获取日志。数据集用于在应用框架之前训练应用程序。
将框架应用于两个管道后，将执行精度匹配，这将检查准确性下降并仔细检查层级详细信息以找到差异。检测完成后，将注册断言函数以进行根本原因分析。
研究人员发布的评估表显示了该过程中涉及的任务，模型和断言。该框架适用于各种任务，以识别多个维度的部署问题，包括输入处理、量化和系统性能。此外，预处理调试目标的代码行实现为四个 loc（代码行），而没有 ml-exray 的代码行为 25 行。在结束关于新方法和优化调试框架的讨论之前，让我们回顾一下研究的命题。
总结一下通过 ml-exray 引入边缘 ai 部署在识别故障和处理错误方面的创新：
一套检测 api 和 python 库，可查看任务关键型应用程序边缘设备上的层级详细信息。
端到端边缘部署验证框架，为用户提供了一个界面，用于设计用于验证和检查的自定义函数。
ml-exray 旨在检测工业设置中导致 ml 执行性能下降的各种部署问题。
君正集成电路开发平台 Newton2介绍
OPPOR11什么时候上市？OPPOR11最新消息：OPPOR11基本配置抢先看，6月10日浙江卫视全明星宴
详解鼎阳示波器之波特图功能
智能汽车玻璃的PVB中间膜自寻商机
can总线和lin总线的区别与联系?
ML-EXray：云到边缘部署验证框架
心系天下三星W21 5G正式发布
破解物联网不是火箭科学
实现高效交流电机驱动系统设计的技巧
病害肉检测仪的工作原理及功能
深度神经网络变革发展迅速正对半导体IC设计与制造形成深刻的变革
如何增强双层石墨烯的超导性
世界芯片排名一览表 2021年芯片十大品牌有哪些？
基于SWD离线烧写OTP
直线马达立体式车库市场占有率正逐年增加
奥比中光发布Femto W与Persee+深度相机
美萍网络技术有限公司研发出AI智能电销机器人，适用于销售行业
400G OSFP SR8光模块最新解决方案
小米mix2意外曝光，下巴确实变窄了不少！
种子低温低湿储藏箱是什么，它的作用是什么