vitis 视频分析 sdk构建自己的智能视频分析解决方案
vitis 视频分析 sdk 旨在 xilinx 目标平台或您自己的平台上构建和部署支持人工智能功能的智能视频分析解决方案的完整软件堆栈。它从 usb/mipi 摄像头输入,通过 rtsp 从文件或数据流获取视频,并使用 vitis ai 从像素点为各种使用案例生成深度洞察,比如了解智慧城市的交通和行人、医院的健康与安全监控、自助结账以及零售分析等,从而可检查生产设施等的组件缺陷。
核心 sdk 包含多个硬件加速器插件,该插件使用各种加速器,如视频编码器、解码器、多尺度器(用于调整大小和色彩空间转换)以及用于人工智能推断的深度学习处理单元 (dpu) 等。通过在专用加速器中执行所有计算量大的操作,它可实现视频分析应用的最高性能。
对于开发者社区,vitis 视频还提供一个通用基础架构插件形式的框架、软件加速库和一个简化的接口,可供用户开发自己的加速库,控制自定义的硬件加速器。使用这个框架,用户可轻松将其自定义加速器/内核集成在 vitis 视频分析 sdk 中。它建立在 xilinx 运行时 (xrt)、vitis 和 vitis ai 基础之上,并抽象了这些复杂的接口,有助于开发人员更轻松地构建视频分析应用。
采用 vitis 视频分析 sdk,应用可部署在基于 zynq ultrascale+ mpsoc 的嵌入式平台上,如 kira som 和 zcu104 或 pcie 加速平台,其中包括 alveo u30、u50 和 vck 5000 等。
vitis 视频分析 sdk 图形架构
vitis 视频分析 sdk 是一种使用开源 gstreamer 框架构建的优化图形架构,下图是一个从输入视频到输出元数据的典型视频分析应用,所有单独的模块都是所用的各种插件,所有单独的模块都是所用的各种插件,底部是在整个应用中使用的不同硬件引擎,插件之间无内存拷贝的最佳内存管理和各种加速器的使用,可确保最高性能。
vitis 视频分析 sdk 核心组件
定制插件
高度优化的 gstreamer 插件旨在使用 xilinx 平台上的优化内核和 ip 提供非常具体的功能。
基础架构插件
这些是正在开发的通用基础架构 gstreamer 插件,可帮助用户将其内核集成在 gstreamer 框架中。
加速软件库
这些是为管理加速内核 /ip 的状态机而开发的优化加速软件库,可公开界面,以便将这些加速软件库连接到 vvas 通用基础架构插件中。这些可用作开发基于 vvas 框架的加速库的参考。
加速硬件(内核/ ip)
这些都是 xilinx 开发的高度优化的内核。
参考平台与应用
vvas 提供多种参考平台,以满足不同应用/解决方案的需求。
完整的软件堆栈
性能与可扩展性
在边缘、本地和云端间提供业界一流的端到端性能
灵活应变性与灵活性
不仅提供高度灵活的分析工作流程,而且还提供广泛的 ai 模型,可充分满足您的需求
生产力 & tco
从快速原型设计到全面投产,开发工作更少,部署成本更低
最佳性能展示
来源:wp529,通过 vitis vas 和 deepstream 5.0 使用 uncanny vision 的 anpr 应用进行了基准测试
ai 模型:yolov3(416x416) + 3 * resnet18(224x224),使用 vitis vas 和 deepstream 5.0 进行了基准测试
2018年,机器学习和人工智能领域最重要的突破是什么?
XFlow和Abaqus协同仿真流固耦合经典案例
ThinkPad翼490银色版采用了金属材质设计带来了别样的光泽与质感
康佳首发全球Micro LED智能手表和Mini LED电视
新品上市,创新影像测量
Vitis视频分析SDK构建自己的智能视频分析解决方案
OPPOR7s手机评测 可以说是超越了卡片机
Vishay推出增强型厚膜片式电阻
中美两国退出贸易战后,特朗普出尔反尔,瞄准:中国制造
工业和信息化部等九部门发布《传统制造业转型升级指导意见》
三星公布Android 10.0系统升级计划,三星平板电脑也将在明年升级
有机硅密封胶在新能源汽车领域中的应用
一文详解SPI串行外设接口
首席营销官如何利用数据力量在 2022 制定战略
110KV高压电磁式电压互感器
传旷视科技准备上市,募资最多10亿美元最快年内挂牌
家庭影院套装的声道数
电感镇流器的详细制作流程是怎样的
近三年中国各个产业的现状和前景
扬尘在线检测仪有哪些传感器