新一代面向边缘应用的AI视觉处理器
最近，笔者与ambarella的aiot高级总监jerome gigot进行了交流，该公司专门为边缘应用程序创建ai视觉处理器。自2004年成立以来，该公司一直专注于为视频处理的各个方面提供解决方案（重点强调低功耗）。ambarella最初从广播和摄像机开始，大约在2010年，当a5s芯片被用于gopro时，他们开始关注安防市场。2012年，该公司发布了s2，是第一个针对安全/监控摄像头的4k芯片。
2015年，ambarella收购了一家名为vislab的计算机视觉公司，从那时起，他们开始专注于人工智能和计算机视觉。cvflow 1.0更多的是一个研发活动，并没有真正进入市场。cvflow 2.0支持一套视觉处理芯片——cv2, cv5, cv22, cv25, cv28，是ambarella的客户目前在他们的安全摄像头系统中使用的芯片。
现在，事情真正开始变得有趣起来，因为ambarella在2021年收购了一家名为oculii的人工智能雷达软件公司。同时，他们着手开发第三代视觉处理体系结构：cvflow 3.0。
目前实现cvflow 3.0架构的有两款芯片，都采用了三星5nm工艺。在今年年初的ces上宣布的第一款芯片cv3-ad是一款非常高端的设备，具有极高的人工智能性能，目标是汽车市场的l2+到l4级自动化。
第二款芯片，新的cv72s soc，将在isc west上公布。cv72s在尺寸和成本上展示了ambarella最先进的技术，适合一般物联网市场，特别是安全/监控市场。
但这与之前提到的收购oculii又有什么关系呢？oculii是做人工智能雷达软件的，他们不制造传感器，只做软件。更具体地说，他们使用人工智能来聪明地控制雷达头(传感器)。如果使用英飞凌、恩智浦或德州仪器等公司现有的雷达头，那么oculii可以提高其分辨率、范围和精度，同时使用更少的天线、实现更低的功耗。
所有这些使得cv72s能够满足当今最新和最大的安全/监视系统的需求，即更多的人工智能，更好的图像质量(包括彩色夜视)，鱼眼和多成像器(cv72s可以在硬件中对鱼眼图像进行反扭曲)，以及光学和雷达世界之间的传感器融合。
在ai组件下，我们谈论的不仅仅是更多的ai，而是更好的ai。当今安全/监控系统的开发人员总想要运行最新、最好的神经网络，而这些网络总是倾向于更大、要求更高的性能。开发人员还希望能够检测和识别更远的东西，这意味着他们需要更高的神经网络分辨率，也需要更高的性能。
在自然语言处理(nlp)方面，应用程序如chatgpt已经变得非常有名。最近，人工智能专家们意识到，同样的网络也可以应用于视频。这导致了一种被称为视觉转换器的新型网络，其性能优于传统的卷积神经网络(cnn)。不幸的是，视觉转换器需要专用硬件；幸运的是，这个新的硬件就是cv72s。
话虽如此，视觉转换器的性能取决于它们所使用的数据，这将我们很好地引导到上图右侧的传感器融合示例。正如你所看到的，要弄清楚我们在做什么有点困难，我们现在看到的是一座商业建筑和一个停车场。这张照片的下半部分是相机仅使用rgb视觉传感器在夜间看到的景象。我们只能看到一辆白色的车。
这张图片的顶部显示了相机中雷达生成的点云。如果看一下这个雷达数据，我们可以看到顶部有三个紫色的斑点和一个浅蓝色的斑点。这四个斑点是人。如果观看直播视频，我们可以看到他们在移动（手臂摆动，腿行走），其中的颜色编码反映了移动的方向(紫色的人向左移动，而蓝色的人向右移动)。
在视觉图像和雷达图像之间执行传感器融合，可以提供更高级别的有用信息，这些信息对于建筑物保护和周界安全等非常重要，特别是当雾、雪和烟雾等环境条件降低了图像的视觉位置的情况下。
实现传感器融合的具体框图如下所示：
笔者不打算详细介绍这个图，只想指出这个系统可以接受1到10个传感器(相机)输入，可以使用最新的lpddr5外部存储器，终极秘密浓缩在cvflow块中（其中涉及令人难以置信的晶体管数量）。
笔者在家里安装了安全摄像头。摄像头在白天提供的图像是很棒的，但在晚上却差强人意，而矛盾的是晚上正是我们希望摄像头表现最好的时候。
下面左侧的图片是通过一个传统的isp引擎，这在市场上已经是最好的。当光照水平过低时，传感器就会变得非常嘈杂。传统技术无法恢复这种图像，所以当黄昏降临时，相机通常会切换到夜间模式，这导致图像的灰度很难看。
aisp可以解决上述问题，顾名思义，aisp是传统图像信号处理(isp)和高性能神经网络ai处理的结合，可以降低噪声和提高夜间图像质量，同时还可以大幅降低比特率，如右图所示。
最后，我们需要考虑开发人员如何将cv72s纳入他们的安全/监控摄像头设计。我们一般是用32位浮点数训练ai网络，但这样的网络并没有针对边缘设备进行优化，所以ambarella提供了一个本质上的编译器，采用32位浮点表示，并将其量化为cv72s能够理解的8位定点等效语言。如果开发人员想进一步优化模型，可以使用ambarella工具来裁剪网络。有时可以裁剪50%，在保持99%精度的同时实现2x线性性能加速，这确实很酷。
可穿戴与物联网用DC-DC：如何实现纳安级消耗电流？
万用NLP模型Transformer的升级版
Vishay推出新款耐高温钽电容器TH4系列
智慧车匙保管器的结构设计
在多个数据集的光流预测任务上大幅提升了预测性能
新一代面向边缘应用的AI视觉处理器
区块链现在这么火，到底是不是骗局？
高低温低气压试验箱，要拥有足够的实力与知识才是长远的利益
电源转换模块的优势和应用分析
苹果宣布秋季发布会将于9月7日举行
粤港澳大湾区最大新型储能电站投运
今日看点丨华为重磅官宣：车BU独立运营，长安入股不超过40%；阿里达摩院确认撤裁量子实验室
博士生David Abel详细整理了一份87页的ICML大会笔记
GPT-4多模态模型发布，对ChatGPT的升级和断崖式领先
管廊巡检机器人的大作用：灭隐患于萌芽
芯片制造应关注功率半导体
bga返修台哪个牌子好_十大bga返修台品牌排行榜
解密海思 承载着华为芯片的研发和销售
人工智能与制造业白皮书发布形成三大特色发展格局
it和ot的区别和联系
2015年，ambarella收购了一家名为vislab的计算机视觉公司，从那时起，他们开始专注于人工智能和计算机视觉。cvflow 1.0更多的是一个研发活动，并没有真正进入市场。cvflow 2.0支持一套视觉处理芯片——cv2, cv5, cv22, cv25, cv28，是ambarella的客户目前在他们的安全摄像头系统中使用的芯片。
现在，事情真正开始变得有趣起来，因为ambarella在2021年收购了一家名为oculii的人工智能雷达软件公司。同时，他们着手开发第三代视觉处理体系结构：cvflow 3.0。
目前实现cvflow 3.0架构的有两款芯片，都采用了三星5nm工艺。在今年年初的ces上宣布的第一款芯片cv3-ad是一款非常高端的设备，具有极高的人工智能性能，目标是汽车市场的l2+到l4级自动化。
第二款芯片，新的cv72s soc，将在isc west上公布。cv72s在尺寸和成本上展示了ambarella最先进的技术，适合一般物联网市场，特别是安全/监控市场。
但这与之前提到的收购oculii又有什么关系呢？oculii是做人工智能雷达软件的，他们不制造传感器，只做软件。更具体地说，他们使用人工智能来聪明地控制雷达头(传感器)。如果使用英飞凌、恩智浦或德州仪器等公司现有的雷达头，那么oculii可以提高其分辨率、范围和精度，同时使用更少的天线、实现更低的功耗。
所有这些使得cv72s能够满足当今最新和最大的安全/监视系统的需求，即更多的人工智能，更好的图像质量(包括彩色夜视)，鱼眼和多成像器(cv72s可以在硬件中对鱼眼图像进行反扭曲)，以及光学和雷达世界之间的传感器融合。
在ai组件下，我们谈论的不仅仅是更多的ai，而是更好的ai。当今安全/监控系统的开发人员总想要运行最新、最好的神经网络，而这些网络总是倾向于更大、要求更高的性能。开发人员还希望能够检测和识别更远的东西，这意味着他们需要更高的神经网络分辨率，也需要更高的性能。
在自然语言处理(nlp)方面，应用程序如chatgpt已经变得非常有名。最近，人工智能专家们意识到，同样的网络也可以应用于视频。这导致了一种被称为视觉转换器的新型网络，其性能优于传统的卷积神经网络(cnn)。不幸的是，视觉转换器需要专用硬件；幸运的是，这个新的硬件就是cv72s。
话虽如此，视觉转换器的性能取决于它们所使用的数据，这将我们很好地引导到上图右侧的传感器融合示例。正如你所看到的，要弄清楚我们在做什么有点困难，我们现在看到的是一座商业建筑和一个停车场。这张照片的下半部分是相机仅使用rgb视觉传感器在夜间看到的景象。我们只能看到一辆白色的车。
这张图片的顶部显示了相机中雷达生成的点云。如果看一下这个雷达数据，我们可以看到顶部有三个紫色的斑点和一个浅蓝色的斑点。这四个斑点是人。如果观看直播视频，我们可以看到他们在移动（手臂摆动，腿行走），其中的颜色编码反映了移动的方向(紫色的人向左移动，而蓝色的人向右移动)。
在视觉图像和雷达图像之间执行传感器融合，可以提供更高级别的有用信息，这些信息对于建筑物保护和周界安全等非常重要，特别是当雾、雪和烟雾等环境条件降低了图像的视觉位置的情况下。
实现传感器融合的具体框图如下所示：
笔者不打算详细介绍这个图，只想指出这个系统可以接受1到10个传感器(相机)输入，可以使用最新的lpddr5外部存储器，终极秘密浓缩在cvflow块中（其中涉及令人难以置信的晶体管数量）。
笔者在家里安装了安全摄像头。摄像头在白天提供的图像是很棒的，但在晚上却差强人意，而矛盾的是晚上正是我们希望摄像头表现最好的时候。
下面左侧的图片是通过一个传统的isp引擎，这在市场上已经是最好的。当光照水平过低时，传感器就会变得非常嘈杂。传统技术无法恢复这种图像，所以当黄昏降临时，相机通常会切换到夜间模式，这导致图像的灰度很难看。
aisp可以解决上述问题，顾名思义，aisp是传统图像信号处理(isp)和高性能神经网络ai处理的结合，可以降低噪声和提高夜间图像质量，同时还可以大幅降低比特率，如右图所示。
最后，我们需要考虑开发人员如何将cv72s纳入他们的安全/监控摄像头设计。我们一般是用32位浮点数训练ai网络，但这样的网络并没有针对边缘设备进行优化，所以ambarella提供了一个本质上的编译器，采用32位浮点表示，并将其量化为cv72s能够理解的8位定点等效语言。如果开发人员想进一步优化模型，可以使用ambarella工具来裁剪网络。有时可以裁剪50%，在保持99%精度的同时实现2x线性性能加速，这确实很酷。
可穿戴与物联网用DC-DC：如何实现纳安级消耗电流？
万用NLP模型Transformer的升级版
Vishay推出新款耐高温钽电容器TH4系列
智慧车匙保管器的结构设计
在多个数据集的光流预测任务上大幅提升了预测性能
新一代面向边缘应用的AI视觉处理器
区块链现在这么火，到底是不是骗局？
高低温低气压试验箱，要拥有足够的实力与知识才是长远的利益
电源转换模块的优势和应用分析
苹果宣布秋季发布会将于9月7日举行
粤港澳大湾区最大新型储能电站投运
今日看点丨华为重磅官宣：车BU独立运营，长安入股不超过40%；阿里达摩院确认撤裁量子实验室
博士生David Abel详细整理了一份87页的ICML大会笔记
GPT-4多模态模型发布，对ChatGPT的升级和断崖式领先
管廊巡检机器人的大作用：灭隐患于萌芽
芯片制造应关注功率半导体
bga返修台哪个牌子好_十大bga返修台品牌排行榜
解密海思 承载着华为芯片的研发和销售
人工智能与制造业白皮书发布形成三大特色发展格局
it和ot的区别和联系