“真黑光”背后的AI技术革新 赋能智能IoT
从最初的百万像素手机，到如今几千万甚至过亿像素的单反相机和智能手机，各种成像设备迭代的背后，是人们对完美画质的无尽追求。毕竟在人眼这台像素高达5.76亿的超级相机面前，一切都还是不够真实。
相机的发展始终离不开isp技术的支撑，对于传统isp技术而言，夜景和高动态范围一直是非常有挑战性的场景，尤其是夜间动态场景下的噪声大、运动拖影、模糊，以及高光过曝和低光信息丢失等问题，不仅无法满足大众越来越高的影像记录需求，也一直困扰着视频监控、交通管理等行业的发展。
但技术的不断突破总能颠覆我们的想象，当人们仍在挑剔着传统isp的种种瑕疵时，ai的飞速发展给了我们更多可能。ai-isp技术的出现，让极低照度环境下的高清全彩成像成为可能，摄像头开始从之前的“看得见”，逐渐走向“看得清”甚至“看得懂”。
“真黑光”时代正式向我们走来。
真黑光，赋能智能iot
先来说说什么是真黑光，根据夜视效果的不同，我们可以用不同的名称来区分相机的夜景性能，如暗光、星光、超星光、黑光等。这种名称并没有统一标准，但关注点都在于某一个弱光亮度下是否可以保持全彩效果。一般来说，黑光级意味着摄像机可以在0.01lux及以下照度的条件下工作。
传统方式下，要实现黑光效果，基本是通过使用大版面的sensor、低分辨率的sensor（一般低分辨率sensor的单个像素尺寸大）、增大模组光圈、降低视频帧率来增大进光量，从而在夜晚获取更多光照和色彩信息。但使用以上方法后，在极暗场景下色彩饱和度无法实现100%，运动物体还是容易产生透视或鬼影的效果，且提高版面、增大光圈还会造成成本的增加，都不能真正的满足行业需求。
换句话说，在极暗环境下，“鱼和熊掌不可兼得”。
但即便这样，也并非全无办法，爱芯元智自主研发的爱芯智眸ai-isp的出现，让黑光全彩成像走进了现实。实测显示，爱芯智眸ai-isp加持下的相机能在<0.01lux的低照度下，无需白光补光或红外补光，即可做到25～30帧的实时色彩还原，色彩饱和度≥100%，并可以保证运动物体无明显拖影、透视或鬼影。爱芯元智也认为，只有同时满足以下6大要素，才能被称为“真黑光”，才能真正帮助用户在极暗场景下实现更好的视频效果。
正是基于“真黑光”的突破，智慧城市、智能iot有了更丰富的应用场景。在路口、高山、池塘、农田等夜晚极暗的环境下，无需牺牲画质，就能提升视频亮度，让摄像机依旧拍出画面层次感好、颜色还原准确的彩色视频；此外，该技术还可以实现全场景的视频效果，在池塘、农田这一类无法进行补光的地方，同样实现更精准的智能判断。
关键模块ai化，以端侧有限算力
实现ai-isp最佳效果
爱芯智眸ai-isp如何能实现“真黑光”？7月19日，在第五届世界半导体大会“2023年长三角集成电路产业创新发展论坛”上，爱芯元智isp系统专家张兴就爱芯智眸ai-isp的架构创新展开了介绍。
isp的全称是image signal processor，即图像信号处理器，它能将图像传感器获取的信号转换为人、机器可以识别和分辨的信息，对图像质量非常重要。形象地来说，isp相当于人眼成像系统中的大脑，它会把由镜头sensor收集来的影像进行加工、提升和处理，最终得到一个真实甚至更好的成像质量。
传统isp是将 cis sensor输出的raw数据接入后，按照一定pipeline顺序将raw数据转换成人眼可见的yuv数据，对于图像的处理是基于数学建模和人类对图像的朴素理解而实现。作为近年来新出现的技术概念，ai-isp则是在传统isp pipeline基础上，将传统数学建模方法解决不好的问题，利用ai神经网络，通过更丰富的参数模拟人脑，建立更复杂的模型，从而超越传统isp的天花板，实现更好的图像效果。
目前，爱芯智眸ai-isp是通过ai赋能 isp pipeline里最关键的四个模块——hdr、3dnr、rltm和demosaic，即通过ai 训练的方式不断提升这四大模块的性能，打破传统isp成像的“天花板”。
之所以选择将关键模块ai化，是因为端侧的算力往往是有限的，考虑到实际落地中的功耗以及成本问题，对整个pipeline进行ai处理并不现实。可以说，爱芯智眸ai-isp更接近于真正的产品化，其通过对重要模块的ai化，将有限的算力集中于最关键、人眼最可知的功能中，实现整个ai-isp的最佳效果。
因此，在实际应用中，爱芯智眸ai-isp 通过迭代视觉模型即可提升性能，快速实现芯片产品画质的升级换代。这意味着，爱芯元智用一颗芯片就能实现对不同场景、不同市场的覆盖，这既能降低ai综合应用成本，也是对生产力的极大提升。
当前，爱芯元智不仅在继续优化和迭代hdr、3dnr、rltm和demosaic相关的ai 算法，也在探索将传统isp pipeline上的其他模块进行ai 化。此外，结合爱芯智眸ai-isp的高算力要求，爱芯元智还同步自研了爱芯通元混合精度npu，进一步加快ai开发的落地效率。
至于爱芯智眸ai-isp与“真黑光”之间的关系，张兴表示，在0.01lux.的黑光时代，仅从镜头和sensor的提升已经不能解决实质问题，而传统isp已经无法满足黑光的技术提升需求，也因此出现了很多鱼目混珠的情况，比如说降帧，增加补光灯等方法，“爱芯认为，一个合格的黑光全彩相机要保证在0.01lux场景下，不需要通过补光，可以实时（25-30）fps，正确分辨运动物体，并正确还原颜色”。而这，正是爱芯智眸ai-isp所具备的差异化优势。
事实上，也恰恰是爱芯智眸ai-isp在2020年正式切入市场，从而引领了“黑光全彩相机”这个新品类的快速发展。
今年以来，大模型的火热带领ai发展步入新阶段，爱芯元智认为，基于图像处理的实时性、可靠性的高要求，以及隐私保护的需求，未来ai将从云端逐渐落地到端侧边缘侧，这也将对端侧算力提出更高要求。目前，爱芯元智第三代、第四代芯片所搭载的爱芯通元混合精度npu都支持transformer大模型部署。随着大模型的发展，爱芯元智也在积极探索通过大模型实现更好的ai-isp效果。
可以看到，伴随着极暗、高动态、光污染等各种极限场景下的更高成像要求，ai-isp在人工智能视觉成像领域正变得越来越重要。以技术创新解决低照和高动态的行业核心痛点，爱芯智眸ai-isp打造的黑光全彩相机等新品类，也正在为人们解锁更多视界，未来或将引领一个全新成像时代的到来。
AI成为了三星的下一步棋子吗
圆桌对话：破解LED显示价格战
清凉一夏不是梦！USB小风扇哪个牌子好？
任意函数信号发生器的使用方法
Maxim Integrated将与Freescale在MWC上合作展示完备的室外LTE pico基站方案
“真黑光”背后的AI技术革新 赋能智能IoT
新型可穿戴设备面市 LED和传感器被织入纤维
京东进军网约车？网约车整改究竟是革新还是作秀？
2023第三届未来智造大会 新型工业化峰会在甬开幕
安捷伦助阵HDMI标准,Simplay Labs中国HDMI
影响WiFi信号强度的因素有哪些
我国在有机纳米聚合物领域获得了重大突破
aigo国民好物移动固态硬盘大盘点 哪款更适合你？
Kroger联合Nuro发布全自动驾驶汽车送货服务
霍尼韦尔宣布正在为混合动力飞机研发一种动力系统
PCB设计指南之抗干扰、EMC部分
TDA20142多功能调谐器可在应用中降低系统成本并提供性能
8月起机械硬盘要涨价：大容量没得选
浅谈通信系统的供电架构
E拆解：三星Galaxy A80日本元器件数量占比超七成
相机的发展始终离不开isp技术的支撑，对于传统isp技术而言，夜景和高动态范围一直是非常有挑战性的场景，尤其是夜间动态场景下的噪声大、运动拖影、模糊，以及高光过曝和低光信息丢失等问题，不仅无法满足大众越来越高的影像记录需求，也一直困扰着视频监控、交通管理等行业的发展。
但技术的不断突破总能颠覆我们的想象，当人们仍在挑剔着传统isp的种种瑕疵时，ai的飞速发展给了我们更多可能。ai-isp技术的出现，让极低照度环境下的高清全彩成像成为可能，摄像头开始从之前的“看得见”，逐渐走向“看得清”甚至“看得懂”。
“真黑光”时代正式向我们走来。
真黑光，赋能智能iot
先来说说什么是真黑光，根据夜视效果的不同，我们可以用不同的名称来区分相机的夜景性能，如暗光、星光、超星光、黑光等。这种名称并没有统一标准，但关注点都在于某一个弱光亮度下是否可以保持全彩效果。一般来说，黑光级意味着摄像机可以在0.01lux及以下照度的条件下工作。
传统方式下，要实现黑光效果，基本是通过使用大版面的sensor、低分辨率的sensor（一般低分辨率sensor的单个像素尺寸大）、增大模组光圈、降低视频帧率来增大进光量，从而在夜晚获取更多光照和色彩信息。但使用以上方法后，在极暗场景下色彩饱和度无法实现100%，运动物体还是容易产生透视或鬼影的效果，且提高版面、增大光圈还会造成成本的增加，都不能真正的满足行业需求。
换句话说，在极暗环境下，“鱼和熊掌不可兼得”。
但即便这样，也并非全无办法，爱芯元智自主研发的爱芯智眸ai-isp的出现，让黑光全彩成像走进了现实。实测显示，爱芯智眸ai-isp加持下的相机能在<0.01lux的低照度下，无需白光补光或红外补光，即可做到25～30帧的实时色彩还原，色彩饱和度≥100%，并可以保证运动物体无明显拖影、透视或鬼影。爱芯元智也认为，只有同时满足以下6大要素，才能被称为“真黑光”，才能真正帮助用户在极暗场景下实现更好的视频效果。
正是基于“真黑光”的突破，智慧城市、智能iot有了更丰富的应用场景。在路口、高山、池塘、农田等夜晚极暗的环境下，无需牺牲画质，就能提升视频亮度，让摄像机依旧拍出画面层次感好、颜色还原准确的彩色视频；此外，该技术还可以实现全场景的视频效果，在池塘、农田这一类无法进行补光的地方，同样实现更精准的智能判断。
关键模块ai化，以端侧有限算力
实现ai-isp最佳效果
爱芯智眸ai-isp如何能实现“真黑光”？7月19日，在第五届世界半导体大会“2023年长三角集成电路产业创新发展论坛”上，爱芯元智isp系统专家张兴就爱芯智眸ai-isp的架构创新展开了介绍。
isp的全称是image signal processor，即图像信号处理器，它能将图像传感器获取的信号转换为人、机器可以识别和分辨的信息，对图像质量非常重要。形象地来说，isp相当于人眼成像系统中的大脑，它会把由镜头sensor收集来的影像进行加工、提升和处理，最终得到一个真实甚至更好的成像质量。
传统isp是将 cis sensor输出的raw数据接入后，按照一定pipeline顺序将raw数据转换成人眼可见的yuv数据，对于图像的处理是基于数学建模和人类对图像的朴素理解而实现。作为近年来新出现的技术概念，ai-isp则是在传统isp pipeline基础上，将传统数学建模方法解决不好的问题，利用ai神经网络，通过更丰富的参数模拟人脑，建立更复杂的模型，从而超越传统isp的天花板，实现更好的图像效果。
目前，爱芯智眸ai-isp是通过ai赋能 isp pipeline里最关键的四个模块——hdr、3dnr、rltm和demosaic，即通过ai 训练的方式不断提升这四大模块的性能，打破传统isp成像的“天花板”。
之所以选择将关键模块ai化，是因为端侧的算力往往是有限的，考虑到实际落地中的功耗以及成本问题，对整个pipeline进行ai处理并不现实。可以说，爱芯智眸ai-isp更接近于真正的产品化，其通过对重要模块的ai化，将有限的算力集中于最关键、人眼最可知的功能中，实现整个ai-isp的最佳效果。
因此，在实际应用中，爱芯智眸ai-isp 通过迭代视觉模型即可提升性能，快速实现芯片产品画质的升级换代。这意味着，爱芯元智用一颗芯片就能实现对不同场景、不同市场的覆盖，这既能降低ai综合应用成本，也是对生产力的极大提升。
当前，爱芯元智不仅在继续优化和迭代hdr、3dnr、rltm和demosaic相关的ai 算法，也在探索将传统isp pipeline上的其他模块进行ai 化。此外，结合爱芯智眸ai-isp的高算力要求，爱芯元智还同步自研了爱芯通元混合精度npu，进一步加快ai开发的落地效率。
至于爱芯智眸ai-isp与“真黑光”之间的关系，张兴表示，在0.01lux.的黑光时代，仅从镜头和sensor的提升已经不能解决实质问题，而传统isp已经无法满足黑光的技术提升需求，也因此出现了很多鱼目混珠的情况，比如说降帧，增加补光灯等方法，“爱芯认为，一个合格的黑光全彩相机要保证在0.01lux场景下，不需要通过补光，可以实时（25-30）fps，正确分辨运动物体，并正确还原颜色”。而这，正是爱芯智眸ai-isp所具备的差异化优势。
事实上，也恰恰是爱芯智眸ai-isp在2020年正式切入市场，从而引领了“黑光全彩相机”这个新品类的快速发展。
今年以来，大模型的火热带领ai发展步入新阶段，爱芯元智认为，基于图像处理的实时性、可靠性的高要求，以及隐私保护的需求，未来ai将从云端逐渐落地到端侧边缘侧，这也将对端侧算力提出更高要求。目前，爱芯元智第三代、第四代芯片所搭载的爱芯通元混合精度npu都支持transformer大模型部署。随着大模型的发展，爱芯元智也在积极探索通过大模型实现更好的ai-isp效果。
可以看到，伴随着极暗、高动态、光污染等各种极限场景下的更高成像要求，ai-isp在人工智能视觉成像领域正变得越来越重要。以技术创新解决低照和高动态的行业核心痛点，爱芯智眸ai-isp打造的黑光全彩相机等新品类，也正在为人们解锁更多视界，未来或将引领一个全新成像时代的到来。
AI成为了三星的下一步棋子吗
圆桌对话：破解LED显示价格战
清凉一夏不是梦！USB小风扇哪个牌子好？
任意函数信号发生器的使用方法
Maxim Integrated将与Freescale在MWC上合作展示完备的室外LTE pico基站方案
“真黑光”背后的AI技术革新 赋能智能IoT
新型可穿戴设备面市 LED和传感器被织入纤维
京东进军网约车？网约车整改究竟是革新还是作秀？
2023第三届未来智造大会 新型工业化峰会在甬开幕
安捷伦助阵HDMI标准,Simplay Labs中国HDMI
影响WiFi信号强度的因素有哪些
我国在有机纳米聚合物领域获得了重大突破
aigo国民好物移动固态硬盘大盘点 哪款更适合你？
Kroger联合Nuro发布全自动驾驶汽车送货服务
霍尼韦尔宣布正在为混合动力飞机研发一种动力系统
PCB设计指南之抗干扰、EMC部分
TDA20142多功能调谐器可在应用中降低系统成本并提供性能
8月起机械硬盘要涨价：大容量没得选
浅谈通信系统的供电架构
E拆解：三星Galaxy A80日本元器件数量占比超七成