纽劢科技以基于深度学习的多传感融合方案打造量产级自动驾驶
作为一家最早一批拿到加州路测牌照的公司之一，纽劢科技一直低调而务实，公司以视觉为主、基于深度学习的多传感融合方案，可以实现高准确率（远高于常规方案）的目标识别、跟踪，应用于全天候、不同天气状况的场景，目前已收到了l4级别自动驾驶订单。
纽劢科技自动驾驶试验车
自动驾驶汽车的发展正成为社会各界关注的热点，国内外已有越多越多城市（或州）允许车辆进行道路测试。加利福尼亚州作为美国仅有的几个允许自动驾驶汽车路测的州之一，在技术和人才方面拥有丰富的资源，再加上该州对自动驾驶开放的态度，吸引了众多车企及科技公司前往加州申请自动驾驶测试牌照。
据官方数据统计，截至2018年8月29日，加州dmv已向59个实体颁发了自动驾驶汽车路测许可证（带驾驶员），其中包括以下：
在这59家获得加州牌照的公司里，有我们耳熟能详的车企（大众、宝马、福特等），也有一些围绕自动驾驶技术发展起来的科技公司（特斯拉、景驰、pony.ai、nuro等）。其中有一家神秘的创业公司——纽劢科技（nullmax），是最早一批拿到加州牌照公司之一。
2016年底，纽劢科技创立于美国硅谷，总部位于上海，应用计算机视觉、深度学习和人工智能等技术，致力于打造低成本、可靠、可量产的l3/l4级自动驾驶解决方案。公司ceo徐雷是美国纽约州立大学计算机博士、前特斯拉（tesla）计算机视觉高级工程师，负责深度学习框架的搭建，算是特斯拉autopilot团队的核心成员，同时也是特斯拉第一代tesla vison团队的重要成员，参与了特斯拉自动驾驶从无到有的研发和落地。他与前tesla（特斯拉）高级供应链质量和产品经理宋新雨有着相同的情怀，希望将世界领先的技术和经验带回中国，带着硅谷精神一起创办了纽劢科技。徐雷表示：“在特斯拉的工作经历让我对自动驾驶领域创业有了自己的理解，nullmax的一切研发都是以技术落地为目标来进行的，整套系统一切符合车规级标准并且可量产。”
以视觉为主的多传感融合方案，出于蓝而胜于蓝
纽劢科技部分传感器阵列
纽劢科技与特斯拉都在致力于打造低成本可量产的自动驾驶解决方案，与坚持 “无人车应该丢掉激光雷达这个拐杖” 的马斯克不同的是，nullmax采用以视觉为主的多传感融合方案，除了摄像头外，还会根据具体情况使用激光雷达、毫米波雷达、超声波雷达、gps/imu传感器。不同场景要求的自动驾驶汽车，设计运行范围（odd）也不同，nullmax会根据具体应用环境对方案进行定制和调整，以传感器部分为例：会根据实际情况配备不同类型和数量的传感器，并调整传感器的装配位置。比如低速l4，一般会采用低线激光雷达+摄像头；高速l4（robotaxi），一般会采用多线激光雷达+摄像头；而l3则可以不依赖激光雷达来实现。
nullmax以视觉为主、基于深度学习的多传感融合方案，可以实现高准确率（远高于常规方案）的目标识别、跟踪，应用于全天候、不同天气状况的场景，融合构建世界模型、轻地图。该融合方案主要有三层融合体系：１）同一传感器不同算法的融合，比如针对可行驶区域，摄像头不止用一种方法确保行驶区域安全；２）不同传感器之间检测结果的融合，比如摄像头和毫米波的目标融合；３）世界模型层面的融合，包括静态障碍物，动态障碍物，和动态障碍物的行为预测，通过融合障碍物、可行驶区域、其他车辆轨迹做出合理决策。三层融合体系下，自动驾驶系统在感知过程中具有很高的准确性和很快的感知速度。
中国的交通习惯与美国不同，国内城市快速路和城市主干道的使用频率大于高速公路。相应的，城市工况的复杂性和多变性带来的挑战也远远大于结构化的高速公路。另外，近距离的cut in（车辆并入）在中国非常普遍，nullmax会根据中国特色的驾驶环境和驾驶员行为等情况对方案进行定制和调整，产品会更偏向于中国本土化。
图像isp技术解决自动驾驶汽车识别难题
目前，视觉传感器容易出现过曝和欠曝等问题，在夜晚弱光、雨雪天气等状况下自动驾驶汽车往往会出现错误识别，比如之前特斯拉的事故就是因为视觉系统将白色的车身与天空的颜色混淆。nullmax是如何应对这些视觉识别边缘难题的？
据ceo徐雷博士介绍，“公司采用多摄像头方案，达到车身周围360度中远距离覆盖。另外我们会对摄像头进行优化，提升弱光等情况下的性能表现。然后基于这些传感器数据，我们来实现目标识别、目标融合、跟踪预测、构建世界模型。我们的图像isp技术主要是高动态范围图像处理，配合摄像头参数调优，解决一般摄像头方案中依赖光线、雨雪天气或者夜晚弱光情况下性能差的问题，以应对复杂情况。”
光线的差异会带来图像本质上的变化，最直接的影响就是会损失掉很多重要信息，比如会造成发黑、过曝、完全没有信息、颜色的灰度不对、颜色偏差以及边缘会失真、不清楚等一系列问题，反映在后端的视觉识别算法时看到的都是跟训练模型不一样的效果，出现信息量太少或者没法检测、没法分析等，尤其是在自动驾驶，不可避免地碰到各种各样的复杂光线的环境。隧道、迎面远光灯、夜间红路灯等场景下，会产生弱光、逆光、背光等情况，视觉方案的自动驾驶一定要解决全天候的被动光学成像，也就是在各种光线环境下都能够看得很清楚。应用于自动驾驶汽车上的图像isp技术，并不是单纯的3a、自动曝光以及自动白平衡，它包含了图像算法、信号处理算法、cmos控制器以及接口等，通过isp技术实现了高动态范围图像处理。
nullmax一方面通过前期的场景数据积累，为基于深度学习的计算机视觉提供了充足的训练数据；另一方面，拥有一套完整的数据采集、标定、清洗的流程和能力，保证模型高效快速迭代。同时，由于视觉为主、基于深度学习的感知方案，对摄像头的要求比较高，所以公司在摄像头等硬件上进行了设计优化和参数调整，进一步提升了视觉感知效果。
车规级标准打通落地量产之路
近两年的自动驾驶行业异常热闹，有种“乱花渐欲迷人眼”的味道，不同公司发展策略也不尽相同，但是本质上都面临着落地的挑战。作为最早一批拿到美国加州路测牌照的科技公司之一，nullmax显得低调而务实。他们目前规划了两条自动驾驶的落地路线：为传统车企转型赋能，为智慧城市赋能。2018年1月，纽劢公司签订第一笔l4级别自动驾驶订单，正式开启了为机场、政府等低速场景开发定制化的l4自动驾驶技术的序幕,将整套自动驾驶解决方案开始运用到商业中。
“自动驾驶到后期会形成一个大的生态圈，不同的企业专注不同的部分，侧重应用不同的场景，解决不同的需求，基于不同的技术路线来实现。我们自己会更加专注，去解决我们认为最重要的问题。同样是l3/l4解决方案，有的公司运行条件比较苛刻，对车辆速度和道路条件的限制很多，用户有可能要在自动驾驶和非自动驾驶之间频繁切换，大大降低了驾乘体验，而我们的方案可运行设计范围更广，更针对地解决了用户的痛点。”徐雷如是说。
集成电路常见的元器件
是雷军的年度演讲比较吸引你，还是小米的新品更为吸引你呢？
Linux下进程通讯之信号量集
iOS10.2越狱为何迟迟不来？苹果又是为何要发布iOS10.3
皮肤电活动测量系统的设计、开发与评估
纽劢科技以基于深度学习的多传感融合方案打造量产级自动驾驶
手机如何才能远程控制电脑
云呼叫中心系统：开启客服新时代
机械硬盘变身“固态硬盘”靠谱吗？内存够用吗？
铝和金属芯PCB的重要性
小布助手，身入大千世界
医疗行业新型诊断硬件开发商Exo在新一轮融资中筹集4000万美元
音频均衡器电路的工作原理解析
基于一种具有极低脱落电压LDO的白光LED恒流驱动芯片设计
小米Mi A2 Lite现已进入常规软件更新的最后一年
Linux中的管道和命名管道介绍
Lime Microsystems射频收发器芯片已被GWT通
通过NVIDIA ISAAC ROS传输改善ROS 2感知性能
运动编程示例：重复运动的循环功能
NVIDIA DRIVE Sim仿真平台中的神经重建引擎功能
纽劢科技自动驾驶试验车
自动驾驶汽车的发展正成为社会各界关注的热点，国内外已有越多越多城市（或州）允许车辆进行道路测试。加利福尼亚州作为美国仅有的几个允许自动驾驶汽车路测的州之一，在技术和人才方面拥有丰富的资源，再加上该州对自动驾驶开放的态度，吸引了众多车企及科技公司前往加州申请自动驾驶测试牌照。
据官方数据统计，截至2018年8月29日，加州dmv已向59个实体颁发了自动驾驶汽车路测许可证（带驾驶员），其中包括以下：
在这59家获得加州牌照的公司里，有我们耳熟能详的车企（大众、宝马、福特等），也有一些围绕自动驾驶技术发展起来的科技公司（特斯拉、景驰、pony.ai、nuro等）。其中有一家神秘的创业公司——纽劢科技（nullmax），是最早一批拿到加州牌照公司之一。
2016年底，纽劢科技创立于美国硅谷，总部位于上海，应用计算机视觉、深度学习和人工智能等技术，致力于打造低成本、可靠、可量产的l3/l4级自动驾驶解决方案。公司ceo徐雷是美国纽约州立大学计算机博士、前特斯拉（tesla）计算机视觉高级工程师，负责深度学习框架的搭建，算是特斯拉autopilot团队的核心成员，同时也是特斯拉第一代tesla vison团队的重要成员，参与了特斯拉自动驾驶从无到有的研发和落地。他与前tesla（特斯拉）高级供应链质量和产品经理宋新雨有着相同的情怀，希望将世界领先的技术和经验带回中国，带着硅谷精神一起创办了纽劢科技。徐雷表示：“在特斯拉的工作经历让我对自动驾驶领域创业有了自己的理解，nullmax的一切研发都是以技术落地为目标来进行的，整套系统一切符合车规级标准并且可量产。”
以视觉为主的多传感融合方案，出于蓝而胜于蓝
纽劢科技部分传感器阵列
纽劢科技与特斯拉都在致力于打造低成本可量产的自动驾驶解决方案，与坚持 “无人车应该丢掉激光雷达这个拐杖” 的马斯克不同的是，nullmax采用以视觉为主的多传感融合方案，除了摄像头外，还会根据具体情况使用激光雷达、毫米波雷达、超声波雷达、gps/imu传感器。不同场景要求的自动驾驶汽车，设计运行范围（odd）也不同，nullmax会根据具体应用环境对方案进行定制和调整，以传感器部分为例：会根据实际情况配备不同类型和数量的传感器，并调整传感器的装配位置。比如低速l4，一般会采用低线激光雷达+摄像头；高速l4（robotaxi），一般会采用多线激光雷达+摄像头；而l3则可以不依赖激光雷达来实现。
nullmax以视觉为主、基于深度学习的多传感融合方案，可以实现高准确率（远高于常规方案）的目标识别、跟踪，应用于全天候、不同天气状况的场景，融合构建世界模型、轻地图。该融合方案主要有三层融合体系：１）同一传感器不同算法的融合，比如针对可行驶区域，摄像头不止用一种方法确保行驶区域安全；２）不同传感器之间检测结果的融合，比如摄像头和毫米波的目标融合；３）世界模型层面的融合，包括静态障碍物，动态障碍物，和动态障碍物的行为预测，通过融合障碍物、可行驶区域、其他车辆轨迹做出合理决策。三层融合体系下，自动驾驶系统在感知过程中具有很高的准确性和很快的感知速度。
中国的交通习惯与美国不同，国内城市快速路和城市主干道的使用频率大于高速公路。相应的，城市工况的复杂性和多变性带来的挑战也远远大于结构化的高速公路。另外，近距离的cut in（车辆并入）在中国非常普遍，nullmax会根据中国特色的驾驶环境和驾驶员行为等情况对方案进行定制和调整，产品会更偏向于中国本土化。
图像isp技术解决自动驾驶汽车识别难题
目前，视觉传感器容易出现过曝和欠曝等问题，在夜晚弱光、雨雪天气等状况下自动驾驶汽车往往会出现错误识别，比如之前特斯拉的事故就是因为视觉系统将白色的车身与天空的颜色混淆。nullmax是如何应对这些视觉识别边缘难题的？
据ceo徐雷博士介绍，“公司采用多摄像头方案，达到车身周围360度中远距离覆盖。另外我们会对摄像头进行优化，提升弱光等情况下的性能表现。然后基于这些传感器数据，我们来实现目标识别、目标融合、跟踪预测、构建世界模型。我们的图像isp技术主要是高动态范围图像处理，配合摄像头参数调优，解决一般摄像头方案中依赖光线、雨雪天气或者夜晚弱光情况下性能差的问题，以应对复杂情况。”
光线的差异会带来图像本质上的变化，最直接的影响就是会损失掉很多重要信息，比如会造成发黑、过曝、完全没有信息、颜色的灰度不对、颜色偏差以及边缘会失真、不清楚等一系列问题，反映在后端的视觉识别算法时看到的都是跟训练模型不一样的效果，出现信息量太少或者没法检测、没法分析等，尤其是在自动驾驶，不可避免地碰到各种各样的复杂光线的环境。隧道、迎面远光灯、夜间红路灯等场景下，会产生弱光、逆光、背光等情况，视觉方案的自动驾驶一定要解决全天候的被动光学成像，也就是在各种光线环境下都能够看得很清楚。应用于自动驾驶汽车上的图像isp技术，并不是单纯的3a、自动曝光以及自动白平衡，它包含了图像算法、信号处理算法、cmos控制器以及接口等，通过isp技术实现了高动态范围图像处理。
nullmax一方面通过前期的场景数据积累，为基于深度学习的计算机视觉提供了充足的训练数据；另一方面，拥有一套完整的数据采集、标定、清洗的流程和能力，保证模型高效快速迭代。同时，由于视觉为主、基于深度学习的感知方案，对摄像头的要求比较高，所以公司在摄像头等硬件上进行了设计优化和参数调整，进一步提升了视觉感知效果。
车规级标准打通落地量产之路
近两年的自动驾驶行业异常热闹，有种“乱花渐欲迷人眼”的味道，不同公司发展策略也不尽相同，但是本质上都面临着落地的挑战。作为最早一批拿到美国加州路测牌照的科技公司之一，nullmax显得低调而务实。他们目前规划了两条自动驾驶的落地路线：为传统车企转型赋能，为智慧城市赋能。2018年1月，纽劢公司签订第一笔l4级别自动驾驶订单，正式开启了为机场、政府等低速场景开发定制化的l4自动驾驶技术的序幕,将整套自动驾驶解决方案开始运用到商业中。
“自动驾驶到后期会形成一个大的生态圈，不同的企业专注不同的部分，侧重应用不同的场景，解决不同的需求，基于不同的技术路线来实现。我们自己会更加专注，去解决我们认为最重要的问题。同样是l3/l4解决方案，有的公司运行条件比较苛刻，对车辆速度和道路条件的限制很多，用户有可能要在自动驾驶和非自动驾驶之间频繁切换，大大降低了驾乘体验，而我们的方案可运行设计范围更广，更针对地解决了用户的痛点。”徐雷如是说。
集成电路常见的元器件
是雷军的年度演讲比较吸引你，还是小米的新品更为吸引你呢？
Linux下进程通讯之信号量集
iOS10.2越狱为何迟迟不来？苹果又是为何要发布iOS10.3
皮肤电活动测量系统的设计、开发与评估
纽劢科技以基于深度学习的多传感融合方案打造量产级自动驾驶
手机如何才能远程控制电脑
云呼叫中心系统：开启客服新时代
机械硬盘变身“固态硬盘”靠谱吗？内存够用吗？
铝和金属芯PCB的重要性
小布助手，身入大千世界
医疗行业新型诊断硬件开发商Exo在新一轮融资中筹集4000万美元
音频均衡器电路的工作原理解析
基于一种具有极低脱落电压LDO的白光LED恒流驱动芯片设计
小米Mi A2 Lite现已进入常规软件更新的最后一年
Linux中的管道和命名管道介绍
Lime Microsystems射频收发器芯片已被GWT通
通过NVIDIA ISAAC ROS传输改善ROS 2感知性能
运动编程示例：重复运动的循环功能
NVIDIA DRIVE Sim仿真平台中的神经重建引擎功能