AI人形机器人研究：与汽车行业联动，主机厂押注人形机器人赛道
佐思汽研发布《2023年人形机器人产业研究报告》。主要从以下几方面进行研究：
ai人形机器人主要构成及应用场景；
ai大模型赋能人形机器人技术路径；
主机厂和其他厂商ai人形机器人产品布局对比；
产品硬件拆解及软件分析；
ai人形机器人的发展趋势等。
与机械臂、agv相比，ai人形机器人应用场景更具通用性
ai人形机器人是指由ai大模型赋能，具有与人类似外观和运动方式的机器人。ai大模型从语音、视觉、决策、控制等多方面与人形机器人结合，使机器人具备理解指令并执行指令的功能。 借助ai大模型赋能，ai人形机器人应用场景更具通用性。 例如，2023年8月，智元机器人推出的远征a1，由百亿级参数的workgpt大模型赋能，拥有理解指令，并对指令进行任务编排和执行闭环能力。预计2024年商用，并率先用于工业制造领域如3c 制造、 汽车制造，随后逐步走向to c应用如家庭场景。 2022年8月，小米推出的cyberone。其搭载自研mi-sense 深度视觉模组+ ai 交互算法，拥有三维空间感知能力，实现身份、手势和表情识别。此外，在情绪感知上，其能识别85 种环境语义和 6 大类 45 种人类情绪。未来将率先用于小米智能制造工厂、同时还支持多种应用场景，如家庭助理、陪伴机器人、教育辅助等。
智元机器人元征a1应用场景示例
ai人形机器人大模型从vlm向vla进化
2023年7月，谷歌deepmind推出了机器人模型robotics transformer 2 (rt-2)，这是一个视觉-语言-动作（vla）模型，实现了视觉语言模型与机器人动作的结合。它能够指导机器人识别视觉和语言，让其理解指令并做出正确的操作。
与视觉语言模型（vlm）相比，vla的主要进化之处在于将机器人动作直接作为模型token输出，省去了vlm模型将输出的指令翻译成动作控制信号的步骤。
rt-2的架构和训练
来源：deepmind
rt-2一方面吸收了vlm语义推理、问题解决、视觉解释能力，另一方面能从真实的机器人动作中实现具身任务推理，且两方面能够相互促进。
训练方式上，rt-2通过将机器人动作拆解为文本token的形式，实现了直接与视觉语言数据混合后输入vlm进行联合微调。
rt-2不仅是对现有vlm模型的简单而有效的修改，还展示了构建通用物理机器人的前景，让机器人可以推理、解决问题和解释信息，以在现实中执行各种任务。
谷歌deepmind rt-2大模型
来源：deepmind
与汽车行业联动，主机厂押注人形机器人赛道
ai人形机器人可与汽车行业联动。如在汽车生产上，用于新能源汽车工厂装配底盘、打螺丝，提升工厂智能化水平，降低人力成本；在汽车销售环节上，用于门店为顾客介绍产品，提升品牌形象。
目前，已有包括特斯拉、小鹏和小米在内的厂商推出了ai人形机器人。此外，比亚迪也于2023年9月入股人形机器人公司上海智元新创技术有限公司，未来智元科技的机器人远征a1可在比亚迪工厂参与外观检测流程、进行装配底盘等汽车装配线上作业。
部分主机厂及其他厂商ai人形机器人产品布局
来源：佐思汽研《2023年人形机器人产业研究报告》
由于人形机器人与汽车之间存在技术同源，主机厂在汽车行业积累的技术经验可直接复用到这一赛道上。 首先在软件方面，主机厂可将车端算法复用至人形机器人上。 例如，特斯拉人形机器人optimus采用与fsd同样的神经网络“占用网络”来对三维环境进行建模。fsd算法在处理传感器数据时，具备对道路、车辆和行人等物体进行识别的能力，可帮助机器人在执行任务时识别和定位物体。此外，optimus的神经网络训练是完全端到端的，可直接从视频输入中获取信息，并输出控制指令。根据2023年9月特斯拉公布的视频，optimus已可仅依赖视觉对物体进行分类，并完成简单的瑜伽动作。 小鹏汽车在车端感知上采用激光雷达、毫米波雷达、摄像头、超声波等多种传感器，及自研的深度学习算法，实现对周围环境的高精度地图构建和实时动态追踪。该技术可使人形机器人具备在复杂道路稳定行走的能力，及对障碍物和危险物的规避和应对能力。 此外，小鹏采用多种模块，如规划、决策、控制、校准等，及自研的强化学习和多智能体协同算法，实现了对车辆运行的安全和保障。该技术可使人形机器人具备在不同场景下自主完成任务的能力，以及与其他机器人或设备协同工作的能力。
小鹏ai人形机器人
来源：小鹏
其次在硬件方面，主机厂可将电动汽车供应链复用到人形机器人上。如共用汽车芯片、电池、摄像头等，并对汽车电机电器、热管理等做适应性更改，以降低机器人制造成本。
例如特斯拉人形机器人的“大脑”搭载d1芯片（同为特斯拉车机的芯片），单芯片算力可达362tflops，为机器人提供算力保障；头部拥有3颗autopilot摄像头（鱼眼摄像头+左右摄像头），分别控制左中右三个方向的画面；电池组借鉴了电子产品与汽车产品的设计，将所有电池的电子设备集中到电池组的单个pcb中，从传感、融合、充电管理汇集到一个系统中。
optimus人形机器人大脑芯片d1架构
来源：特斯拉
逐渐融入人们生活的智能建筑元素分析
亿智电子获认定为国家级专精特新“小巨人”企业
罗技C670i摄像头评测 适用性非常强
无线充电器有时候放上去没反应_无线充电怎么用不了
蓝牙时控开关从根本上解决了“T”接零线还是火线这个问题
AI人形机器人研究：与汽车行业联动，主机厂押注人形机器人赛道
全球新型显示产业的四个发展趋势分析
真猛!山东筹划6座12寸晶圆厂
基于Zynq 7000系列单板的FPGA农业生产识别系统
比亚迪宣布正式进入日本乘用车市场 为日本消费者带来更好服务体验
镭神智能与英博超算达成战略合作 助推高阶自动驾驶应用落地
智慧农业物联网解决方案——远程监控系统+无线传感器
动作传感器成长放缓 MEMS麦克风接棒领涨
基于工业物联网平台的智能电网系统有何功能
iPhone7、vivo X9引领，目前京东上最热门的五款手机
语音识别强势升级，语境预测掀起新浪潮
蒲公英x5企业路由器推出，内置加密芯片为企业数据提供安全性
Molex 2.0mm I/O PCB连接器你了解吗
MWC2018亮点前瞻：类似骁龙845的这些新技术一定要关注
笔记本进水维修处理办法
ai人形机器人主要构成及应用场景；
ai大模型赋能人形机器人技术路径；
主机厂和其他厂商ai人形机器人产品布局对比；
产品硬件拆解及软件分析；
ai人形机器人的发展趋势等。
与机械臂、agv相比，ai人形机器人应用场景更具通用性
ai人形机器人是指由ai大模型赋能，具有与人类似外观和运动方式的机器人。ai大模型从语音、视觉、决策、控制等多方面与人形机器人结合，使机器人具备理解指令并执行指令的功能。 借助ai大模型赋能，ai人形机器人应用场景更具通用性。 例如，2023年8月，智元机器人推出的远征a1，由百亿级参数的workgpt大模型赋能，拥有理解指令，并对指令进行任务编排和执行闭环能力。预计2024年商用，并率先用于工业制造领域如3c 制造、 汽车制造，随后逐步走向to c应用如家庭场景。 2022年8月，小米推出的cyberone。其搭载自研mi-sense 深度视觉模组+ ai 交互算法，拥有三维空间感知能力，实现身份、手势和表情识别。此外，在情绪感知上，其能识别85 种环境语义和 6 大类 45 种人类情绪。未来将率先用于小米智能制造工厂、同时还支持多种应用场景，如家庭助理、陪伴机器人、教育辅助等。
智元机器人元征a1应用场景示例
ai人形机器人大模型从vlm向vla进化
2023年7月，谷歌deepmind推出了机器人模型robotics transformer 2 (rt-2)，这是一个视觉-语言-动作（vla）模型，实现了视觉语言模型与机器人动作的结合。它能够指导机器人识别视觉和语言，让其理解指令并做出正确的操作。
与视觉语言模型（vlm）相比，vla的主要进化之处在于将机器人动作直接作为模型token输出，省去了vlm模型将输出的指令翻译成动作控制信号的步骤。
rt-2的架构和训练
来源：deepmind
rt-2一方面吸收了vlm语义推理、问题解决、视觉解释能力，另一方面能从真实的机器人动作中实现具身任务推理，且两方面能够相互促进。
训练方式上，rt-2通过将机器人动作拆解为文本token的形式，实现了直接与视觉语言数据混合后输入vlm进行联合微调。
rt-2不仅是对现有vlm模型的简单而有效的修改，还展示了构建通用物理机器人的前景，让机器人可以推理、解决问题和解释信息，以在现实中执行各种任务。
谷歌deepmind rt-2大模型
来源：deepmind
与汽车行业联动，主机厂押注人形机器人赛道
ai人形机器人可与汽车行业联动。如在汽车生产上，用于新能源汽车工厂装配底盘、打螺丝，提升工厂智能化水平，降低人力成本；在汽车销售环节上，用于门店为顾客介绍产品，提升品牌形象。
目前，已有包括特斯拉、小鹏和小米在内的厂商推出了ai人形机器人。此外，比亚迪也于2023年9月入股人形机器人公司上海智元新创技术有限公司，未来智元科技的机器人远征a1可在比亚迪工厂参与外观检测流程、进行装配底盘等汽车装配线上作业。
部分主机厂及其他厂商ai人形机器人产品布局
来源：佐思汽研《2023年人形机器人产业研究报告》
由于人形机器人与汽车之间存在技术同源，主机厂在汽车行业积累的技术经验可直接复用到这一赛道上。 首先在软件方面，主机厂可将车端算法复用至人形机器人上。 例如，特斯拉人形机器人optimus采用与fsd同样的神经网络“占用网络”来对三维环境进行建模。fsd算法在处理传感器数据时，具备对道路、车辆和行人等物体进行识别的能力，可帮助机器人在执行任务时识别和定位物体。此外，optimus的神经网络训练是完全端到端的，可直接从视频输入中获取信息，并输出控制指令。根据2023年9月特斯拉公布的视频，optimus已可仅依赖视觉对物体进行分类，并完成简单的瑜伽动作。 小鹏汽车在车端感知上采用激光雷达、毫米波雷达、摄像头、超声波等多种传感器，及自研的深度学习算法，实现对周围环境的高精度地图构建和实时动态追踪。该技术可使人形机器人具备在复杂道路稳定行走的能力，及对障碍物和危险物的规避和应对能力。 此外，小鹏采用多种模块，如规划、决策、控制、校准等，及自研的强化学习和多智能体协同算法，实现了对车辆运行的安全和保障。该技术可使人形机器人具备在不同场景下自主完成任务的能力，以及与其他机器人或设备协同工作的能力。
小鹏ai人形机器人
来源：小鹏
其次在硬件方面，主机厂可将电动汽车供应链复用到人形机器人上。如共用汽车芯片、电池、摄像头等，并对汽车电机电器、热管理等做适应性更改，以降低机器人制造成本。
例如特斯拉人形机器人的“大脑”搭载d1芯片（同为特斯拉车机的芯片），单芯片算力可达362tflops，为机器人提供算力保障；头部拥有3颗autopilot摄像头（鱼眼摄像头+左右摄像头），分别控制左中右三个方向的画面；电池组借鉴了电子产品与汽车产品的设计，将所有电池的电子设备集中到电池组的单个pcb中，从传感、融合、充电管理汇集到一个系统中。
optimus人形机器人大脑芯片d1架构
来源：特斯拉
逐渐融入人们生活的智能建筑元素分析
亿智电子获认定为国家级专精特新“小巨人”企业
罗技C670i摄像头评测 适用性非常强
无线充电器有时候放上去没反应_无线充电怎么用不了
蓝牙时控开关从根本上解决了“T”接零线还是火线这个问题
AI人形机器人研究：与汽车行业联动，主机厂押注人形机器人赛道
全球新型显示产业的四个发展趋势分析
真猛!山东筹划6座12寸晶圆厂
基于Zynq 7000系列单板的FPGA农业生产识别系统
比亚迪宣布正式进入日本乘用车市场 为日本消费者带来更好服务体验
镭神智能与英博超算达成战略合作 助推高阶自动驾驶应用落地
智慧农业物联网解决方案——远程监控系统+无线传感器
动作传感器成长放缓 MEMS麦克风接棒领涨
基于工业物联网平台的智能电网系统有何功能
iPhone7、vivo X9引领，目前京东上最热门的五款手机
语音识别强势升级，语境预测掀起新浪潮
蒲公英x5企业路由器推出，内置加密芯片为企业数据提供安全性
Molex 2.0mm I/O PCB连接器你了解吗
MWC2018亮点前瞻：类似骁龙845的这些新技术一定要关注
笔记本进水维修处理办法