基于人工智能的多模态机器人传感系统

开发具备模仿和超越人类传感能力的自主决策机器人系统,对于农业、环境和安全监测至关重要。尤其是针对一些危险环境的现场检测,需要借助具备多模态传感功能的机器人系统,以防止对人类健康和安全造成威胁。电子皮肤由于其高灵活性和适应性,被视作理想的人机界面,广泛用于多模态机器人传感系统中。
据麦姆斯咨询报道,加州理工学院(california institute of technology)一支研究团队开发出一款人工智能(ai)驱动的多模态机器人传感系统(m-bot),该系统基于柔性电子皮肤人机界面(hmi),能够对温度、触觉压力和各种危险化学品进行快速、超灵敏现场分析。该研究有望提高智能机器人的感知能力,并为众多新的实用可穿戴和机器人应用铺平道路。相关研究成果已发表于science robotics期刊。
m-bot由两个全喷墨打印的柔性电子皮肤贴片组成,即e-skin-r(与机器人连接)和e-skin-h(与人体皮肤连接),e-skin-r由高性能多模态物理化学传感器阵列组成,可以安装在机器人手掌和手指上,e-skin-h由四个表面肌电信号(semg)电极阵列(通道)以及一对电刺激电极组成。在ai、多模态物理化学传感和电刺激反馈控制作用下,e-skin-r和e-skin-h形成了一个闭环的人机交互机器人传感系统。
e-skin-r:全喷墨打印的多模态传感器阵列
e-skin-h:用于ai辅助人机交互
通过精准控制,m-bot可实现高灵敏的人机互动。其多模态传感器数据可以通过一个便携式多通道恒电位仪实时采集,并无线传输显示在手机应用程序上。m-bot还能够进行物体抓取、多点触觉和化学感应,多重物理化学数据可被同时记录并自动处理,且无信号干扰。研究人员指出,通过进一步增加多模态传感器阵列的数量和密度,将可以从任意物体和表面获得更准确、更翔实的数据。
基于m-bot的人机交传感实验
m-bot还可以进一步推广到用于跟踪污染物、爆炸物、化学威胁和生物危害等风险预警的机器人系统,并为用户提供互动触觉和威胁警报反馈。研究人员开展了相关实验,将e-skin-r应用于多模态传感机器人船(m-boat),其感器阵列包含一个温度传感器、三个化学传感器、两个电动机(用于船推进和转向)和一个印刷电路板(pcb),用于数据收集、信号处理和电机控制,能够在海水中进行连续的危害分析和自主泄漏跟踪。研究人员指出,必要时,还可将更多生物传感器(如ph和电导率传感器)集成在e-skin-r中,并引入更多用于精确分析的实时校准机制。未来,m-boat系统还有望应用于自动驾驶领域,为汽车智能路径规划和决策提供解决方案。
e-skin-r技术可应用于多模态传感机器人船(m-boat)
m-bot为机器人自主决策提供了更深层次的交互认知能力,并极大拓宽了机器人可执行的任务范围。该技术策略将在设计更先进的智能机器人系统中发挥重要作用。
论文信息:https://doi.org/10.1126/scirobotics.abn0495


打造语音交互体验所面对的问题和挑战
氮化镓与硅相比有何优势?
GD32开发实战指南(基础篇) 第21章 I2C
北斗卫星导航系统与无人机结合在农业领域的应用分析
数码录音笔随机内存
基于人工智能的多模态机器人传感系统
电力电容器电压等级选择
玻璃釉电容器的结构与特点
一种改进的无线传感器网络非测距定位算法
探析工业APP诸多要素的关系与内涵
颈部按摩仪语音提示ic,挡位真人语音播报提示IC芯片,唯创WT588F
安装油烟监测仪解决餐饮业油烟排放实时检测
TXGA混合型D-sub连接器,为超高速轨道列车实现稳定的高质量信号传输
首款消费者版本VR手套即将面世 在VR里随你摸
5G对消费者意味着什么?中国5G通信技术发展阶段总览
电气守护者:揭秘TVS二极管的神奇力量
未来的区块链技术会对电商有怎样的影响
OTFDEC硬件模块基于STM32H735G-DK板的验证研发
OneMO模组说:Cat.1行业市场大有可为!
一位野生程序员的真实经历