基于机器学习的跟踪算法的自动机器人提高手术精度

在医学上,机器人在没有外科医生手的指导下进行了腹腔镜手术。最近发表在 science robotics 上的 研究 概述了智能组织自主机器人( star )增强版的设计,该机器人在猪的软组织上完成了具有挑战性的任务。这项成就标志着全自动机器人手术的一个里程碑。
“我们的发现表明,我们可以自动化手术中最复杂、最微妙的任务之一:重新连接肠的两端。这颗星星在四只动物身上进行了这一手术,其结果明显优于人类进行同样的手术,” axel krieger ,约翰·霍普金斯大学惠汀工程学院机械工程高级作者兼助理教授在一份 发布 报告中说。
在腹腔镜手术中,外科医生使用小切口和摄像头在腹部或骨盆进行手术。连接两个管状结构(如血管或肠道)的吻合术通常在腹腔镜下进行。尽管该手术具有微创性,但如果因缝合有缺陷而发生任何渗漏,该手术可能会给患者带来严重并发症。
自动机器人手术有可能提高医疗效率、安全性和可靠性。然而,根据这项研究,当涉及到复杂的成像、组织追踪和手术计划时,自主吻合带来了挑战。如果手术中出现问题,这些程序通常也需要快速适应。
目前的 star 模型改进了 2016 年的一次迭代,能够缝合猪的肠道,但它需要人工干预,并创建了一个更大的切口。
凭借先进的机器人精度和缝合工具,以及 3d 成像系统和基于机器学习的跟踪算法,最新的 star 可以实时调整其手术计划。
研究人员在研究中写道:“我们开发了机器学习、计算机视觉和先进的控制技术,以跟踪患者呼吸时目标组织的运动,检测不同缝合步骤之间的组织变形,并在运动约束下操作机器人。”。
基于卷积神经网络( cnns )的机器学习算法可以预测组织运动并指导缝合计划。研究人员使用 9294 例吻合术中的运动曲线对 cnn 进行训练,以根据手术期间的呼吸模式和其他组织运动来学习组织运动。
当组织静止时,机器人与摄像头同步扫描并创建缝合计划。利用增强的计算机视觉和基于 cnn 的地标检测算法, star 生成两个初始缝合计划,以连接相邻组织。一旦操作员选择了一个计划,机器人就会将缝合线应用到组织上,并对该区域进行重新成像,以便组织变形。
如果与手术计划相比,组织位置的变化大于 3mm ,它会通知操作员启动新的缝合计划和批准步骤。这一过程在每一次缝合中都会重复。
根据 krieger 的说法, nvidia geforce gtx gpu 用于训练和运行 cnn ,包括四个卷积、三个密集层和两个跟踪组织运动的输出。使用 nvidia t4 gpu 对采用级联 u-net 架构的地标检测算法进行培训和测试。
看看智能组织自主机器人的研究人员如何在四头猪身上进行一项具有挑战性的手术,并且比人类做得“明显更好”。
研究人员检查了吻合术的质量,包括针位校正、缝线间距、缝线咬合的大小、完成时间、管腔通畅度和泄漏压力。他们发现,这颗自主的恒星在一致性和准确性方面都优于专家外科医生和机器人辅助手术。
krieger 说:“ star 的独特之处在于,它是第一个在软组织中规划、调整和执行手术计划的机器人系统,只需极少的人工干预。”。
关于作者
michelle horton 是 nvidia 的高级开发人员通信经理,拥有通信经理和科学作家的背景。她在 nvidia 为开发者博客撰文,重点介绍了开发者使用 nvidia 技术的多种方式。


纳米软件分享|电动车中的电池检测及检测项目介绍
芯华章战略投资海外汽车电子解决方案企业,强化车规级验证解决方案能力
数千万网友聚PPS网络电视平台上看跨年演唱会
中国安卓统一推送联盟新进展_首批App抢先看
我国自主研制的天通卫星移动通信系统已正式商用
基于机器学习的跟踪算法的自动机器人提高手术精度
变电所的双母线接线方法
可穿戴智能产品兴起消费热 对接寻常消费启动市场蓝海
存储器芯片市场出现美日韩的垄断之势 紫光国际“搅局”破势而出
美军“X射线”炸弹,可直接摧毁化武
如何使用OpticStudio进行相干模拟呢?
三星Galaxy S21系列旗舰配置曝光,欲在明年1月初发布
基于SOPC的医用呼吸机主控系统设计
TCL华星向绿而生,持续构建绿色可持续产业生态
储能锂电池组的规格根据什么来配置?
金属粉尘、酸雾、温度影响较大的环境如何选择静止无功器SVG和有源滤波器APF
Deezer研究人员成功开发出能识别歌曲中情绪的人工智能
如何通过PIC32以太网模块与CAN总线实现远程监测与控制?
OPPOR11评测直播多次被封,难道真是“假”双摄?oppor11内部做工如何?oppor11拆机图解教程
STM32入门学习笔记之USB读卡器实验3