机器人系统为行动不便的人提供食物

康奈尔大学的研究人员开发了一种机器人喂养系统，该系统使用计算机视觉、机器学习和多模态传感来安全地喂养行动不便的人，包括脊髓损伤、脑瘫和多发性硬化症患者。

“用机器人喂养行动不便的人很困难，因为许多人不能向前倾，需要将食物直接放在嘴里，”康奈尔大学计算机科学助理教授Tapomayukh “Tapo” Bhattacharjee说。“当为患有其他复杂疾病的人提供食物时，挑战会加剧。”

3月11日至14日，在科罗拉多州博尔德举行的人机交互会议上，发表了一篇关于该系统的论文，“Feel the Bite： Robot-Assisted Inside-Mouth Bite Transfer using Robust Mouth Perception and Physical Interaction-Aware Control”。它获得了最佳论文荣誉奖，而研究团队更广泛的机器人喂料系统的演示获得了最佳演示奖。

作为辅助机器人的领导者，Bhattacharjee和他的EmPRISE实验室花了数年时间向机器传授我们人类养活自己的复杂过程。教一台机器是一项复杂的挑战——从识别盘子里的食物，拿起它们，然后将其转移到护理接受者的嘴里。

“从器皿到口腔内部的最后 5 厘米极具挑战性，”Bhattacharjee 说。

Bhattacharjee说，一些护理接受者的嘴巴张口可能非常有限，尺寸不到2厘米，而另一些人则会经历不自主的肌肉痉挛，即使器皿在嘴里，也可能意外发生。此外，有些人只能在嘴里的特定位置咬食物，他们用舌头推动器皿来表明这一点，他说。

“目前的技术只看一个人的脸一次，并假设他们会保持静止，但情况往往并非如此，而且对护理接受者来说可能非常有限，”该论文的主要作者、计算机科学领域的博士生Rajat Kumar Jenamani说。

为了应对这些挑战，研究人员开发并配备了他们的机器人的两个基本功能：根据用户的动作进行调整的实时口腔跟踪，以及使机器人能够在发生物理交互时检测其性质并做出适当反应的动态响应机制。研究人员说，这使得系统能够区分突然痉挛、故意咬伤和用户试图操纵口腔内的器皿。

在一项跨越三个地点的用户研究中，机器人系统成功地为13名患有不同疾病的人提供了食物：康奈尔大学伊萨卡校区的EmPRISE实验室，纽约市的医疗中心和康涅狄格州的护理接受者之家。研究人员说，机器人的用户发现它既安全又舒适。

“这是对任何自主机器人辅助喂养系统与最终用户最广泛的实际评估之一，”Bhattacharjee说。

该团队的机器人是一个多关节手臂，末端有一个定制的器皿，可以感知施加在其上的力。口腔跟踪方法 – 在数千张图像上训练，这些图像具有不同的参与者的头部姿势和面部表情 – 结合了来自器皿上方和下方的两个摄像头的数据。研究人员说，这可以精确检测口腔，并克服器皿本身造成的任何视觉障碍。Jenamani说，这种物理交互感知响应机制使用视觉和力感来感知用户如何与机器人交互。

“我们使个人能够只用舌头控制一个20磅重的机器人，”他说。

他指出，用户研究是该项目最令人满意的方面，并指出机器人对护理接受者及其护理人员的重大情感影响。在一次会议中，一位患有精神分裂畸形四肢瘫痪（一种罕见的先天缺陷）的女儿的父母目睹了她使用该系统成功喂养自己。

“这是一个真正激动人心的时刻;她的父亲举起帽子庆祝，她的母亲几乎流下了眼泪，“杰纳马尼说。

研究人员表示，虽然需要进一步的工作来探索该系统的长期可用性，但其有希望的结果突出了提高护理接受者独立性和生活质量的潜力。

“这太棒了，”巴塔查吉说，“而且非常非常有成就感。

论文合著者是：Daniel Stabile，M.S. ’23;Ziang Liu，计算机科学领域的博士生;南加州大学的阿布拉尔·安瓦尔（Abrar Anwar）和哥伦比亚大学的凯瑟琳·迪米特罗普卢（Katherine Dimitropoulou）。

这项研究主要由美国国家科学基金会资助。

Louis DiPietro 是康奈尔大学安·鲍尔斯计算与信息科学学院的作家。