用于培训焊工的机器学习和扩展现实

自从古埃及人将两块金子锤在一起直到它们融合以来，焊接艺术一直在不断进步。铁器时代的铁匠使用热量来锻造和焊接铁。工业革命初期乙炔的发现为焊接增添了一种多功能的新燃料。19世纪末，两位工程师发明了金属电弧焊，最近，机器人焊接系统的兴起和高强度合金的进步扩大了焊接应用。

尽管技术进步的历史由来已久，但焊接仍然是一项具有挑战性的技能。它需要技术知识和手工灵巧性的结合。鉴于它在制造、建筑、航空航天和汽车等众多行业中的普遍存在，对熟练焊工的需求仍然很旺盛。根据美国焊接协会的数据，美国雇主现在面临 375,000 名焊工的短缺。

在卡内基梅隆大学，研究人员正在通过开发一种培训焊工的新方法来解决这个问题，这种方法再次应用了一种新兴技术。在制造业未来研究所（MFI）（opens in new window）种子资助计划、设计学院助理教授 Dina El-Zanfaly（opens in new window）和建筑学院副教授 Daragh Byrne（opens in new window） 的资助下，与一组研究人员合作开发了一种扩展现实 （XR） 焊接头盔和焊枪系统，以帮助焊工获得掌握具有挑战性的技能所需的具体知识。

“这不仅是一个非常酷的项目，而且还包含了小额信贷机构使命的关键目标，”小额信贷机构执行董事桑德拉·德文森特·沃尔夫（Sandra DeVincent Wolf）说。“这是一项开创性的研究，推动了制造技术的发展，促进了劳动力发展，并吸引了当地社区的合作伙伴。”

扩展现实结合了虚拟现实 （VR），这是一种计算机生成的环境，可以模拟现实或想象的体验;增强现实（AR），将计算机生成的信息与用户的真实环境相结合;以及混合现实 （MR），其中现实世界和数字对象共存并实时交互。这些功能共同创造了一种身临其境的体验，使用户能够与信息、环境和数字内容进行实时交互。

培训焊工需要发展手眼协调能力，并对身体在空间中的位置和运动有敏锐的感知力。这种具体知识是通过与工具和材料的动手互动获得的，在培训场景中可能难以复制。

卡内基梅隆大学的研究人员通过组织一系列共同设计研讨会来更好地了解培训挑战。他们与匹兹堡黑泽尔伍德社区非营利性青年焊接培训项目工业艺术工作室 （IAW）（opens in new window） 的 8 名讲师和 4 名学生合作，开发了一个将焊接头盔和焊枪与 Meta Quest Pro 和机器学习模型集成在一起的系统，该模型以三种关键方式增强了焊接的具身学习。

视觉 XR 导轨和集成运动传感

焊接实践的高度沉浸性和具体化性质使得教师很难直观地监控过程并以及时、安全和可听的方式向学生提供反馈。无论是书面指导还是反馈都无法实时传达细致入微的动手技能。

研究人员克服了这些障碍，用Meta Quest头盔修改了焊接头盔，该头盔显示一系列视觉反馈机制，这些机制在培训课程中指导学生，并提供他们的表现记录，教师可以在课程期间或之后进行评估。

焊接头盔内的两个独立 XR 指示器显示焊接学生应进行的细微更改和调整，以保持连接到 Quest Touch 控制器的焊枪的正确角度。状态图标位于头戴式设备视口顶部附近，允许用户查看反馈，而无需将注意力从活动焊缝上移开。状态图标还可以在观看实时回放时为教师和用户提供更清晰的性能概述。

研究人员利用车间讲师的反馈来确定如何将焊缝的 XR 表示校准到真实工件，以便用户可以使用焊枪设置焊缝的起点和终点，以设置他们需要遵循的滚动指南的位置。

在焊接练习中感应声音提示

卡内基梅隆大学的研究人员从车间讲师那里了解到，经验丰富的焊工能够通过积极倾听来评估焊缝。因此，他们的系统可以使用基于听觉的方法来实时诊断焊缝，而不是在焊缝完成后对其进行目视评估。

“例如，根据讲师的说法，良好的焊接速度应该听起来像咝咝作响的培根，而不是爆米花，”El-Zanfaly解释说。

金属惰性气体焊接涉及将金属丝挤出焊枪的尖端，用惰性气体屏蔽金属丝，并利用焊丝和工件之间短路电流产生的热量将两种金属熔合在一起。该系统的不正确设置会导致焊接质量差。例如，如果焊机的安培数设置得太低，将导致焊道过薄，并导致工作板的熔透不一致。

根据先前的研究和 AIW 讲师的反馈，不同的设置会导致焊接声音的变化，这提供了潜在的重要培训反馈。但是，焊接空间中的极端高温、光线和声音条件，以及笨重的焊接头盔和其他个人防护装备，以抵御高温、火花、紫外线辐射和金属飞溅，限制了焊工感知这种听觉刺激的能力。

通过采用微型机器学习（TinyML）支持的声音检测来识别设置和尖端距离等关键因素，研究人员训练并部署了他们的模型，以提供视觉反馈，以指示声音检测到的错误，例如当枪尖离焊板太远时产生的错误。

研究人员要求有经验的焊工重复执行相同的焊接动作，每次焊接只更改一个设置。他们收集了 20 多分钟的音频数据，这些数据均匀地分布在类别设置中，用于训练和测试 TinyML 分类模型。

TinyML 专注于在资源受限的设备（例如微控制器）上部署和运行机器学习模型，在本例中，微控制器连接到增强头盔以提供反馈。研究人员训练了TinyML模型，以提醒受训者注意常见错误，例如不正确的设置和枪尖距离。

声音还用于检测焊缝的开始和结束。研究人员使用来自五个不同设备的录音收集了19分钟的焊接声音 – 两个微控制器，两个三星智能手机和一个USB麦克风 – 以训练一个可以以97%准确率检测焊接的分类系统。该分类器取代了机电检测与焊枪上物理按钮的相互作用的需要，该按钮用于启动焊接跟踪并使系统更便携。

焊接前冥想

在研讨会期间，研究人员看到，教师鼓励学生在开始焊接之前进行调解和呼吸练习，以此来诱导放松并培养专注感，以抵消焊接环境的影响，焊接环境可能会因巨大的噪音、火花、热量和燃烧的气味而让人不知所措。

为了加强正念练习，研究人员对平台进行了编程，通过鼓励受训者进行呼吸练习来开始每次焊接课程。他们还在焊接头盔内的口鼻附近放置了一个风速计，以测量呼出的呼吸风速并跟踪呼吸模式随时间的变化，以便开发系统提示，帮助焊接学生调节呼吸以提高任务表现。

该系统能够感知运动、检测声音并通过调解和呼吸练习提高用户的注意力，可以帮助学生将他们在虚拟培训中获得的技能转移到实际的焊接实践中。它能够实时提供指导，为学生和教师提供了许多优势，否则他们必须依靠焊接完成后获得的信息来评估性能。除了焊接培训之外，整体方法还可以为 XR 系统中的工艺和技能培训提供信息。

El-Zanfaly 解释说：“我们工作的一个非常令人兴奋的方面是，我们的系统能够使用稍作修改的现成 XR 和焊接设置来实现原位焊接体验。

他们的工作已经获得了认可——在 2023 年计算机协会（opens in new window） （ACM） 交互式表面和空间会议上以及 2024 年 ACM 有形、嵌入和具身交互会议上获奖。

展望未来，该团队计划寻求大量机会来改进工作的技术维度和具体体验。他们计划在 A/B 实验室研究和 IAW 的数周内部署该平台，以评估该设备的长期使用如何有助于技能、习惯和新手体验的形成。