眼镜使用声纳、人工智能来解释 3D 的上半身姿势

纵观历史，声纳独特的“ping”一直被用来绘制海洋地图、发现敌方潜艇和寻找沉船。今天，该技术的变体 – 由康奈尔大学的研究人员开发的微型形式 – 正在证明可穿戴身体传感技术的游戏规则改变者。

PoseSonic 是康奈尔大学未来交互智能计算机接口 （SciFi） 实验室最新推出的配备声纳的可穿戴设备。它由配备微型声纳的现成眼镜组成，可以通过听不见的声波和人工智能 （AI） 的组合以 3D 方式跟踪佩戴者的上半身运动。

研究人员表示，随着进一步的发展，PoseSonic可以增强增强现实和虚拟现实，并跟踪个人健康的详细身体和行为数据。

“PoseSonic让我兴奋的是它有可能用于检测野外的细粒度人类活动，”信息科学领域的博士生赛义夫·马哈茂德（Saif Mahmud）说。“当我们通过像PoseSonic这样的身体感应技术获得大量数据时，它可以帮助我们更加注意自己和我们的行为。

Mahmud 是 10 月 10 日在墨西哥坎昆举行的普适和无处不在的计算 （Ubicomp） 和国际可穿戴计算研讨会 （ISWC） 联合会议上发表的《PoseSonic：通过智能眼镜上的以自我为中心的声学传感进行 3D 上半身姿势估计》一书的主要作者。

“我们是第一个使用听不见的声学和人工智能通过可穿戴设备跟踪身体姿势的研究小组，”资深作者、康奈尔大学安·鲍尔斯计算与信息科学学院信息科学助理教授、科幻实验室主任张成说，“通过将尖端人工智能集成到低功耗、低成本和注重隐私的声学传感系统中， 我们在身体上使用更少的仪器，这更实用，电池性能在日常使用中明显更好。

PoseSonic 有两对微型麦克风和扬声器——每个直径约为铅笔的直径——连接到眼镜的铰链上。扬声器发出听不见的声波，这些声波从上半身反弹并返回麦克风，从而生成回声剖面图像。然后将该图像输入 PoseSonic 的机器学习算法，该算法以近乎完美的精度估计身体姿势。研究人员说，与其他数据驱动的可穿戴姿势跟踪系统不同，PoseSonic在没有与用户进行初始培训的情况下也能很好地运行。

研究人员说，该系统可以估计九个身体关节的身体运动，包括肩膀，肘部，手腕，臀部和鼻子，这对于估计头部位置很有用。

该技术是现有可穿戴设备的重大进步，这些设备通常需要迷你摄像机，而微型摄像机并不总是实用的。研究人员表示，目前带有摄像机的可穿戴设备也需要大量的电池电量，并带来隐私问题。声学传感需要极少的功率，比可穿戴相机低 10 倍。研究人员说，正因为如此，该技术使可穿戴设备更小，更不显眼。

此外，他们补充说，声纳的隐私风险要小得多。

“可穿戴摄像机会给佩戴者附近的任何人带来隐私风险，”马哈茂德说。“我们的解决方案是：让我们在我们周围放置一个听不见的声场，它可以跟踪我们身体的运动，同时尊重他人的隐私。

PoseSonic 是 SciFiLab 的三款配备声纳的可穿戴设备之一，成员们在今年秋天在 Ubicomp/ISWC 上展示了这些设备：

• EchoNose 是一种连接到眼镜上的传感器，可将听不见的声音信号发射到鼻腔和口腔中，以读取嘴巴、呼吸和舌头手势。
• HPSpeech 通过将现成的耳机转变为无声语音阅读器，扩展了 SciFi 实验室对无声语音的研究——想想用嘴说出“音量调高”来调整附近智能手机上的音乐音量。HPSpeech 获得了荣誉奖。

该实验室的第四个Ubicomp / ISWC设备和论文，称为C-Auth，是一种智能眼镜的用户身份验证方法，它使用迷你摄像头读取佩戴者的面部轮廓。

与Mahmud和Zhang一起，PoseSonic的合著者还有：信息科学领域的博士生Ke Li和Ruidong Zhang;胡桂林，24岁;陈昊，24岁;理查德·金（Richard Jin），24岁;弗朗索瓦·吉姆布雷蒂埃（François Guimbretière），康奈尔鲍尔斯独联体大学信息科学教授。

这项研究得到了美国国家科学基金会的支持。

Louis DiPietro 是康奈尔大学安·鲍尔斯计算与信息科学学院的作家。