新的增强现实系统让智能手机用户可以亲身体验虚拟物体

普罗维登斯，R.I.(布朗大学)——布朗大学的研究人员开发了一种新的软件系统，它能把手机变成增强现实的入口，使用户能够把虚拟的积木、家具和其他物体放到真实世界的背景中，然后用手操纵这些物体，就好像它们真的在那里一样。

开发人员希望这个名为Portal-ble的新系统能够成为艺术家、设计师、游戏开发者和其他人体验增强现实(AR)的工具。该团队将于本月晚些时候在新奥尔良举行的ACM用户界面软件与技术研讨会(UIST 2019)上展示这项工作。Andriod的源代码可以在研究人员的网站上免费下载，iPhone的代码也将很快发布。

“增强现实将成为一种伟大的新型互动模式，”布朗大学计算机科学助理教授黄杰夫(Jeff Huang)说。“我们想制造出一种能让‘增大化现实’变得便携的东西，这样人们就可以在任何地方使用，而不用带笨重的耳机了。”我们还希望人们能够用手以自然的方式与虚拟世界互动。”

黄说，Portal-ble的“亲身体验”互动的想法源于人们对《精灵宝可梦GO》等增强现实应用的失望。AR应用程序使用智能手机将虚拟对象(如口袋妖怪中的角色)放入现实场景，但与这些对象交互需要用户在屏幕上滑动。

“刷屏并不是一种令人满意的互动方式，”黄说。“在现实世界中，我们用手与物体互动。我们转动门把手，捡东西，扔东西。所以我们认为，用手操纵虚拟物体要比用手指滑动强大得多。这就是Portal-ble的不同之处。”

该平台利用一个安装在手机背面的小型红外传感器。该传感器跟踪人们的手在虚拟物体中的位置，使用户能够捡起、翻转、堆叠或丢弃物体。它还可以让人们用手在真实世界的背景上“作画”。作为示范，黄和他的学生们用这个系统在布朗大学希尔校区的一个绿色空间里绘制了一个虚拟花园。

黄说，这项工作的主要技术贡献是开发了合适的调节和反馈工具，使人们能够直观地与虚拟对象交互。

“事实证明，如果你试图应用真实世界的物理，捡起一个虚拟物体是非常困难的，”黄说。“人们试图抓住错误的地方，或者他们把手指插入物体。所以我们必须观察人们是如何试图与这些物体互动的，然后让我们的系统能够适应这些趋势。”

为了做到这一点，黄让他所教的一个班的学生想出他们在AR世界里可能想做的任务——比如堆砌一组积木。然后，学生们要求其他人尝试使用Portal-ble来完成这些任务，同时记录下人们能够做什么和不能做什么。然后他们可以调整系统的物理和用户界面，使交互更加成功。

“这有点像人们在Photoshop中画线条，”黄说。“人们画的线从来都不是完美的，但程序可以把它们弄平，让它们完全笔直。这些都是我们试图通过这些虚拟物品做出的调整。”

该团队还增加了感官反馈——物体和手机振动的视觉亮点——以使交互更容易。黄说，他对手机震动帮助用户进行互动感到有些惊讶。用户通过握着手机的那只手来感受震动，而不是抓着虚拟物体的那只手。不过，黄说，振动反馈仍然有助于用户更成功地与物体进行交互。

在后续研究中，用户报告说，系统使用的调节和反馈使任务明显更容易、更省时、更令人满意。

黄和他的学生计划继续使用Portal-ble——扩展它的对象库，改进交互，开发新的活动。他们还希望简化系统，使其完全在手机上运行。目前，红外传感器需要一个红外传感器和外部计算棒来获得额外的处理能力。

黄希望人们能够下载免费的源代码并自己尝试。

他说:“我们真的只是想把这个公布出来，看看人们会怎么做。”“代码在我们的网站上，供人们下载、编辑和构建。看看人们用它来做什么，这将会很有趣。”

研究论文的合著者有钱静，马家驹，李翔宇，本杰明·阿塔尔，赖浩明，詹姆斯·汤普金和约翰·休斯。这项工作得到了国家科学基金会(IIS-1552663)和皮克斯公司的资助。