腕带与眼镜联动，AR交互的未来？

近日，Facebook的AR/VR研究部门——Facebook Reality Labs在官网上公布了正在开发的腕带传感器技术。根据官网的视频，佩戴者可以通过手腕上的电运动神经信号，以手指动作控制AR眼镜。Facebook认为，该项腕带传感器技术与AR眼镜联动使用，是AR交互的未来。

近年来，手部追踪类产品被各大VR厂商视为“香饽饽”，谷歌、HTC、苹果、微软等VR/AR厂商扎堆在“手”上做文章。根据Facebook的思路，AR眼镜+手部可穿戴组合蕴含着怎样的AR社交逻辑？能否在不久的将来走向产业化？

“低摩擦输入”是理想的AR交互方案

Facebook Reality Labs（以下简称“FRL”）从6年前成立之初就开始构思理想的AR输入方式——它将不受使用者、场景的限制，具备界面直观、无干扰、全天候、易使用等特点，并支持丰富、高带宽的交互，可用于模拟键盘输入或抓取虚拟图像等。除此之外，AR输入设备还需要舒适的外观设计，适合全天候佩戴，续航足够长。

“我不认为手柄是一种适合AR眼镜的交互方式，手柄会像手机一样干扰使用者的注意力。”Facebook AR团队的负责人Andrew Bosworth说，AR眼镜+AR腕带的组合不会像手机那样把我们的注意力以及视野固定在手边，而是会完全按照我们看到的世界来看。

为了让使用者成为AR体验的中心，在3D空间中更自然交流、导航、学习、分享和互动，FRL决定探索情景感知的AI和超低摩擦的输入方案。AI算法可以深度推算使用者在不同场景中可能需要获得的信息或执行的动作，并为使用者量身打造一系列指令。

“超低摩擦”的输入方式在AR交互中缘何如此重要？FRL认为，“摩擦”是影响用户顺畅完成期望操作的障碍。用户完成期望操作的过程越快越简，摩擦度/摩擦点就越低/越少，因此可以将“超低摩擦输入”理解为“无障碍交互”。此外，通过超低摩擦的输入方式，使用者可以毫不费力的确认AI推断的指令，比如用手指轻点虚拟的按钮。

超低摩擦的输入端缘何设置在腕部？FRL研究科学主管Hrvoje Benko表示，为了满足自然AR交互所需的要求，我们发现最适合的交互形态将是一种穿戴在手腕上的方案。

目前市面上有多种人机交互方式——语音、手柄等，但都无法保证隐私性和可靠性，使用起来也不方便。相比之下，腕带式方案更具优势，因为人们已经习惯于戴手表，日常使用也不奇怪。最重要的是，腕带位于人类最主要的交互工具——手的旁边，它可以更准确预测手的位置，实现手势识别等功能。

除了手势识别外，腕带也可以搭载计算模块、电池、天线、传感器等元件，比如搭载肌电图（EMG）传感器或许可以实现丰富的AR交互效果。据了解，肌电图利用传感器将通过手腕传递到前掌的电机神经信号转换成数字命令，FRL的肌电图腕带的主要功能是识别使用者的手势。与基于光学的手势识别或手势识别手套相比，肌电信号更灵敏，甚至可能在你手指没开始动的时候就能识别到你从大脑发送的意图。甚至，这种交互方式比手机触屏、键鼠还要快速。

也就是说，无论你是走在路上还是坐着，把手放在身前、两侧或是口袋里，都可以通过腕带实现操控。最初，腕带只能通过拇指与食指的捏、放手势，实现简单的单击操作。而后，又添加了更为丰富的控制功能，比如可以触摸和移动虚拟对象。

除此之外，FRL研究团队还在进一步探索，力图开发在桌子或膝上高速打字的功能，甚至实现比使用键盘更快的打字速度。与物理键盘相比，虚拟键盘不仅可以随时使用，而且能够随着时间推移，学习和适应每个人不同的打字风格，并产生适应性的变化，实现更快的打字速度。FRL团队已经在个性化模型方面取得了重要进展，使适应个人风格的键盘模型的训练时间得以减少。

“触觉能够传达不同的感情，这可能是改善虚拟社交沟通的一种新方式。”FRL研究人员表示。FRL团队正在构建研究原型，包括拥有8个气动波纹管的Bellowband，以及使用了6个震动触动器和手腕挤压机制的Tasbi，以进一步探究触觉反馈的类型。

距离产业化还有多久？

要想让科幻大片里的场景走进现实，还需要克服重重技术挑战。Facebook官方介绍中提到，通过肌电图传感器实现腕带和AR眼镜的交互，还需要应用机器学习、触觉技术、人机交互、用户界面设计等复杂的技术，上市时间也尚未公布。

尽管技术难题有待攻克，但对于“手眼配合”的AR/VR交互模式近年来备受AR/VR厂商的追捧。

微软相信——“手”是最好的VR追踪器。微软自2014年开始启动Handpose项目。Handpose通过传感器捕获深度信息，由Handpose软件生成手部的三维点云，再将它们传输到VR模式中的模型手上，以此来追踪人类手部动作轨迹，并用机器学习技术来进行手势识别。

2019年，OculusQuest推出手部追踪功能，使用内置摄像头来识别用户手指及手部运动，用户无需学习控制器就可操作一体式VR头显。

同年，谷歌在CPVR 2019上首次发布了在线即时手部追踪工具，供开发者们研究探索。据称，这种方法可以通过机器实现高保真的手部和手指追踪，仅从一帧图像就可以推断出手部的21个三维“关键点”。谷歌研究工程师Valentin Bazarevsky表示，谷歌未来的研究计划将放在手部追踪方面，探索更强大和更稳定的追踪功能，并希望扩充可以检测到的手势数量。

近日，苹果公司获得了一项专利——采用超声波力检测技术的VR触觉反馈手套。该技术能够检测在用户身体（例如用户的手指/手指）中传播的超声力。这是苹果第一次将超声波力检测与VR手套项目结合使用。

“手部追踪”并不是一项“高大上”的技术，目前的核心技术主要包括3D摄像头捕捉、多摄像头映射感知、遮挡成像学习补足、深度学习成像等等。国内外厂商对该技术较为关注，但限于成本和技术成熟度，高中低多层次手部追踪产品不断推出。赛迪顾问高级分析师袁钰在接受《中国电子报》记者采访时表示。

袁钰指出，一项技术能否推广，要看产品体验、成本等关键因素。目前一些国内厂商的产品扎堆推出手部追踪产品，但同质化现象较为严重，真正突破核心技术瓶颈的不多，产品大多还面临手部追踪识别度精确度不高、成像延迟较为严重（1秒以上）、手部追踪设备佩戴体验不好（体积重量较大）等许多技术痛点。而国外厂商虽然在手部追踪技术上较为领先，但造价太高，应用市场恐难以接受。可以说，手部追踪技术距离真正的产业化，还有3—5年的路要走。