康奈尔大学面向未来交互的智能计算机接口(SciFi)实验室推出了 PoseSonic,这是其在配备声纳的可穿戴设备方面的最新创新。
PoseSonic 采用普通眼镜的形式,但结合了微型声纳技术,能够利用人类不可听的声波和人工智能来对用户的上半身运动进行 3D 追踪。
研究人员认为,随着 PoseSonic 的进一步发展,它未来有望用于增强现实和虚拟现实。
康奈尔大学的 Saif Mahmud 对 PoseSonic 在自然环境中检测精细人类活动的潜在应用表示兴奋。他强调了身体感应技术的作用,如 PoseSonic,在培养对个人行为的正念。
这项研究名为《PoseSonic:3D Upper Body Pose Estimation Through Egocentric Acoustic Sensing on Smartglasses(通过智能眼镜的自中心声学传感进行 3D 上半身姿势估计)》,团队强调了他们研究小组方法的开创性,通过可穿戴设备使用无声声学和人工智能进行身体姿势追踪。
PoseSonic 的设计特点是两对微型麦克风和扬声器,在眼镜铰链安装,扬声器发出的无声声波从上半身反弹并返回到麦克风,形成回声轮廓图像。
设备使用定制的深度学习模型来估计九个身体关节的 3D 位置,包括肩膀、肘部、手腕、臀部和鼻子。团队采用一种跨模态监督策略来训练模型,并使用同步的 RGB 视频帧作为 ground truth。值得注意的是,PoseSonic 可以在不需要初始训练的情况下有效地运行。
团队表示,PoseSonic 代表了一个显著的进步,超越了目前的可穿戴设备,目前的可穿戴设备往往依赖于微型摄像头,构成潜在的不实用性和隐私担忧。
该团队报告说,相关技术以最低的功耗运行,大约是可穿戴摄像头的十分之一,有助于增强 PoseSonic 的紧凑性,适合日常使用。此外,研究人员强调,与可穿戴式摄像头相比,声纳技术减少了人们对隐私的担忧。
总的来说,PoseSonic 将声纳技术和人工智能相结合,为可穿戴设备的发展提供了一个很有前途的方向,为身体姿势跟踪提供了一个更实用、更注重隐私的解决方案。