你能看出他是怎么操作手机导航的吗?两只手都举在空中,他没有说话,也没有用眼睛控制光标。
在手机上打开导航软件、输入目的地名称、选择具体商店的过程(本图为2倍速播放) | X @tomasmas
导航之前,他把一个“触控板”放进了嘴里,之后的滑动和点击都是通过舌头进行的。仔细看上图,可以看到他的嘴有微小动作。
图中的人是开发这款“舌头触控板”的软件工程师Corbin Halliwill | X @tomasmas
像这样把所有操作都藏进嘴里,让使用手机或电脑变得更加隐蔽,也为不方便使用双手操作的人连通了数字世界的新入口。
有些情况下,这是唯一好用的维持“正常生活”的方法。
为什么要用舌头玩手机?
在手机上导航、玩游戏或者聊天的时候,用手指在触控屏上滑动、点击,是我们最适应的操作方法,几乎不学就会用。但有些人用手操作有困难,还有些场景动手控制很不方便。
如果不用手操作,目前常用的替代方法包括用眼睛、嘴唇、头部的运动或者用语音控制设备,但它们都没有触摸屏那么直观,需要学习如何使用,而且各有不足,比如眼睛追踪常不够精确、语音输入会被周围人听到。
当下的前沿技术脑机接口,可以直接从大脑读取部分信息,但距离每个人都能购买和使用还有很远的距离。
于是,硬件初创公司Augmental决定开发一种新的控制方式,让不用手的操作也可以直观、精确、不易疲劳和私密。公司在今年六月推出了世界上第一款不用手的触控板MouthPad,用户可以用舌头和头部运动控制电脑、平板电脑或智能手机,相当于把一块触控屏放在了嘴里。
Augmental公司推出的触控口腔垫MouthPad | Augmental
MouthPad的透明外层保护套是定制的,公司对每个用户进行口腔扫描后进行3D打印,保证保护套能贴合上颚和牙齿。打印完成后,压力感应板和运动传感器等电子元件再被放入保护套。
拿到MouthPad后,用户开启蓝牙就可以把它连接到手机或电脑上,立即开始使用,就像蓝牙鼠标一样。
操作上,在上颚滑动舌头可以控制光标的移动,用舌头压上颚是点击左键,吮吸是点击右键,也可以进行个性化设置,根据个人需求将控制动作改为牙齿咬合或头部运动等。
因为设备厚度只有7毫米,所以佩戴时仍然可以说话。
Augmental首席执行官Tomás Vega演示触控板识别舌头滑动动作 | @augmentaltech
瘫痪7年,能自己熬夜玩游戏让她感觉到了“正常”
这个“舌头触控板”好用吗?已经有一些人体验过并且每天都在使用了,比如12岁就因为卒中四肢瘫痪的基利·霍希(Keely Horch)。之前,她主要依靠下巴操作杆和语音辅助设备操作轮椅和手机,很少使用电脑或上网,因为操作电脑常需要别人的帮助。
现在霍希19岁,在马里兰大学巴尔的摩分校学习数学和计算机工程。在课堂上和图书馆里,她不方便发声说话来打开文件或写下笔记,但有了“舌头触控板”之后,她可以安静地写下数学公式和阅读文章。霍希说:不需要依靠别人后一切都不一样了,现在我也可以熬夜写作业或玩游戏,这给了我“正常”的感觉。
霍希母亲对MouthPad的感受是,它帮助女儿成长,让她变得更加独立和强大了。
可以自己熬夜写作业或玩游戏,给了霍希“正常”的感觉 |@augmentaltech
这,正是Augmental公司首席执行官Tomás Vega对设备的期望。
Vega在5岁时开始口吃,发现键盘鼠标能让他的输出流利起来,于是痴迷于增强人类能力的概念。他大学时就开发了帮助残障人士独立生活的技术,并曾做过马斯克脑机接口公司Neuralink的研发实习生。在那里,Vega看到了脑机接口的潜力,但也预见了它得到完善和普及所需要的漫长时间。他更希望提供可以改善每位残障人士生活的产品,马上就能买到、开箱即用的那种。
随着技术渗入生活,世界从物理世界扩展到数字世界,我们每天在线上学习办公、聊天、购物和点外卖,即使线下买水果或奶茶也扫码付款。这时,让每个人都能“正常”地访问数字世界,变得比以往任何时候都更加重要。
霍希在课堂上通过MouthPad阅读和记笔记 | @augmentaltech
不仅仅为行动困难的人,“舌头触控板”还为双手被占用的情况提供支持。
比如,游戏玩家可以在双手之外增加一种控制维度;手术台上的外科医生不再需要吩咐助手操作,自己就能随意控制设备和查看患者资料,而不会弄脏双手;用舌头操控设备更便利的,还有宇航员和实验室技术人员等等,也许也有因为冬天带着厚手套或剥着虾蟹,没法正常用手机的你。
牙齿验证登陆、监测健康?功能将更多样、更复杂
Mouthpad发布之后,《自然·电子学》(Nature Electronics)在8月28日报道了另一种智能触控口腔垫oPad的研究结果,它由新加坡国立大学与天津大学的研究者联合开发。
oPad也用舌头滑动模仿手指在触摸屏上的滑动,但将点击动作设置为牙齿咬合。输入字符时,使用者可以直接用舌头在触控板上写出字符,或者触控虚拟键盘。研究者设计了50个舌头滑动模式,6个牙齿咬合模式,协同控制产生365个模式。将滑动和点击操作分开并增加模式种类,让使用更加流畅快速。
oPad的结构,其主电路大小为10x14x1.6毫米,一次充电可持续工作20小时,吃东西、喝饮料及说话时都可佩戴| 参考文献[1]
为使输入更精确和省力,研究者使用人工智能进行动作模式分类,并基于50%字符预测后续轨迹。经过训练的系统识别动作模式的准确率达到了98.7%,4名参与者只训练了2~3天,就能将指令的准确率保持在95%以上。
经过短时间适应,参与者尝试用oPad进行了三项日常操作。第一项是玩类似水果忍者的游戏,玩的方式是同时咬左侧牙齿(表示鼠标左键点击)并在期望的方向上滑动舌头。练习约1小时后,参与者就能熟练砍瓜切果了。
用oPad玩类似水果忍者的游戏|参考文献[1]
第二项是通过触控虚拟键盘输入字符,经过每天2~3小时的3天训练,4名参与者均可在人工智能的辅助下连续输入字符3分钟,不需要纠正错误。输入速度达到平均每分钟38~45个字符,平均准确率95%~97%。
用oPad输入字符,|参考文献[1]
第三项是驾驶轮椅,参与者们都能在狭窄空间灵活控制轮椅方向。
用oPad驾驶轮椅|参考文献[1]
不需要长时间的学习和适应,oPad就帮助参与者完成了研究中的日常操作。
接下来,研究者们计划继续优化触控口腔垫,使它能适应更多人、进行更复杂的操作、长时间佩戴更舒适,帮助无法使用双手的人自由地体验这个世界、参与社会活动和与其他人沟通。
或许,未来智能口腔垫还将集成更多功能,比如帮助口腔科医生监测牙齿情况、进行语言治疗、追踪身体健康和锻炼后恢复情况。也许它还可以增加一种生物识别方式,不用刷脸或扫描指纹,我们咬下牙就能安全登录设备或账户了。
触控口腔垫,听起来没有脑机接口技术那么有未来感,也没有鼠标、键盘、语音识别系统使用人数多,目前还有很多可以优化的地方。但是,这样的设备可以真切地帮助到一部分人,立即让TA们的生活变得容易、美好和“正常”一点。
除了提高效率,改善生活质量也是科技创新的意义。
参考文献:
[1]Hou,B.,Yang,D.,Ren,X.et al.A tactile oral pad based on carbon nanotubes for multimodal haptic interaction.Nat Electron(2024).https://doi.org/10.1038/s41928-024-01234-9
[3]https://news.mit.edu/2024/mouth-based-touchpad-augmental-0605