8月26日,2023 Rokid Jungle发布会在杭州未来科技城国际会议中心召开。会上,Rokid率先发布了消费级OST(Optical See Through)个人空间计算平台Rokid AR Studio。
Rokid创始人、CEO祝铭明在发布会上表示:“我们希望带给用户体验更极致、更轻便的空间计算产品,让空间计算能更自然地融入日常生活和工作,让Rokid AR Studio成为你的第一台空间计算机。”
76g重量 1个摄像头
以克为单位的技术精进
Rokid AR Studio延续Rokid分体式设计思路,由AR空间计算眼镜Rokid Max Pro和AR空间计算主机 Rokid Station Pro组成。
在硬件设计方面,Rokid Max Pro机身仅重76g。与今年3月发布的Rokid Max相比,Rokid Max Pro仅在双目中间多了一个摄像头,机身重量仅增加1g,却具备了“以手势交互为核心的空间计算能力”,可实现SLAM、微手势交互、第一视角分享、视觉定位VPS能力。带领AR行业进入软件和生态建设的第二阶段。
视觉方面,延续了Rokid Max的惊艳表现。采用全新的BirdBath模组,FOV达到50度,相当于6米外215英寸超高清大屏的效果。同时,Rokid Max Pro搭配索尼半导体科技Micro OLED屏幕,入眼亮度最高可达600nit,屏幕分辨率为1920×1200,最高支持120Hz刷新率,能够给到消费者一流的色彩表现、清晰度和对比度。
拥有如此强大的空间算力,却只有轻便的76g机身,这要归功于强大的空间计算主机Rokid Station Pro。该主机采用高通全新扩展现实平台第一代骁龙XR2+,相较于骁龙XR2平台,可以带来30%的散热性能提升和50%的续航能力提升。
搭载骁龙XR2+、12G RAM + 128G ROM, 支持WIFI6和BT5.1,Station Pro续航能力将是手机方案的2倍以上,同时具有更佳的散热和更高性能,可以达到厘米级6DoF跟踪精度和极低MTP渲染延迟。
微手势 真AR
引领OST方向的AR进化路径
相较之前的AR产品,Rokid AR Studio在人机交互方面具有突破性进展。
从交互方式上来看,不依赖手柄或遥控器,只用眼睛、手势和声音,就能实现实时操控。其中,手势将成为最常用的交互方式:手指一捏,即可进行点击和选中;左右拨动,可对正在浏览的界面或内容进行切换。空间世界,一“触”即发。在特定使用场景下,还能通过抬腕、捏拳、拖拽等进行操控。
从信息呈现来看,展现方式、逻辑和过去大不相同。信息流实现从网页平铺、手机信息流到空间展示的革命:信息显示的物理局限被打破,无论在哪里,每一寸空间都可以成为你的屏幕。Rokid Max Pro同时具有空间多屏与空间巨幕两种展现方式,让信息展现的界面有了无限的伸缩弹性。空间多屏可以同时开启多个窗口,并列排布;显示界面均带有空间定位功能,轻微转头,信息一览无余;行业首创超大巨幕,比例可达32:9,信息呈现不在受限于屏幕尺寸。
此外,不同使用场景下空间交互的体验也会有所不同。目前,AR领域的三大主流场景分别为影音、办公与游戏。
影音场景下,空间声场带来更立体、声动、身临其境般的音效体验,3D影像效果更是让画面精准呈现出栩栩如生的多角度立体效果;办公场景下,脱离物理局限的空间展示,满足差旅、户外、居家、外出等多样使用需求,同时多任务处理与手势灵活切换令工作效率倍增;游戏场景下,沉浸式体验的同时更具挑战性和趣味性。例如在一些游戏中,玩家需要通过手势交互来控制游戏中的角色进行战斗,而在另一些游戏中,玩家需要通过空间定位来躲避障碍物或攻击敌人。
YodaOS-Master操作系统发布
引领行业进入软件和生态建设2.0时代
Rokid Station Pro搭载的全空间化AR操作系统YodaOS-Master,是物理世界和数字世界的连接者:通过摄像头捕捉和基于分区的ATW/PTW 低延迟渲染,单目SLAM可实现厘米级精度,精准感知物理空间;依靠优化算法和XR2+的硬件加速,利用高精度的实时图像传感器对3D手势进行高精准的位置捕捉,同时通过低算法延迟满足手势追踪的实时性要求,完成3D手势交互。
为了实现最好的XR体验,YodaOS-Master从芯片优化、硬件设计、软件架构、AR算法还有创作工具等诸多方面都做了巨大升级,基于单目摄像头的空间算法能力达到了业界领先水平,或是目前最为完整的一套面向空间计算时代的AR空间操作系统。
围绕空间感知、空间理解、空间渲染和空间交互展开设计,YodaOS-Master通过从底层到顶层的系统设计优化,为用户带来前所未有空间体验的同时,也为开发者提供了从硬件、基础层、平台层直至应用层的全链路服务。
Rokid AR开放平台(ar.rokid.com)全新升级为UXR SDK 2.0。
Rokid UXR 2.0 开放SDK,支持0/3/6 DoF空间模式的选择,以及手势、射线、键鼠、语音等多模态交互方式,满足多样化的应用开发需求;算法原子化,让App可以在系统升级中自然获得性能的提升,减少开发者负担;具备系统性能监测工具和调试模式,便于开发者随时了解运行状态;对Rokid跨代设备实现兼容。
UXR SDK 2.0支持Unity等OpenXR标准的主流引擎,以及MRTK接口,开发者可以轻松开发移植。目前,Rokid Station Pro里搭载的AR实验室,大部分作品都是开发者在基于Unity引擎进行创作的。
在Master系统里,Rokid还内置了自研JSAR引擎和小组件容器,JS开发者可以轻松上传自己的组件。JSAR支持多平台,让开发更简单、运行更安全;新增快应用生态类型,不需下载安装,点击即可快速产出很多短小有趣的快应用。
此外,Rokid还设立了AR专项开发者基金、发现、扶持优秀的AR开发团队,邀请开发者加入,打造丰富的AR应用生态。
由庞大生态共同构建的平台才能催生应用的繁荣。依赖Rokid AR Studio,Rokid与开发者将共同参与、共同推动AR行业的创新与发展,让AR改造现实世界,让AR成为人们日常生活的一部分。
携手Unity 3D引擎
共创开放兼容的XR繁荣生态
为了让用户享受空间计算带来的真AR体验,Rokid携手Unity引擎打造了支持6DoF与手势操作的首批生态内容。YodaOS-Master为空间交互而生,与Unity 3D应用天然契合。
作为被最广泛使用的实时3D引擎,Unity集高质量、轻量化与跨平台兼容性于一身,构建了支持各种XR硬件的新XR架构,使得创作者们可以高效地创建高质量的游戏与应用。Unity中国XR产品技术总监李鹏鹏在本次发布会上表示,将与Rokid共创XR繁荣生态。
Rokid Station Pro搭载的首批空间3D生态内容中,移动云VR、指尖战争、上帝之手、飞镖大赛等应用和游戏,即是基于Unity进行开发。例如,咪咕视讯为Rokid打造的移动云VR定制版,为Rokid用户提供欧洲足球五大联赛、CBA、UFC、WTT的全量赛事赛程推荐;飞镖大赛将3D手势交互与重力感应结合,根据专业飞镖比赛机制制定玩法与规则,让体验更沉浸、更真实。
同时,Rokid Station Pro也兼容安卓2D生态。Rokid Station上广受用户欢迎的安卓应用,如爱奇艺、腾讯视频、哔哩哔哩、优酷、芒果TV、影牛牛、随乐游、无影云电脑等都能在Rokid Station Pro进行使用。其中,无影云电脑为适配3D生态特别定制了空间大屏。其他手机、PAD等移动终端的众多2D安卓应用也可在其中使用。
多元化展陈 创新智能看车
空间交互下的生产力变革
人类从器械时代到工业时代再到计算机时代,生产工具的进化让生产力实现了飞跃。作为继个人计算时代与移动计算时代后的下一个发展方向,空间计算打破空间物理限制,带来新的交互方式,必将引起生产工具与生产力的新变革。
目前,Rokid 空间计算已经在展陈、教育教学、文旅、工业、汽车等多个板块得到了广泛应用,和展示的文物进行互动、令抽象的知识跃然眼前,对消失的遗址进行复原,还可以让每个工人都能根据实时且可视化的引导来进行精准的作业,每一个购车用户足不出户在家看车。
数字展陈方面,Rokid 通过YodaOS-Master操作系统和AR创作工具Rokid 灵境,带来了展览形式的巨大变革,例如自然博物馆将消失的物种通过AR进行复原、购物商场把宇宙空间搬进了室内等。
创新多元的表达形式,可以摆脱物理空间的限制降低搭建成本,通过还能数字化升级方案弥补传统展陈方案的不足。今年4月,Rokid就同战略合作伙伴钉钉一同发布了钉钉数字文化墙,通过AR数字展厅的打造降低企业文化墙建设门槛、缩短体验路径。
教育方面,空间计算技术的加入,让教育摆脱空间桎梏,抽象的知识能通过AR技术“真实”地展现在学生眼前,实现教学场景和教学模式的创新。
AR与汽车的结合,已不是新鲜事。在车载场景中,目前70%的新势力汽车品牌都选择Rokid车载娱乐解决方案。而在购车场景中,空间计算能力的加持让智能看车进入空间交互时代。
通过空间交互,可以自动切换车的颜色,车的轮毂;利用3D成像,对车辆进行1:1 AR复刻,全息解剖车辆信息,对于普通消费者很晦涩的专业词汇,能一看就动、一看就懂;更方便的是,Rokid联合正在和更多车企建设车型库,以后可以足不出户在家看车,把4S店搬到每个人的家里。