首页 > 科技周边 > 人工智能 > 苹果引领AR革命?Unity技术开放日x Rokid,畅谈下一代人机交互新路线

苹果引领AR革命?Unity技术开放日x Rokid,畅谈下一代人机交互新路线

PHPz
发布: 2023-06-10 14:19:56
转载
1288 人浏览过

AR发展的里程碑被刻上了一场因苹果而引发的空间计算时代革命。由Vision Pro打造的沉浸式空间,正在为用户带来全新的人机交互体验,比如:突破传统显示屏的限制,用户浏览 app 时,只要轻松地看着它们、捏合手指来选择,即可在空中任意拖拉点击。

事实上,这也是Rokid一直探索的方向——将人、现实世界与虚拟世界的融合,更自然真实地结合在一起。

在今年3月的Rokid Open Day上,Rokid发布了全新一代自研AR空间操作系统——YodaOS-Master:基于Rokid Max Pro眼镜,张开手掌,菜单立马浮现在眼前。点击图标,便可进入应用,享受灵动随心的空间多屏互动体验。其中,业内首创基于单摄像头即可实现SLAM及3D裸手交互等能力,这一全新的技术路线,发布即引发行业的关注与热议。

苹果引领AR革命?Unity技术开放日x Rokid,畅谈下一代人机交互新路线

今天,中国开发者最重要的年度盛典之一“2023年Unity技术开放日”首站在北京隆重举行,Rokid出席本次活动。会上Rokid系统研发总工程师石文峰带来了主题为《Rokid YodaOS-Master系统介绍及应用开发与落地》的演讲,分享了这一备受关注的技术路线,以及Rokid最新的技术发展,与现场开发者们进行了深入的交流与探讨。

Rokid全新一代自研空间AR系统

业内首创单摄SLAM技术

在今天的游戏论坛上,Rokid系统研发总工程师石文峰,结合多年丰富的AR行业技术研发经验,向现场开发者们介绍了备受关注的YodaOS-Master系统,以及Rokid背后的技术思考。

围绕感知、理解、交互、展现、协同和数字创作五个方面,YodaOS-Master从芯片优化、硬件设计、软件架构、AR算法还有创作工具等诸多方面都做了巨大升级,或是目前最为完整的一套面向AR时代的空间操作系统。

苹果引领AR革命?Unity技术开放日x Rokid,畅谈下一代人机交互新路线

基于Rokid Max Pro眼镜,首创基于单摄像头即可实现SLAM、3D裸手交互、第一视角分享、视觉定位VPS等能力,可以支持多任务运行、空间创作等AR体验,给更轻量化、普惠的AR眼镜带来无限可能。

在YodaOS操作系统诞生之初,Rokid就秉持着一个观点,通过YodaOS操作系统赋能开发者,释放想像力,创造价值。

石文峰表示,“YodaOS-Master操作系统通过模块化的方式,将Rokid语音识别、手势识别、SLAM等在内的多项核心技术进行‘打包’处理,形成SDK供开发者高效开发,比如SDK for Unity,可以让Unity开发者能够快速使用Rokid核心技术进行开发。”

苹果引领AR革命?Unity技术开放日x Rokid,畅谈下一代人机交互新路线

Rokid一直致力于更自然的AR交互体验。相比于传统的2D手势识别,3D手势识别更具有挑战性。文峰老师聚焦于Rokid目前使用的单目3D手势识别技术,这是基于YodaOS-Master底层系统能力实现的。

基于深度学习算法和大量实验数据,Rokid自研的单目3D手势算法能在移动端实时重建手部姿态参数,包括手部6DoF、手部关节点26DoF,以及Hand Mesh信息,为AR的手势交互提供良好的算法基础。

目前,Rokid的手势识别在3D空间中可实现多种操作,包括点、捏、抓、握、拖、拉等等,完全可以满足AR交互应用需求。以Rokid Max Pro为例,只需戴上头戴式设备并伸出手,便可在手掌前方呼出菜单。

苹果引领AR革命?Unity技术开放日x Rokid,畅谈下一代人机交互新路线

值得一提的是,Rokid软硬件于一体的AR空间体验已在全国多个场景落地,包括全国首个基于AR眼镜的元宇宙街区项目——杭州文三元宇宙AR数字生活街区、全国文旅行业内首个基于单目视觉SLAM的AR眼镜导览方案——敦煌AR智能导,以及钉钉携手Rokid所打造的全国首个企业AR数字展厅等等。

若琪数字人+AIGC

多模态交互体验全新升级

随着AI时代的加速发展,人机交互方式的发展趋势为多模态交互。未来人们对更深层次需求的满足,需要不仅仅局限于单一的键盘交互、触摸交互、语音交互等方式。

试想,如果你想要边听音乐边办公的话,需要先通过语音或触摸交互的方式唤醒音响,再通过键盘交互的方式打开办公软件。如果你有一个数字化的人工助手,一切事情都会变得简单起来,只需要下达一条指令,就可以同时完成这两项任务。

苹果引领AR革命?Unity技术开放日x Rokid,畅谈下一代人机交互新路线

这也是Rokid做AI数字人的原因之一。石文峰表示,AI数字人技术可以串连系统所有的能力,包括语音助手AI数字人、SLAM、3D手势、6DOF空间音频等Rokid核心技术,从而为用户带来更丰富的人机交互体验。

目前,Rokid所打造的“若琪”数字人已经全面接入AIGC,用户可以随时唤起“若琪”,和这位虚拟助手探讨任何有趣的话题。

石文峰介绍,这背后采用的是AIGC多模态数字智能驱动的模式,通过ASR、NLP、TTS等自研算法技术,驱动“若琪”产生准确的面部表情、语音表达、肢体动作,并且表现得更真实、自然、流畅。

Rokid全方位赋能开发者

共同迎接下一个人机互交时代

未来随着AR、MR等技术的日趋成熟,在观影、游戏、办公、教育等多种场景中会拓宽无限的创新空间。多重生态内容的重新构建,亟待开发者们带来更多突破与创新。

Unity技术开放日是中国开发者最重要的年度互动盛典之一,通过每年的若干场线下巡回活动,为创作者群体搭建技术交流平台,传达技术演进路径,营建多元活跃的开发者社区氛围,同时聆听来自开发者的声音,赋能实时3D技术的内容创新与应用延展。

苹果引领AR革命?Unity技术开放日x Rokid,畅谈下一代人机交互新路线

Rokid作为AR行业领军企业,参与共促行业繁荣。当天的活动中,Rokid除了带去最新的技术分享演讲,还在现场设置展台区,带来了包括Rokid最新AR产品与生态建设场景,供现场开发者们体验,帮助他们更直观地了解Rokid的最新技术与生态。

近年来,Rokid始终致力于赋能更多的开发者,打造了专门的AR开放平台(ar.rokid.com),推出了“若琪空间站”开发者助力计划,举办全球范围的AR应用开发大赛等,激励开发者共同参与生态共建,促进AR生态繁荣。

苹果引领AR革命?Unity技术开放日x Rokid,畅谈下一代人机交互新路线

文峰介绍,Rokid为开发者们量身打造的“若琪空间站”开发者助力计划,在硬件设备、算法能力、开发支持、市场推广等方面全方位支持开发者。同时,Rokid联合多个行业头部企业与VC成立10亿人民币规模的生态智投联盟,对优秀的开发者直接进行投资。

苹果引领AR革命?Unity技术开放日x Rokid,畅谈下一代人机交互新路线

Rokid not only provided strong support to developers, but also successfully hosted the first Global AR Application Development Competition and awarded 11 significant prizes to global developers.。Rokid在今年5月正式发起首届高校XR内容创作大赛,以此激发全国高校的创新力量。

未来,Rokid愿携手更多合作伙伴,一起加入AR生态构建中,打造开放共赢的生态体系,持续为行业赋能,推动AR行业加快发展,共同迎接下一个人机交互时代。

以上是苹果引领AR革命?Unity技术开放日x Rokid,畅谈下一代人机交互新路线的详细内容。更多信息请关注PHP中文网其他相关文章!

来源:sohu.com
本站声明
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn
热门教程
更多>
最新下载
更多>
网站特效
网站源码
网站素材
前端模板