Meta推出演示程序《First Hand》,里面包含多种手势追踪交互场景

《First Hand》是Meta构建的一款演示程序,里面展示了基于手势追踪功能所构建的交互场景。

玩家在软件中需要与虚拟菜单进行交互以打造机器人手套。戴上手套后,玩家可以获得钢铁侠套装或爱莉克斯的重力手套之类的超能力。


(资料图片)

《First Hand》已在App Lab推出,手势追踪功能支持Quest和Quest 2。

部分游戏场景,图源Meta

《First Hand》基于Meta的Presence Platform Interaction SDK所开发,作为一个开源项目,官方表示希望开发人员可以理解里面的交互方式并把该功能带入到他们的游戏或软件中。

Meta指出,该软件开发者的灵感来源于此前Meta为Oculus Rift推出的演示程序《First Contact》。

针对Oculus Quest,Facebook此前还发布了演示程序《First Steps》,它依靠控制手柄向玩家介绍了VR交互的方式。去年,Meta还为Quest 2增加了手势追踪功能。

AR钢琴应用《PianoVision》已上线QuestApp Lab

《PianoVision》现在已上线Quest App Lab,帮助用户在AR中学习钢琴。 这款音乐学习应用利用了Quest的Passthrough AR和手部追踪技术。

图源:PianoVision

用户可以连接自己的MIDI键盘,并通过专用的桌面应用程序上传自定义曲目。可以直接演奏,也可以跟随内置课程和乐谱来进行练习。对于那些没有实体钢琴的用户来说,这样的"空中钢琴"模式可以在现实世界环境中投射出一个虚拟键盘,用户可以用自己的双手与之互动。

用户还可以选择多人游戏,在虚拟音乐厅为其他用户表演,还能在剧院最高楼座里随时坐下来欣赏演出。

下面是由开发商ZarApps提供的可体验功能列表:

看乐谱,学习视唱练耳

多人演奏会

MIDI键盘连接

为没有实体钢琴的人提供空气钢琴

使用桌面应用程序上传自定义曲目

多人音乐教学

VR中的PianoVision音乐厅

指示器,显示用户在选择歌曲时应该用什么手指演奏

内置课程

PianoVision现在可以通过App Lab在Meta Quest头显上免费使用。据开发者介绍,目前正在开发更多的虚拟环境和对原声钢琴支持。

Codemasters畅谈如何将一级方程式赛车带进VR

7月1日,由Codemasters开发、EA发行的“年货”赛车游戏《F1 22》在各大平台发售,其中PC版支持VR,这也是本系列首次对应VR设备。游戏的热度虽高,但是评价却“褒贬不一”,尤其在发售初期,有不少玩家反馈根本无法进入VR模式,目前Steam版本的好评率仅66%。

近日,Codemasters的高级创意总监Lee Mather和高级制作人David Williams接受了外媒的采访,谈到了将《F1》系列游戏带入VR领域的目标,以及所做的努力。

图源:F1官网

以下是本次访谈的重点信息总结:

《F1 22》的VR部分与加拿大的开发商Behavior Interactive共同完成。双方此前曾在《DIRT RALLY》(尘埃拉力)中有过合作,将该赛车游戏系列成功VR化。

在开发的初期阶段,制作组针对VR体验进行了大量的讨论,包括是否采用车后视角,是否要淡化碰撞效果以减轻晕动症等。后来发售的正式版中默认关闭了这些功能,玩家可以在需要时自行开启。

制作组一开始就决定集中精力完善使用手柄和方向盘游玩VR模式的体验,并没有考虑VR设备搭配的体感控制器(因为玩起来的体验会非常不自然)。

VR为《F1 22》带来了紧张刺激和逼真的赛车体验,玩家可以真正沉浸在一级方程式赛车手的身份中,感受赛道的规模以及大量的细节。制作组还在VR模式中尽可能地移除了OSD(浮动屏幕显示元素),以避免影响沉浸感。

制作组一直都知道《F1》和其他赛车游戏与VR非常匹配,它能给玩家带来丰富的新体验。他们对VR技术在未来几年内如何继续发展和演变,以及这将如何影响未来的赛车游戏感到非常兴奋。

葡萄牙站的Portimao赛道已于8月3日以免费更新的方式在《F1 22》中推出,而中国上海站的赛道预定于9月12日更新。

目前《F1 22》没有推出Quest版本或在未来对应PSVR2的计划。

皇家加勒比国际游轮与XR游戏工作室联手推出LBE VR多人冒险游戏《Swashbuckler》

近日,皇家加勒比国际游轮宣布在其海洋奥德赛号上推出LBE多人VR游戏《Swashbuckler》。

图源:Groovejones

《Swahbuckler》是皇家加勒比国际邮轮与XR游戏工作室Groove Jones合作开发的多人VR游戏,该游戏设立在海洋奥赛德号上的虚拟冒险区:Zone Zero区域。

在Zone Zero佩戴好设备的玩家便可以开启一段“冒险旅程”,四名玩家将在12分钟的《Swashbuckler》中夺回被神秘海妖偷走的宝藏。

图源:Groovejones

苹果获冠状模块输入和传感器系统新专利,可应用于未来MR头显和智能眼镜

近日,美国专利商标局正式授予苹果一项专利,该专利与他们的数字冠状模块有关,这可能是苹果未来AR/VR或MR头显的一部分,它也可能最终扩展到智能眼镜和面罩产品中。冠状模块可能能够控制一些独特的功能,如协助用户放大图像、控制音量、显示亮度等。

用户可以佩戴一个头戴式设备,在用户的视野内显示视觉信息。头戴式设备可以作为VR系统、AR系统和/或混MR系统使用。用户可以观察头戴式设备提供的输出,例如显示器上提供的视觉信息。显示器可以选择性地允许用户观察头戴式设备之外的环境。

由头戴式设备提供的其他输出可以包括扬声器输出和/或触觉反馈。用户可以进一步与头戴式设备互动,提供输入以便由头戴式设备的一个或多个组件处理。例如,用户可以在设备安装到用户头上时提供触觉输入、语音命令和其他输入。

设备还能提供一种机制,让用户向头戴式设备提供输入,以促进用户与头戴式设备的互动。进一步可取的是,提供一个向用户提供反馈的机制。这种反馈可以以传递给用户触觉反馈的形式提供。

然而,当触觉反馈应用于安装在用户头上的整体设备时,会令用户感到不愉快。但当用户通过与身体的另一部分(如手指或手)接触输入部件来提供触觉输入时,触觉反馈可以局部应用于用户身体的那一部分,从而使触觉反馈的传递方式对用户来说是有效和令人愉快的。

苹果公司的发明涵盖的系统可以提供一个带有冠状模块的头戴式设备,其输入系统允许用户通过旋转或以其他方式向冠状模块的冠状部分施加扭矩来提供输入。头戴式设备可以将旋转和/或扭矩解释为用户的输入。

冠状模块可以进一步包括一个反馈系统,在冠状模块上提供局部的触觉反馈。该触觉反馈可以有效地被用户在冠部感知,而不会导致整个头戴式设备对用户的头部和/或脸部进行振动。

图源:patentlyapple

苹果公司的专利图1说明了头戴式设备的俯视图,该设备包括苹果公司的数字冠状模块(#200),该模块接收用户的输入并向用户提供反馈;图2说明了带有冠状模块的头戴式设备的顶部剖视图。

苹果公司的专利图5是一个截面图,描述了一个集成电极对。图6是描述一个可穿戴设备的透视图,该设备包括一个具有集成电极对的皮肤电活动传感器。

反馈系统

冠状模块的反馈系统可以根据头戴式设备进行的活动提供触觉反馈。例如,触觉反馈可以对应于由头戴式设备输出给用户的视觉信息。通过进一步的例子,视觉信息可以通过使用或操作冠状模块来修改,并且触觉反馈可以用来指示用户如何与视觉信息互动。

例如,用户可以在两个方向中的一个或两个方向上旋转冠状模块,使头戴式设备执行某些动作。这种旋转可以用来控制扬声器的音量、显示屏的亮度、头戴式设备的视觉输出、光学子组件的光学设置,或控制其他硬件设置。

可以通过旋转来滚动列表或其他由头戴式设备视觉显示的项目集。

当用户旋转冠状模块时,可以提供第一种类型的触觉反馈,而第二种类型的触觉反馈可以用来指示用户如何与头戴式设备互动和/或关于用户输入的限制。例如,当用户滚动浏览头戴式设备显示的列表时,可以根据用户输入(例如,旋转速度等)提供第一类触觉反馈。通过进一步的例子,当用户到达列表的末尾时,可以提供第二类型的触觉反馈,以表明用户已经到达列表的末尾。

此外,可以通过这种方式为其他动作提供不同类型的反馈,例如放大或缩小图像,改变音量设置,改变显示亮度等。

头戴式设备可以包括一个或多个传感器(例如,眼睛传感器),用于跟踪佩戴头戴式设备的用户的特征。例如,此类传感器可以进行面部特征检测、面部运动检测、面部识别、眼球跟踪、用户情绪检测、用户情感检测、语音检测等。例如,眼睛传感器可以通过光学技术捕捉眼睛(如瞳孔)的视图,并确定用户的凝视方向。

图源:patentlyapple

苹果公司的专利图8说明了一个带有冠状模块传感器的头戴式设备的方框图,编号为#272/350。

想要了解更多专利细节,可查阅苹果公司的授权专利11,402,925。

推荐内容