全球消息！“走进混合现实”背后的技术革命：从PC到手机，从绿幕到AI抠图

文/VR陀螺 Pancake

2018 年，一支别开生面的 VR 游戏视频风靡全球，从此成就了一款现象级产品，它就是《Beat Saber》。直到现在《Beat Saber》仍然霸榜全球，单 Quest 平台收入就超过了一亿美元。

图源：网络

【资料图】

视频中，玩家手持“光剑”，挥刀砍向迎面飞来的方块，与游戏场景浑然一体融合其中。

VR 游戏的魅力在于切身体验到的沉浸感和全新的交互，然而，相比于线下的亲身体验，线上视频却仍然是大部分用户接触到 VR 的核心途径，此时，传统现实人物和 VR 内游戏画面相互分裂的拼接视频形式显然无法传达 VR 的沉浸魅力，这也是《Beat Saber》现实人物和 VR 游戏画面相互融合的混合现实拍摄 MRC 能一鸣惊人的原因所在。

从 2018 年 MRC 录制工具开始迭代，伴随着 VR 硬件厂商 Meta 的加入，以及 LIV 等专业性工具的入局，MRC 视频的制作门槛也在逐步减低，不再是专业性后期选手的专属。

而到了 2022 年，我们看到国内 VR 厂商 PICO 也正式加入到这条赛道，推出了无需绿幕、基于手机的 MRC 视频解决方案，再次拉低了行业 MRC 视频的制作门槛。

全球巨头探索 MRC 视频拍摄

依靠绿幕或蓝幕的虚拟现实混合拍摄在影视制作行业几乎是标配，特别是在需要进行虚实融合特效制作、动画电影拍摄时，制作团队几乎都会采用绿幕+动作捕捉的方式，如今也有一部分采用 LED 屏幕代替绿幕背景，来实现虚拟拍摄的方案。

影视制作当中的虚拟拍摄，是为了实现更好的虚实融合特效，以及降低传统制作成本，更具定制化的故事情节；而目前 VR 领域中兴起的 MRC 视频拍摄则是基于热门的游戏场景，更好地表现 VR 游戏的沉浸魅力，吸引玩家。为了实现更低门槛、低成本的 MRC 拍摄方案，全球诸多头部企业都进行了积极的探索。

（一）Meta：绿幕+实时串流，较高成本的MRC视频制作

Meta 是 VR 行业龙头企业，它也是最早探索基于 VR 头显的 MRC 视频制作的厂商。早在 2019 年的开发者大会 Oculus Connect 6 上，Meta 就展示了其混合现实捕捉工具（Mixed Reality Capture Tool，简称 MRC）。

官方的 MRC 展示视频中，效果十分震撼，不仅虚实画面实时同步，而且人物在虚拟场景抠像十分清晰，接触边缘也无噪点和模糊处。

图源：网络

如此精美的 MRC 视频，当然也需要制作者付出更高的代价。据 Meta 官方介绍，Meta 的 MRC 视频制作，需要使用 MRC 工具，还要使用分发软件（OBS）进行拍摄。

与之进行配合的硬件还包括：具备独显功能的游戏级个人电脑，接入个人电脑的外置摄像头，一台 Meta 的 VR 头显以及绿幕背景。

虽然 Meta 的 MRC 存在一定学习成本、时间成本和配置要求，但相对于传统“纯后期抠图”的视频制作形式，Meta 在工作流程上进行了大幅度精简，开创了早期基于 VR 头显的第一方 MRC视频制作的先河。

（二）LIV：PC+手机双端，玩法多样的第三方MRC

相对于 Meta 提供的基于 PC 的 MR 视频制作解决方案，第三方平台 LIV 的解决方案则更加具备灵活性，它支持 PC 和手机双端，并且在深度机器学习的加持下，无论用户是否有绿幕，皆可进行 MRC的视频拍摄。

另外，LIV 在 PC 端不仅仅支持 MRC 视频拍摄，还支持 MRC 视频直播、自定义 Avatar 类型的 MR 视频等。

LIV官网

与 Meta 一样，LIV 在 PC 端效果突出，并且操作更简单，仅需从 Steam 平台上下载 LIV 即可解决软件端的所有问题。

不过基于 PC VR 内容的 LIV 也提出了更高的 PC 配置要求——至少英伟达 GTX 1060 或 6GB 同档位的独立显卡，8GB DDR3、英特尔 i5 处理器、固态硬盘。

LIV 还支持手机端的配置，它需要在手机端上安装 LIV ，以及在 Quest 头显上安装 LIV Connect 应用。安装完所有内容后，Quest 上的 LIV Connect 应用会提醒用户通过快速校准进行调整。

图源：网络

完成后，LIV 应用可以显示特定 Quest 游戏的混合现实视图，其中会显示玩家被叠加在虚拟世界的第三人称视角视图上。不过，根据网上测试的基于 LIV 的 MRC 视频来看，其抠像效果表现较为一般，主要是在人体边缘部分可能会出现模糊，边缘溢色的问题。

也许这就是从 2020 年 LIV 首次推出手机版本至今，它依旧在官网处于“实验室功能”的位置的原因之一。当然，相信伴随着深度学习算法的提升，软件内容的进一步配合，MRC 效果未来也会逐步改进。

PICO：无绿幕+智能手机

更低门槛的 MRC 制作方案

2022 年， PICO 也正式推出了其官方的 MRC，在提升效果的同时进一步降低了使用门槛。

官方教程显示，只需让 VR 一体机与智能手机处于同一局域网下，再通过手机端的“PICO VR 助手”APP 点击“混合现实录制”，按照官方提示，经过简单的头显与手机校准，即可实现 MR 视频的录制。

图源：VR陀螺

PICO 的 MRC 没有 Meta Quest 那样复杂的 PC 环境配置，只需一部智能手机即可，与 LIV 的手机端录制功能一样，PICO 的 MRC 不需要绿幕（同时也有绿幕模式，使用绿幕模式拍摄效果更好），并且不需要在手机端安装额外的工具，也不受英语以及网络的限制，对于国内用户来说，使用门槛更低，拍摄效果更好。

事实上，PICO 的 MRC 从推出至今，在小半年的时间里也历经了两次的迭代和优化，作为第一批体验到 MRC 的用户，陀螺君也看到了 PICO 在 MRC 上进步，包括支持更多的手机型号和更多 VR 内容适配。

图源：VR陀螺

在第一代的版本中，PICO MRC 仅支持在 iPhone X 及更新版本的苹果手机中使用，而现在它同时也扩展到了安卓机型当中。不过，由于实时抠图对性能要求较高，手机性能会在一定程度上影响抠图效果。

目前 PICO 的 MRC 已支持在八款主流热门游戏中使用，包括《多合一运动VR》、《疯狂功夫》、《超燃一刻》、《方寸幻境》、《VFC格斗家》、《Histream》、《动感音旅》、《水果忍者》，更多作品在陆续适配中。

图源：PICO

从实际画面效果来看，PICO 用手机结合 AI 算法抠图所实现的效果，边缘清晰可见，并且几乎看不出溢色，堪比专业级抠图效果。

PICO MRC背后原理揭秘：

AI抠图+无线投屏

之所以 PICO 的 MRC 能够实现如此好用的拍摄效果，据 VR陀螺了解，其主要依赖于多项技术创新以及背后字节的技术中台提供的强大的抠图技术以及无线投屏能力的帮助。

一方面，PICO 利用了深度学习抠图模型，将人物从物理环境中抠出并且叠加到虚拟游戏空间中。混合现实录制抠图模型不仅可以抠人，也可以抠 VR 头显和手柄，是对 VR 场景下做的特别优化。

图源：VR陀螺

AI 深度学习的抠图模型，让 PICO VR 实现了不用绿幕也能拍出虚实融合的 MR 视频效果，而且其“虚实叠加”的显示效果极具层次感，非一般的后期剪辑可比。当然，PICO 也支持“绿幕模式”拍摄，在增加背景绿幕等显著颜色背景之后，通过实时自动合成渲染的方式，可以大幅提升抠图和视频整体效果。

另一方面，在手机端实时显示的“虚实叠加”混合现实视频，背后则是其强大的“无线投屏”技术，它需要将 VR 头显内实时显示的“虚拟画面”通过 WIFI/蜂窝网络同步输出到手机端，这对于带宽网络环境和 PICO VR 头显内的实时录屏传输技术都提出了苛刻的要求。

图源：VR陀螺

抠图+投屏，成就了 PICO 的混合现实录制功能，看似简单明了的技术融合背后，却是一个业内不可忽视的创新之举，它带来了更低门槛的 MR 视频制作。

目前官方也正在将该 MRC 制作方法申请作为发明专利。天眼查显示，今年 10 月份北京字跳网络技术有限公司专利“视频录制方法、装置、设备及介质”正式公开，申请公开号为 CN115150555A，根据其摘要说明正是指代目前应用于 PICO VR 上的混合现实视频制作，可以优化 VR 头戴设备的实时性能消耗，避免画面显示卡顿和帧率下降的风险，使得用户的体验沉浸感更强，拍摄出来的画面也更流畅。

虽然 PICO VR 目前的混合现实录制在算法抠图上仍有需要完善的细节，但是相比于传统的 MR 视频，在制作流程、制作时间、技术要求上都降低了不少。PICO 混合现实录制工具的最大的亮点莫过于抛弃了以 PC 端为阵地核心的玩法，以无线网络为介质，将智能手机的便携性和普及性价值最大化呈现。