实况复刻,交互仿真,云游戏技术的应用还有哪些想象空间?
本届世界杯 上频频露面的 半自动越位识别技术( SAOT) , 不囿于梅西、 C罗 等一众球星的 谢 幕演出,为全球观众 刷新了世界杯的黑科技含量。 在央视直播的 阿根廷对阵沙特阿拉伯比赛中, SAOT系统光在上半场就七次出镜,三次判罚阿根廷破门无效。
(资料图)
而在获得转播权的咪咕平台上,让球迷们眼前一亮的,是咪咕采用Arena 4D运动捕捉系统对赛场直播画面进行实时解析和渲染生成的元宇宙数字赛事实况。不仅如此,观众们还能进入按世界杯实况模拟的游戏关卡,指尖操控球星角色射门。
相比现实的世界杯赛事,另一个平行的世界杯数字世界同样令人惊喜。
看懂、看透世界杯
中国的世界杯播出历史,堪称一部视觉与交互技术的进化史。
央视第一次转播世界杯决赛,要追溯到1978年。从转播到直播,花了十二年时间。到了1990年,央视才首次实现世界杯全场次直播。从听广播,到看黑白电视,再到彩电,中国人的世界杯体验伴随着科技的发展不断变迁。
在视觉层面,赛事播出历经720×576、720P HD、4K等分辨率的进阶。如今,4K已成为世界杯赛事播出的标准配置,而球场全景、空中俯瞰、横向战术、纵向战术、教练席等多视角直播,更让观众全方位观赛,直击现场。
在播出平台层面,新媒体参与世界杯早已不是新鲜事儿。从优酷到咪咕再到抖音,我们能看到新媒体在不断拓展世界杯赛事传播的广度及深度。
以咪咕为例,借助多视角及多屏同看技术,咪咕上线了多路解说视角。结合多屏同看功能,观众可在单个屏幕内欣赏球场全景、两队球员的实时动态和技战术。
如何提升视觉沉浸感,一直是咪咕关注的重点。 在本届世界杯上,咪咕快游采用Arena4D体育运动捕捉技术,精确重构每时每刻球员的姿态和动作细节,计算精确到球员行为和比赛事件 。
再加上,官方拥有超过2万名职业球员角色数据库,它们是精确到厘米的体型、骨长、BMI、体脂肌肉比等数据。二者结合起来后,Arena4D可将捕捉结果在实时渲染引擎中以照片级画质进行渲染生成视频。
360度子弹时间环绕,射门时前锋/守门员/球的第一人称视角,连接上热力图、局势图、战术图、弹道轨迹等丰富的数据可视化效果,数字赛事的视觉效果可以比现场更“现场”。
所以,咪咕的观众们凌晨看完比赛,很快就能在咪咕快游官方平台上看到相关精彩射门的复刻视频以及智慧战术板演示类的深度赛事解析视频,还能动手在1:1还原的游戏场景中模仿球星射门。
AI、云游戏,玩转世界杯
技术是推动视觉沉浸感升华的重要推动力。
Arena4D体育运动捕捉技术大致上由AI视觉算法跟实时渲染引擎两部分组成。AI视觉算法针对体育场景中球速快、球员运动幅度大、拍摄图像尺寸小等问题改进了网络结构和算子,并通过多个视图融合网络对2D追踪结果进行微调,实现了在3D空间中追踪多视图、完成高精度的视觉再现。
这个技术其实与半自动越位识别技术(SAOT)异曲同工。SAOT通过深度优化AI视觉算法,调整神经网络结构和算子,精准地识别了球员出脚时间以及接球人当时的位置。同时,人工智能会生成一个3D动画,展示越位线和球员相对于越位线的位置。该动画通常在主裁判做出决定后生成,并在现场和电视上向观众展示。
相较于传统“视频助理裁判”(即VAR)用视频慢动作回放来判定越位与否,SAOT通过优化AI算法,成功缩短了判罚时间。人工智能的参与,更有效地保障了球场公平。
极致 还原赛场还不够,咪咕还通过5G云游戏技术,让球迷真正从“观众”变成了“主角 ” 。 正如前文所述,球场上的场景在极短时间内被制作成了强交互的游戏关卡,球迷能实时进入刚刚发生的世界杯赛事、化身球星体验射门的快感。
笔者尝试还原了阿根廷对阵沙特阿拉伯的名场面。在游戏化即时场景下,通过便捷精准操作,成功再现了沙特球员达瓦萨里的世界波破门。加上环绕式的运镜特效及张力拉满的慢镜头,让参与感和沉浸感直接跃升一个台阶。
眼下,观众们在咪咕快游平台上只需点击开始挑战,便可一键加入赛场。无需下载包体,无需等待,咪咕云游戏带来了丝滑顺畅的、极致还原的世界杯赛场体验。
咪咕的黑科技,让泛球迷得以轻松地体验“世界杯”,也让资深球迷从世界杯赛场无缝迁移至虚拟球场。新技术让更多人观赛更愉悦,为咪咕快游吸引了大量新用户。
还有多少可能性?
沉浸式观赛、指尖体验世界杯, 并非咪咕在世界杯期间的偶然行为,笔者认为,这一连串创新动作,是咪咕探索体育元宇宙的一步棋 。
让我们回顾一下咪咕的元宇宙战略。去年11月份,咪咕首度披露元宇宙的 MIGU 演进路线图。它包含“Mixed reality”、“Immersive social connection”、“Gamified interaction engine”、“Ubiquitous computing power”四个部分。
可以看到,Mixed reality层,包含MSC(Metaverse Sports Center)、CNG(云原生游戏)、互动展陈、互动演出、数智竞技等模块。在本届世界杯,我们看到咪咕围绕MSC(Metaverse Sports Center)、CNG(云原生游戏)两部分,已经做了一次生动的排练。
二者耦合点在于,它们通过整合AI及云游戏,释放了终端算力,让物理世界与虚拟世界交融共生。这正是数字孪生的核心要义,即通过数字化的方式,将物理对象的属性和数据映射到虚拟空间中,创建出全生命周期的动态虚拟模型,以此模拟其在现实中的行为特征,实现数字虚拟世界和物理真实世界的精准映射、交互协同、实时联动。
咪咕这套系统在足球赛事中顺风顺水,平移至篮球、排球、乒乓球等各类体育赛事也是完全行得通的。有些赛事跟足球一样具有运动速度快、战术多样的特征,且因单回合时间更短,衍生出来的数字孪生打法会更加丰富多元。
除了服务于更多样的赛事呈现,数字孪生技术还能应用于体育训练和教学。
据悉,中国跳水队已采用了人工智能跳水辅助训练系统,通过AI技术对训练视频进行摘要、动作抽取、姿势纠正等进行快速归纳整理,并依靠3D视觉再现对动作、姿势等进行针对性的训练,几个月下来,辅助训练效果突出。
篮球运动中,职业球员也可以使用类似技术提升竞技实力,打造“AI教练”。它能帮助职业球员,更好地了解三分线、禁区不同点位、自己的命中数,以及特定位置的投篮高度、力度,观察球的抛物曲线,更快地锁定问题、实现改进。篮球训练营亦可使用这个技术,为学员们记录训练实景,用以提升学员、教练竞技实力。AI复刻出来的训练视频也可作为衍生产品提供给需要的球员。
在制造领域,有厂商已在深度利用AI视觉技术,布局自动化生产和数字化平台。通过搭建数字化工厂模型,有效实现了产品、物料、人员、设备、制程、品质等全流程追溯,实现闭环管控。在笔者看来,这类生产流水线大可以借助咪咕这套系统,生成可试玩的云游戏。一方面,它能通过可感知、可操作的游戏,帮助培训新质检员工,熟悉流程。另一方面,它也能帮助维修技术工,精准判定故障点。
总的来说,即可实现工作人员不去现场就能充分掌握生产线的实时状态,从而开展运维管理和资源管理,调整生产工艺,优化生产参数,进行生产调度预判等。
在智能机器人领域,也有复刻技术的用武之地。在智能建筑领域,有厂商正在研发用于装载、压路、塔吊、摊铺等作业的机器人,核心是要用人工智能技术为机械设备安装智能化的“数字心脏。”笔者认为,鉴于机器人落地场景的复杂性、工程作业的多样性,不妨先通过咪咕的数字孪生技术打造仿真的案例场景,培训相关从业者。
咪咕在世界杯期间的复刻尝试,为业界探索数实融合的元宇宙提供了新的思路,即以AI、云游戏引擎等技术为尖兵,以多元化内容场景为练兵场,以满足用户特定需求为目标,打造更逼真、更高效互动的数字孪生空间。
而咪咕作为横跨算力、算法、应用、内容、场景的平台,既有构筑多年的合作伙伴矩阵,又连接多样化的数字消费群体和B端客户,在能力和资源的整合上有着独特的优势,能够更高效地去开拓新技术的应用场景,让数字孪生的曙光照进更多有数字化转型需求的领域,加速元宇宙体验在目标市场的落地。