Vicon追踪系统在LED虚拟摄制中的应用研究

马金秀

中国电影科学技术研究所(中央宣传部电影技术质量检测所),北京 100086

1 前言

以LED 为背景墙的虚拟摄制系统近年来迅速点燃了国内外的影视市场,此项技术是目前影视制作领域的前沿技术,国内尚处于研究、探索、实践阶段。本文研究基于中国电影科学技术研究所 (中央宣传部电影技术质量检测所)搭建的虚拟拍摄实验环境,把以往主要用于动作捕捉的高精度Vicon动作捕捉系统和LED 背景墙、虚幻引擎 (Unreal Engine)4.27渲染系统进行了结合应用,提高了物理摄影机的追踪精度,提升了LED 虚拟拍摄的拍摄质量。对结合应用过程中的技术难点,如坐标系的匹配、跟踪原点的设定、物理摄影机与虚拟摄影机的绑定和匹配等做了细致研究。本文提出的将Vicon动作捕捉系统用于LED 虚拟摄制,实现物理摄影机与虚拟摄影机绑定和匹配的方法,旨在为行业从业人员提供技术指导,推动LED 虚拟摄制技术的行业应用和发展。

2 项目研究背景及面临的问题

2.1 LED虚拟摄制技术的兴起

将实景影像投射到演员身后进行拍摄在20世纪30年代就出现了,该技术通常用于拍摄汽车驾驶镜头,通过电影放映机生成后方投影进行拍摄,它的缺点很明显:只能从一个固定视角进行拍摄,否则投影的画面和拍摄的实景前景在视角上会出现透视关系错误。LED 显示技术的发展以及游戏引擎实时渲染能力的提高,让根据镜头视角变化实时渲染背景成为一种可能。

2019年,好莱坞拍摄迪士尼的科幻剧集 《曼达洛人》第一季时,采用了以LED 作为背景墙的虚拟摄制技术。《曼达洛人》中有一半的镜头是在名为StageCraft①的片场里完成的。以LED 背景墙替代传统绿幕,综合应用了摄影机追踪、虚幻引擎实时渲染等技术,实现了现场实景和虚拟背景的协同摄制和摄影机内(In-camera)最终成像。《曼达洛人》搭建的 “LED Volume”是一个高度为6 米,周长为54米的LED 视频墙,由点间距为2.84 毫米的1326个LED 模组组成,形成270度半圆形背景屏幕,22米直径的表演空间,顶部是LED 屏幕天花板。以LED 作为背景墙的虚拟摄制技术自2019年起迅速掀起了虚拟摄制的热潮,2019年可以认为是以LED 作为背景墙进行虚拟摄制的元年。

2.2 面临的问题

LED 虚拟摄制技术发展之初主要用于电视剧集的拍摄,电视剧集和电影在技术规格上存在较大差异,电影在色彩还原、亮度、对比度等技术参数上都有更高的要求,提升LED 虚拟摄制的拍摄质量,需要更高精度的追踪系统,以实现物理摄影机和虚拟摄影机的精准匹配,减少系统误差,提升拍摄质量。LED 虚拟摄制系统是多套系统的集成,在系统搭建上存在多种技术解决方案,不同的技术解决方案,其拍摄性能有很大区别。在摄影机追踪系统的搭建中,一些小型工作室采用了很多民用设备解决对物理摄影机的追踪问题,但民用设备的捕捉精度有限,其拍摄效果无法保证。综上所述,更高精度的追踪系统用于LED 虚拟拍摄将有助于LED 虚拟摄制技术的发展与应用。

3 物理摄影机和虚拟摄影机的匹配实现

3.1 LED虚拟摄制系统技术架构

LED 虚拟摄制系统主要由摄影系统、摄影机追踪系统、LED 屏显示系统、游戏引擎渲染系统、同步系统、灯光照明系统等构成,各系统协同工作,并在摄影机里实现最终成像。其工作原理为:摄影机追踪系统将捕捉到的物理摄影机的运动轨迹赋予游戏引擎中的虚拟摄影机,物理摄影机驱动虚拟摄影机,虚拟摄影机通过游戏引擎渲染系统把正确的虚拟环境投射到LED墙上,被摄物在LED背景墙前进行表演,由物理摄影机完成拍摄,实现摄影机内最终成像的效果,其系统架构如图1所示,在虚拟拍摄系统中还可以加入数字资产管理、后期处理等系统。

图1 LED虚拟摄制系统

3.2 摄影机运动追踪技术

摄影机运动追踪技术是LED 虚拟摄制系统中的关键技术,需要通过对真实摄影机位置的追踪,将摄影机的实时位置移动数据实时传入到虚幻引擎,通过物理摄影机和虚拟场景中虚拟摄影机的绑定和匹配,获得正确的视角渲染虚拟场景,实现虚拟摄制。

3.3 摄影机追踪系统分类

摄影机追踪方案根据实现原理的不同可以分为主动式和被动式,主动式的位置跟踪中,摄影机或传感器位于被跟踪的设备上,典型的主动式跟踪设备有Ncam、Lightcraft、MoSys、RedSpy等；被动式追踪通常采用光学跟踪方式,面向被追踪的物体,使用摄影机或其他传感器放置在一个固定的位置,典型的被动式跟踪设备有Vicon、OptiTrack、HTC Vive等。

3.4 光学追踪技术原理

LED 虚拟摄制系统通常采用复杂的光学追踪解决方案。一般会在摄影机上安装反射标记点,围绕LED 背景墙架设一圈摄像头,其工作原理为:在光学动作捕捉系统中,每个红外动作捕捉镜头上都有红外(长波)发射器,镜头会发射出红外光,被捕捉的目标上附着了能够反射红外光线的标识点(Marker),标识点反射的红外光会被多个镜头上的感应器矩阵接收。不同位置的镜头采集到标识点的位置后,就可以计算出这个点在空间中的三维坐标,通过这种原理,动作捕捉系统可以同时采集到目标上多个标识点的一系列三维坐标。大量坐标数据通过POE交换机传输给动作捕捉软件,便可以解算出目标在空间中的位置、方向和运动轨迹等信息,进而实现对目标的追踪。

3.5 Vicon追踪系统对物理摄影机与虚拟摄影机的绑定和匹配实现

3.5.1 技术难点

要实现物理摄影机与虚拟摄影机的绑定和匹配需要解决两个技术难点:一是坐标系的匹配,Vicon追踪系统采用左手坐标系,本实验渲染系统采用的是虚幻引擎 (UE),虚幻引擎使用右手坐标系,要实现物理摄影机和虚拟摄影机的绑定,首先要使两者的坐标系实现匹配。其次是坐标原点的设定,其设定关系到匹配的精准性。在虚拟摄制中,虚幻引擎中的虚拟LED 背景墙必须和真实物理环境中的LED 背景墙完全一致,这样才能尽可能减少拍摄效果误差。一般采取激光扫描的方式对摄影棚中的真实LED背景墙进行建模,以达到尺寸上的精准匹配。虚拟LED 背景墙和真实LED 背景墙不仅在尺寸上要精准匹配,更重要的一点是坐标原点需要完全一致,要实现坐标原点的一致,在真实的摄影机追踪环境中,就需要标定原点。

3.5.2 Vicon 追踪系统搭建

Vicon动作捕捉系统由运动捕捉摄像头、Vicon 系统支持的POE 交换机、Shōgun 数据处理软件等组成,可提供实时和离线数字光学运动捕捉数据,这些数据可应用于动画制作、虚拟现实系统、生命科学等方面。对于虚拟摄制来说,Vicon动作捕捉系统只捕捉相当于刚体的物理摄影机的运动轨迹,可以完全满足虚拟摄制对于物理摄影机运动的精度需求。

本文的研究环境基于中国电影科学技术研究所(中央宣传部电影技术质量检测所)拍摄技术研究实验室。实验室设计架设摄像头桁架的尺寸为宽度5.2米,高度3米,长度9.4米。根据摄像头有效的捕捉角度,架设6 个Vicon Vantage V16 (1600万像素)摄像头,支持120FPS全分辨率拍摄,6个MX-T160摄像头。实验室有效的捕捉范围为:宽度2.3米,长度5.4米。搭建完成后的环境如图2 所示。摄影机追踪系统架构如图3所示。

图2 拍摄技术研究实验室

图3 摄影机追踪系统架构图

3.5.3 物理摄影机与虚拟摄影机的绑定和匹配解决方案

(1)三维笛卡尔坐标系

笛卡尔坐标系 (Cartesian Coordinate System)也称直角坐标系,在数学中是一种正交坐标系,由法国数学家勒内·笛卡尔引入而得名。直角坐标系的x轴、y轴与z轴必须相互垂直。包含z轴的直线为z线。在三维空间里,当我们设定了x轴、y轴的位置与方向的同时,我们也设定了z线的方向。在z线以原点为共同点的两条半线中,存在正值和负值,这两种不同的坐标系统称为右手坐标系与左手坐标系。右手坐标系又称为标准坐标系或正值坐标系,如图4所示。

图4 笛卡尔坐标系

(2)虚幻引擎(UE)和Vicon追踪系统坐标系的匹配方法

任何坐标系下的坐标都是相对坐标。因此,笛卡尔三维坐标系下,通过变换坐标轴的正向方向,就能够得到两种不同的坐标系,即左手坐标系和右手坐标系。这就为Vicon追踪系统和虚幻引擎渲染系统的坐标匹配提供了理论依据。

虚幻引擎为左手坐标系:X 轴正向为右,Z 轴正向为上,Y 轴正向向后,如图5所示。

图5 虚幻引擎坐标系

Vicon追踪系统采用的是右手坐标系:Y 轴正向为右,Z轴正向为上,X 轴正向向后,如图6所示。

图6 Vicon坐标系

本实验系统测试了几种方式,在物理摄影机通过Live Link导入虚幻引擎时,在Live Link中更改坐标轴方向,测试了Z轴±90度变换,以及X 轴、Y 轴的±90度、±180度变换,均不能实现轴向的匹配,并会造成坐标轴的混乱。

经过多次研究和测试,Vicon追踪系统左手坐标系和虚幻引擎右手坐标系匹配的技术解决方案为:借助虚幻引擎中的空Actor(跟踪原点)转换Z 轴的方向,实现Vicon坐标轴的转换。图7是物理摄影机进入虚幻引擎时摄影机的初始位置,通过把虚拟摄影机拖入空Actor下,作为它的子项,虚拟摄影机的位置信息由跟踪原点控制,更改空Actor Z轴方向,旋转-90度,虚拟摄影机现在位于和虚拟屏幕垂直90 度位置,实现和物理摄影机的坐标匹配,如图8所示。

图7 摄影机初始位置

图8 摄影机转换坐标之后

(3)坐标原点的设定

真实物理世界的原点必须和虚拟场景里的原点完全一致,虚拟摄制时才能有正确的拍摄效果。

首先对真实物理世界的原点进行标定。原点标定必须要有基准参照物,在Vicon追踪系统中,采用校准棒标定原点。Vicon 校准棒 (5 Marker Wand and L-Frame)有5个反光标记点,中间点为原点位,校准棒所标定的原点既是物理场景中的跟踪原点,也是虚拟场景中的跟踪原点。在原点标定时,需要特别注意方向,T 字校准棒标定原点的同时也标定了X轴、Y 轴、Z轴的方向。为保证物理场景中LED 背景墙的位置与虚拟世界中LED 背景墙位置方向一致,对Vicon追踪系统来说,T 字校准棒摆放位置如图9所示。

图9 T 字校准棒摆放位置

(4)标记点

Vicon追踪系统在进行人体动作捕捉时,通过往人体上贴标记点的方式捕捉人物动作。Vicon追踪系统用于虚拟摄制追踪物理摄影机的运动时,同样需要在摄影机上设置标记点。

在研究中发现标记点的设置需要满足两个条件:一是标记点至少要5个,才能区分X 轴、Y 轴、Z轴的轴向方向；二是标定的轴向要互相垂直,方便进入虚幻引擎时的轴向转换。

本实验系统设计并制作了7个标记点的标识物(通常称为Marktree),如图10 所示,分别代表X轴、Y 轴和Z轴3个轴向,且互相垂直,另外2个标记点用以区分前后,如图11。Marktree置于物理摄影机上 (图12),跟随摄影机拍摄时进行的推拉摇移等运动而运动,它作为一个道具刚体进入虚幻引擎。

图10 Marktree三维显示图

图11 Marktree坐标

图12 实物Marktree

(5)物理摄影机刚体道具的制作

Marktree的标记点在Vicon 数据处理软件Shōgun显示为点的状态,7 个标记点的Marktree显示7个点,在刚体道具制作过程中,最先选择的3个点非常重要,决定了刚体代表的物理摄影机的方向,即X 轴、Y 轴 和Z 轴的方向。以7个点的Marktree为例,依次选择摄影机拍摄方向最后面的点、最前面的点和摄影机左侧的点,剩余其他点选择顺序不限,如图13所示。全部点选择完成后,创建道具即可完成刚体道具的创建,这个道具代表物理摄影机,如图14 所示。图中,锤子形状的物体借助了Vicon在做动作捕捉时骨骼的概念,代表骨骼的 “根”,Vicon追踪系统用于虚拟摄制时,它的位置代表物理摄影机CMOS成像的位置,根据不同摄影机CMOS成像位置不同,可以调整创建的骨骼道具根位置的偏移量,确定CMOS的位置。位置信息越准确,在后期虚拟摄制中的误差越小。

图13 Shōgun中的Marktree最初显示

图14 Marktree的刚体道具

(6)物理摄影机和虚拟摄影机的绑定

要实现物理摄影机和虚拟摄影机的绑定需要解决两个问题:一是物理摄影机追踪信息需要实时导入虚幻引擎,二是物理摄影机和虚拟摄影机的关联。

物理摄影机的实时跟踪数据通过Live Link 插件进入虚幻引擎。Live Link在分发被追踪的摄影机信息方面至关重要,配合nDisplay将追踪信息送至每个群集节点。Live Link提供了一个通用接口,它主要有2 个作用:管理数据源和管理主体。Live Link还利用角色的概念来定义应该如何使用传入的数据,这让数据能更容易映射到引擎中的目标Actor。支持的角色包括摄影机、光源、角色、变换和基本角色 (用于一般数据)。源是数据进入Live Link客户端的方式,可以在插件中对源进行定义,这样第三方无需修改引擎代码即可构建自己的源。源负责管理它们接收动画数据的方式 (例如通过网络协议接收)。每个源都拥有对客户端的引用,以便其向客户端传输数据。Live Link导入Vicon追踪数据,需要安装专用的插件,把物理摄影机当作 “道具”接入虚幻引擎。

虚拟摄影机和物理摄影机的绑定通过Live Link的控制器实现。Live Link 控制器能简化将Live Link信息用于Actor的过程,会自动从Live Link对象获取数据,并流送给场景中用户选择的Actor。应用Live Link控制器,为虚拟摄影机添加数据源,选择在Vicon Shōgun中设定的代表真实物理摄影机的刚体道具,虚拟摄影机将开始从选定的Live Link对象自动接收数据,即实现了虚拟摄影机和物理摄影机的绑定。Live Link控制器实现了虚拟摄影机和物理摄影机实时的数据链接,但要将数据赋予内视锥进行拍摄,需要在nDisplay中把虚拟摄影机和内视锥摄影机ICVFX 摄像机 (ICVFX Camera)进行挂载。

4 结论

虚拟摄影机和物理摄影机的绑定和匹配是以LED 为背景墙进行虚拟摄制时的关键技术之一。要实现物理摄影机和虚拟摄影机的绑定和匹配,首要进行的是追踪系统的方案选择和设计。多种追踪系统可以实现对物理摄影机的追踪,但追踪精度不同会导致拍摄效果差异很大。由于拍摄现场的情况复杂,还存在丢失物理摄影机追踪信号的情况,因此,稳定、高精度的追踪系统是保证拍摄效果的关键因素。本文研究利用高精度的Vicon追踪系统实现物理摄影机和虚幻引擎的虚拟摄影机绑定和匹配,对于其他右手坐标系的追踪系统进入虚幻引擎有一定的参考性,同时也为用户提供了多方位、多层级的技术解决方案。

注释

①StageCraft是工业光魔 (ILM)联合行业内部ILM Fuse、Lux Machina、Profile Studios、NVIDIA 和ARRI等公司,共同研发的端到端影视实时虚拟摄制解决方案 (命名为StageCraft)。