文化遗产保护的混合现实设计和实现

铁　钟，　朱　翔

(上海工程技术大学 艺术设计学院，上海 201620)

0　引　言

随着计算机技术的发展，文化遗产的数字化保护已经在保护过程中被广泛应用，同时个人终端的运算能力增强，基于受众的数字化展示设计手段不断发展，对应的数字化技术正不断的影响着保护理念的转变[1]。意大利等欧美国家在文化遗产保护数字化方向投入了大量的研究人员与经费，一些最新的国防科技都被引入民用领域，正是这些技术手段在不断地改变着我们对于文化遗产保护与修复的模式。

虚拟现实应用于文化遗产保护已经有近10年的时间了，但受制于终端硬件，在应用和推广的方面一直处于试验和研究层面。随着硬件和软件的不断发展，与虚拟现实相关的增强现实与混合现实的概念逐渐形成，在技术层面逐渐被应用于文化遗产保护与传播。混合现实(Mixed Reality)基于虚拟现实(Virtual Reality)发展而来，不同于虚拟现实的概念，混合现实依附于一定的现实环境[2]。通过这种技术手段可以对文化遗产所包含的文化特质以及历史影响所带来的时间进行全面的展示，这弥补了传统展示设计手段的单一性，同时也带来了数字化记录与保护的挑战[3]。早在1994年，多伦多大学的保罗·米尔格拉姆(Paul Milgram)和日本学者岸野文郎(Fumio Kishino)撰写了一篇题为“混合现实与视觉显示分类”的论文，在这篇论文中他们定义了“现实-虚拟连续(Reality-Virtuality Continuum)”的概念用于描述从真实环境到虚拟环境的跨度。真实环境和虚拟环境分别作为连续的两端，位于它们中间的被称为“混合现实”，其中靠近真实环境的是增强现实(Augmented Reality)，靠近虚拟环境的则是增强虚境(Augmented Virtuality)[4]。直到2001年，与文化遗产相关的增强现实应用开始在互联网上展开，技术上主要基于GPS定位系统，由于无线网络协议也就是WiFi技术刚刚于1999年发布，并没有得到广泛应用，所以针对用户体验的效果并不十分令人满意。V. Vlahakis等人建立了一套基于希腊奥林匹亚历史网站的系统，受制于终端的运算能力，建筑的细节并没有展现出来，相关的交互内容也并没有有效展示[5-6]。

1　文化遗产虚拟场景前期数据采集

实现文化遗产虚拟场景的展示设计主要通过以下几种方式进行：虚拟现实,通过头盔显示器HMD(Head Mounted Display)将采集的视频素材与制作素材加以呈现。增强现实,通过头盔显示器HMD或移动终端将制作内容与现实场景加以结合。混合现实,通过透光式(Optical see-through)HMD与Leap Motion等体感设备相结合，将制作内容与现实空间产生交互。混合现实成熟的商业化硬件平台有最早推出的谷歌眼镜和微软推出的全息眼镜产品HoloLens，透光式HMD允许用户看到真实的环境，计算机把生成的图像叠加显示于视场中。影像式HMD并不能让用户直接看到真实环境,而是通过HMD上的摄像头采集环境影像,然后将计算机生成的虚拟图像融合后显示出来[7]。

无论使用移动终端或者头盔显示器呈现最终的展示方式都需要对原始数据进行定位与采集，通过相机设备将识别的对象参数加以定位。由于移动终端计算能力的限制，必须控制终端所在位置，如果进行实时计算对终端的计算处理能力有一定要求，不利于推广与展示。以朱家角场景设计制作为例，首先使用4台A7S相机，配合8～15焦段的鱼眼镜头，拍摄出4个方向原始素材。在NUKE中对原始素材进行修正，使用Autopano对素材进行合并，导出素材再次进行修正。计算出固定角度素材场景的深度通道，反求出摄像机中心位置(视角位置)的参数，将二维画面进行三维转换。制作内容动画，将计算出的现实场景中物体位置与摄像机位置的参数导入三维软件中加以匹配。最终将制作好的内容导入EasyAR SDK等引擎中进行交互内容制作。

2　混合现实系统设计与实现

现有的混合现实设计都基于个人移动终端，虽然体验性不如虚拟现实的模拟性，但随着技术和硬件的发展会推动相关产业的发展。以受众为中心可以较快的速度进行普及，所以在应用上整体高于虚拟现实技术。整套系统设计分为：①现实空间数据采集；②素材拼接与混合计算；③交互内容制作与匹配[8-9]。

2.1　现实空间数据采集与拍摄

使用4台A7s相机在同一水平位置，拍摄4个方向的素材。也可以使用运动相机GoPro进行拍摄，但是素材质量会影响后期体验效果。素材导出后使用Adobe Premiere进行素材对齐与剪切，再导入AutoPano Video Pro进行初步融合，包括对与使用镜头以及焦段的设置Detect(检测)。素材再导入AutoPano Giga优化RMS值，这其中包括控制点与水平基线的优化。可以看到画面中，由于镜头与光线角度的不同，拼合时明暗交错十分明显，如果在正午时分光照充足的情况下这种现象会更明显。最终渲染输出的素材导入到NUKE中将边缘的摄像机支架的部分进行擦除地砖的位置进行对齐缝合,最终可以看到合成的画面。修整前后的画面如图1、2所示。

图1　未修整的合成画面

2.2　深度通道计算与景深效果

后期交互内容的制作依据拍摄素材进行内容制作，为了实现三维效果需要进行二维转三维的渲染，首先要计算出深度通道的数据，调节最终画面的深度即可创造新的景深效果，需要根据拍摄时相机参数来设定立体程度的间隔值。基于运动估计的深度图生成最终画面，运算过程中基于块的运动估计算法获得运动矢量。使用Graph-Based颜色分割算法来修正深度图，并在后处理中采用数字形态学、高斯滤波等方法提高深度图质量，最后使用深度图适当扩展的改进算法来提高最终修复图像的质量。虚拟视点绘制中需要用到的4种空间坐标系，给出投影变换公式。然后结合二维转三维视频实际，采用简化的DIBR算法合成虚拟视点位置的图像[10-12]。可以看到目前文件的深度通道倍计算出来，而不参与交互制作的部分场景可以直接进行屏蔽，如图3所示在NUKE中将计算好的深度贴图与素材匹配。

图3　在NUKE中将计算好的深度贴图与素材匹配

2.3　画面超分辨率和统计预测的混合算法

渲染出深度通道的文件可以将深度通道合并在带有通道格式的序列帧文件中，通过超分辨率和统计预测的混合算法提高原有素材的分辨率。基于原有的视频像素，在识别两个不同的情况后之后软件会开始画质提升的步骤：对比前后几帧，是不是有可能图像会发生改变。如果图像画面有可能改变，那么在对像素点数据分析后会立即应用统计预测算法，计算得到空白画面的颜色像素值，填充空白像素，再做画质提升。如果图像画面不发生改变，那么基于目前的像素点直接做拓展后，再应用应用统计预测算法检验。提升分辨率的混合算法的流程图如图4所示，A为分析100个像素点前后5帧的变化情况，B则为识别每个像素点周围上下左右的值并倍增像素进行检验后的结果。

图4混合算法的流程图

3　混合现实引擎交互内容制作

3.1　目标图像定位

基于混合现实的SDK有Vuforia、EasyAR和ARToolKit等，如果最终的混合现实系统需要进行移动终端的交互设计，还需要对于文化遗产场景进行细微定位，使用ARtoolkit对摄像机标定进行注册，最终三维的场景与现实场景通过移动终端的摄像机进行匹配[13]。但ARtoolkit的识别定位需要非常明显的Target，这会影响受众的体验，在这个项目中尝试使用EasyAR SDK进行定位，EasyAR可以从日常生活中的常见有纹理三维物体或平面图像进行实时识别与跟踪，也可以从标准OBJ模型文件动态生成跟踪目标，对三维物体的物理尺寸没有严格限制，这些物体可以是不同的形状或结构。生成的数据可对接Unity3D等引擎进行交互内容制作。首先使用EasyAR在target上面显示三维内容和视频需要加载配置来设置target，通过异步方式加载和卸载target到tracker，不会阻塞调用线程，因而可以动态增量加载。使用图像本身生成target，使用json格式来存储target的配置。json包含了所有可以被使用的配置项：target图像路径、target名字、target大小以及target的uid。可以使用多个跟踪目标来跟踪不同的目标，完整的数据集接口示例如下：

{

"images": [

"path/to/zhujiajiao00.jpg",

"path/to/zhujiajiao01.png",

"zhujiajiao02.jpg",

{

"image" : "path/to/zhujiajiao03.jpg"

},

{

"image" : "zhujiajiao04.png",

"name" : "zhujiajiao"

},

{

"image" : "idback.jpg",

"name" : "idback",

"size" : [8.56, 5.4],

"uid" : "uid-string"

},

"c:/win/absolute/path/to/zhujiajiao05.png",

"/unix/absolute/path/to/zhujiajiao06.jpg"

]

}

3.2　CG交互内容制作

使用MAYA等三维软件将复原内容的部分进行CG角色制作，通过跟踪软件对于拍摄素材的摄像机机位进行比对，全景图片制作成HDRI(High-Dynamic Range)高动态范围文件作为三维场景的照明信息，HDRI拥有比普通RGB格式图像(仅8bit的亮度范围)更大的亮度范围，可以还原现实场景的光线参数，渲染出的三维物体会具有与现实素材一致的光照效果。最终将三维制作的素材与拍摄素材进行合成，图5可以看到CG角色最终合成画面的效果。

图5　CG角色最终合成画面

4　结　语

数字化时代对于传统的美学规律和认知都发生了颠覆性的嬗变，对于现实空间的虚拟化重新定义了“建筑”的概念外延，拓展了传统物理展示空间的概念，使受众重新认识建筑和空间之间的关系[14]。维特鲁威对于建筑的评价标准为“实用、坚固、美观”。这三个标准对于混合现实所构建的空间概念有着不同的意义和特质。受众对于这种新的空间概念的接受程度决定了混合现实的发展空间。“在我们的时代，空间关系已经取代了时间关系，成为把握人类现实的核心范畴。空间不是抽象的、同一的秩序，而是由多元的、异质的关系构成的[15]。”对于空间的理解都是基于我们的认识范畴，混合现实拓展了我们对于信息的接受方式。在信息化的社会背景下，网络所带来的平行性、交互性、开放性、共享性等诸多因素致使交互技术逐渐个人化，以及UCD(User Centered Design)模式在混合现实设计中对于受众感官和心理层次的影响逐渐扩大，受众交互操作和心理行为将会引导混合现实设计发展趋势。

参考文献(References)：

[1]尤基莱托. 建筑保护史[M].北京：中华书局, 2011:21-22.

[2]周明全. 文化遗产数字化保护技术及应用[M]. 北京：高等教育出版社, 2011:3-5.

[3]潘云鹤, 鲁东明. 文化遗产的数字化保护:技术与应用[M]. 杭州：浙江大学出版社, 2009:5-6.

[4]Milgram P, Kishino F. A taxonomy of mixed reality visual displays[J]. Ieice Transactions on Information & Systems, 1994, 77(12):1321-1329.

[5]Ippolito A, Cigola M. Handbook of research on emerging technologies for digital preservation and information modeling[M]. IGI Global Disseminator of Knowledge, 2017:256-258.

[6]Vlahakis V, Ioannidis N, Karigiannis J,etal. Archeoguide: An augmented reality guide for archaeological sites[J]. IEEE Computer Graphics & Applications, 2002, 22(5):52-60.

[7]Han J Y. Development of HMD-based 360° VR content of korean heritage[J]. Indian Journal of Science & Technology, 2016, 9(24).

[8]罗斌, 王涌天, 沈浩,等. 增强现实混合跟踪技术综述[J]. Acta Automatica Sinica, 2013, 39(8):1185-1201.

[9]黄进, 韩冬奇, 陈毅能,等. 混合现实中的人机交互综述[J]. 计算机辅助设计与图形学学报, 2016, 28(6):869-880.

[10]Pietroni E. An augmented experiences in cultural heritage through mobile devices: “Matera tales of a city” project[C]//International Conference on Virtual Systems and Multimedia. IEEE, 2012:117-124.

[11]Falvo P G. In the mirror of the wonder of Luca Giordano: Multisensory experience itinerary with impact assessment at Palazzo Medici Riccardi (Florence, Italy)[C]//International Conference on Virtual Systems and Multimedia. IEEE, 2012:11-18.

[12]Wang L, Champion E. Chinese culture approached through touch: Chinese cultural heritage learnt via touch-based games[C]//International Conference on Virtual Systems and Multimedia. IEEE, 2012:87-94.

[13]童小念, 范利君. 增强现实系统中注册技术特征匹配算法的改进[J]. 中南民族大学学报(自然科学版), 2012, 31(3):85-88.

[14]吕燕茹, 张利. 新媒体技术在非物质文化遗产数字化展示中的创新应用[J]. 包装工程, 2016, 37(10):26-30.

[15]汪行福. 空间哲学与空间政治——福柯异托邦理论的阐释与批判[J]. 天津社会科学, 2009(3):11-16.