三维融合（PQC+MR+AI）技术打造沉浸式2.0视觉新体验

金逸乐

（上海广播电视台，上海，20000）

一、沉浸式体验

沉浸式体验是指当一个人的精神完全沉浸在某种行为或环境中给人带来高度兴奋感和充实感的体验，心理学上称之为心流。当今，虚拟现实技术可以根据需要创造出各种虚拟的环境，并通过佩戴设备让人们沉浸在这种感官体验之中。当受众沉浸在这种体验中时，他们与真实的世界将完全隔离，所产生的心流就会完全投入到构建的虚拟环境中。沉浸式体验产生的前提是需要佩戴VR设备，通过隔离体验者现实感官，体验由此时VR设备所带来的虚拟视觉、听觉、触觉，这种虚拟体验能够给受众带来愉悦和满足，受众也因此得到“沉浸式体验” 。

二、沉浸式视觉体验的特点

因为人们对外界信息的获取主要是靠视觉来完成，所以沉浸式体验主要以视觉体验为主。由于这种沉浸式的视觉体验会使人在虚拟的环境中产生强烈的满足感，因此，沉浸式视觉体验具有一些鲜明的辨识性特点。

1. 营造强烈的现实幻境

虚拟现实技术可以利用VR设备在人们面前展现出全方位的虚拟影像世界，并通过音效设备令人产生强烈的包围感。在这种整体环境的营造下，参与者在幻境中会产生强烈的身份认同，达到身心深入其中的强烈效果。

2. 高度的真实性

虚拟现实技术所构建出的虚拟环境对观众来说具有极强的真实性。这种真实性的感受不但在于内容本身，还在于其他方面，例如，虚拟现实技术会在听觉、触觉、嗅觉等多方面让观众产生真实感，让观众的外在感知系统和内在神经系统都完全融入到VR设备所创建出的虚拟环境之中，形成沉浸式的视觉感受。

3. 突出的精神愉悦感

虚拟现实技术与AI技术融合所产生的沉浸式视觉体验为体验者带来了独特的视觉冲击，产生的快感直接且猛烈，能够使观众把全部的精神和感官毫无保留地投入到虚拟的世界中，进而产生其他艺术形式无法比拟的精神愉悦感。近年来，由于VR设备的使用日益广泛和大众化，这种视觉体验的应用范围也更加广泛，更多的人得以感受到虚拟现实技术带来的美好体验。例如，在观看中国足球超级联赛直播时，对我们来说视觉效果最好的位置是主席台，而在虚拟现实的情况下，无论我们身在何处都可以清晰地看到比赛场景，也可以清晰地听到赛场中的声音，这就是沉浸式视觉体验给我们带来的独特视觉效果。

三、三维融合技术打造沉浸式2.0视觉体验的方式

这里所提出的运用三维融合（PQC+MR+AI）技术打造的沉浸式2.0视觉体验是指在PQC质量控制程序的管理模式下，应用MR技术、辅以AI技术，专门为观众打造出的全方位、多角度的视觉体验效果。它的应用能够提升新闻行业的播报水平，提高新闻内容的表现力。三维融合（PQC+MR+AI）技术的具体内容如下。

1. 制作质量管理（Production Quality Control）

制作质量管理是指在节目制作的基础上，以观众的视觉需求为切入点，将主观和客观评价体系有机地结合起来，分析各个环节之间的影响要素（包括工作界面、优化机制、流程等），对节目整体的质量进行合理控制以达到最佳播出效果的管理模式。在传媒业，制作质量管理是一切质量管理的中心，也是节目制作的基础。在上海广播电视台制作的节目中，广泛引入了PQC对播出节目的整体流程以及灯光、色调、调度等元素进行调控，节目也因此更受欢迎，取得了良好的收视效果。

具体来说，PQC的应用方式就是对整个节目效果的实时控制和调整做出更加专业、及时的应对。例如，在直播节目的制作中，人们一般会对环境的灯光进行视觉测试，而引入PQC后，其作为整个后台的监控中心，在节目的制作过程中会时时校色，以达到理想的播出效果。另外，在体育赛事的转播中，PQC的应用更为广泛，如PQC对所有的中超赛场草地都会做出分光反射率的曲线，并通过灯光和分光反射曲线了解到反射率超过80%的波段，由于反射率超过80%的部分就是重点要表现的部分，需要通过PQC对直播画面上的颜色、色调、饱和度的整体实时调整，由此观众才可以看到直播画面上所呈现的精彩赛事。PQC可以通过对整个制作流程的控制来保证节目制作过程中对画面质量的精确还原。具体工作方法是利用摄像机使用分段分区的调色法，通过对亮度、色度和两个段及高亮中灰三个区域分别进行调色，从而达到通透的目的。另外，PQC还可以对整个画面进行调整，满足我们对画面的需求，也可以通过对现场的时时校准来对影调参数（即黑白参数和色彩参数）进行控制，以达到理想的画面效果，从而使观众得到身临其境的体验。

2. 混合现实技术（Mixed Reality）

MR技术是合并现实和虚拟世界从而产生新的可视化环境的技术总称。MR是虚拟现实技术的进一步发展，它通过在虚拟世界、现实世界和体验者之间构建相互反馈的平台，增强用户体验效果，使其体验到前所未有的真实感。

在现实生活中，MR技术的应用范围十分广泛。例如，对于一场演唱会来说，观看者的视觉与听觉体验是演出效果的核心所在。视觉方面，通过在直播中应用MR技术，在舞台表演区域内，在多个角度架设VR摄像机进行摄录，就能为观众全方位、多角度地展现演唱会现场的实时场景。同时，在直播期间也可以使用特种设备，通过更多的运动镜头和更全面的角度，来展现表演者精彩的运动姿态和不断变化的舞台效果。听觉方面，通过在内场布置多个收取观众音效的话筒，同时进行音乐缩混配比，能够更好地还原出会场的音乐效果。

在2018年中央电视台“五一”劳动节的晚会上，其中所展现的未来中国繁荣昌盛的美好图景，就是通过混合现实技术来实现的。在播出过程中，节目组通过使用高清摄像机、电影级摄像头捕捉画面，使用多台机器对画面无缝拼接等方式形成沉浸式的视觉效果，为观看者带来了强烈的交互体验，实现了观众与现场表演者的零距离接触。这种虚拟现实技术的应用让晚会科技含量更高、更现代化，也让观众获得了完美的沉浸式视觉体验。

3. 人工智能（Artificial Intelligence）

人工智能是研究、开发用于模拟、延伸和扩展人类智慧的理论、方法、技术及应用系统的一门全新的技术科学。上海广播电视台在节目制作中通过现实技术与人工智能技术的综合应用使观众能够在节目直播过程中达到身临其境的感觉，实现最佳的直播效果，解决了许多以往节目直播过程中无法解决的问题。例如，在体育赛事的直播中，由于现场座位数量有限等原因，很多人不能前往现场观看比赛。利用人工智能技术，我们可以通过无传感器方式直接合成信号，通过图像识别系统实现图像引擎的跟踪分析，这种转播方式以沉浸式的感官体验打破了虚拟与现实之间的界限，使所有的非现场观众达到了与现场观众同样的观看效果。

四、沉浸式2.0视觉体验（PQC+MR+AI）个案分析

1. 音乐节目《东方风云榜》

《东方风云榜》是中国内地第一个举办颁奖演唱会的流行音乐节目。随着时代科技的发展，东方风云榜的电视转播技术从模拟、标清走到数字高清，实现了从单一字幕到复杂包装的跨跃式转变。在颁奖演唱会的转播方面，上海广播电视台从2015年开始就采用A R技术，通过在演出现场架设路由器的方式实现了现场信号的全覆盖，由主机控制声音，切换台、舞美和灯光。在多年来的转播实践中，上海广播电视台已经通过协同控制MR、AI等新技术的融合应用，在转播制作中达到了视觉控制PQC、MR、技术三位一体联动的高效综合制作水平。

2. 体育赛事直播

三维融合技术下的沉浸式视觉体验在体育赛事的直播方面也有很好的应用效果。例如，在中央电视台转播的几次马拉松赛事中，为了更好地展现赛事的进行情况，中央电视台采用了MR技术和GP S跟踪技术，使观众可以清晰地看到运动员的跑步轨迹，甚至可以捕捉到选手的细微表情，这些都给观众带来了更好的代入感，使赛事转播达到了观众与运动员同声同气的视觉体验效果。这种转播方式改变了过去只向观众简单灌输的单向转播模式，整合了转播过程中的视觉、听觉等多种要素，达到了丰富的多屏联动、连线采访、跨屏互动效果，全面激活了媒体传播新格局，使马拉松比赛的直播效果更加生动和真实。在转播的同时，中央电视台还加入了很多无人机航拍环节，航拍直播信号采用4 G传输包，实时传送到媒体服务器，之后转换为S D I信号并接入转播车进行切换播出，无人机航拍技术的应用为观众呈现了全新的马拉松转播模式，提高了体育赛事的观赏性和观众的参与度。

3. 上海迪士尼乐园开园盛典

上海迪士尼乐园开园盛典的转播也是三维融合（PQC+MR+AI）技术协同制作的成功案例。在这次活动的转播过程中，上海广播电视台对每个机位的控制都非常精确，通过精准的控制实现了对每一个细节的抓拍。同时，为了准确展现现场表演的精美效果，上海广播电视台利用超高清大型协同转播制作平台（UH D6）制作，辅以超高清拍摄、通话和协同等技术，使播出的节目超出了一般转播的范围，且更为精美。在此次转播中，上海广播电视台通过超高清与高清同播系统、集中控制系统、PQC及节目质量体系等媒体技术的应用，很好地展示了迪士尼乐园的欢乐主题。在转播过程中对每一个时间点精确的控制更完美地展现了迪士尼乐园的全景，为观众营造出了无与伦比的贴近感体验。

五、结论

虚拟现实技术作为全新的视觉艺术表达形式，完全颠覆了传统的传受模式，同时，人工智能技术的应用为直播的良好效果提供了绝佳的保障，制作质量管理体系的引入又将虚拟现实技术与人工智能技术完美地结合起来，为观众带来了前所未有的沉浸式视觉体验效果。这种沉浸式的视觉体验与传统媒体给观众带来的体验相比，技术特性更强，观众的信息选择与参与度也更高。可以说，虚拟现实技术通过多维影像视界的构建、人机交互性的体验、用户感官潜能的挖掘，为新闻行业打开了一扇崭新的大门，也为人类提供了一个认识和感知世界各种可能的全新、多元化视角。