电影云修复技术研究

刘佳楠

中国电影科学技术研究所(中央宣传部电影技术质量检测所),北京 100086

1 引言

随着数字电影制作技术的快速发展,以及5G、大数据、云计算、人工智能等高新技术在电影行业的深度融合与应用,近年来涌现了电影云制作、电影智能化修复等电影制作的新概念与新模式,给档案影片的数字化修复提出了新要求与新挑战。为满足修复技术与系统设备在算力、传输能力和效率等方面不断攀升的需求,电影修复模式的云化以及系统的分布式架构设计已逐步成为行业发展新趋势。云修复模式具备共享设备资源、降低修复成本、标准化修复流程和提高修复协作效率的特点,能够更好地满足人工智能修复、高帧率修复等高算力需求的修复工作。特别是对于高质量精致修复项目,云修复模式在提供充足算力的同时还可提供灵活的协同制作环境。

目前,虽然国内外还未有成熟、专业的云修复系统推出,但随着电影云制作技术和国内互联网云服务发展的日趋完善,当下已初步具备将本地修复系统迁移到云端的可行性。因此,本文通过梳理本地修复系统的通用要求并结合云制作的特性,探讨实现云修复所应具备的基本技术要求。

2 电影云修复技术需求分析

2.1 电影云修复的基本工作流程

在分析电影云修复的技术需求前,首先需要对云修复模式的基本工作流程进行界定。传统的电影修复工艺可分为两个主要环节:修复环节和制作环节。修复环节即去除影像的瑕疵,在这一环节中,胶片首先经过物理修复,然后完成数字化扫描,在转为数字文件后进行画面与声音的数字化修复,使影片内容恢复完整、连贯。这其中,物理修复工艺依靠人工对胶片进行修补,而数字扫描工艺则依赖于专业胶片扫描设备,所以此环节中仅数字化修复工作具备迁移至云端开展的可行性。制作环节即音视频文件的编辑工作,主要包括剪辑、调音、调色、声画合成、压缩打包等,这一环节中各项工艺均基于数字处理技术,所以都具备迁移到云端开展的可行性。因此,电影云修复的完整流程应从胶片数字扫描后的文件上传云端开始直至修复完毕,在云端完成影像的损伤修复、编辑、调音调色、声画合成、打包输出和鉴定入库工序,如图1所示。

图1 影片数字化修复基本工作流程

上述可向云端迁移的修复工艺又可继续细分为两类操作。一类是人机交互操作,一类是计算机自动处理。其中,人机交互操作的特点是频繁而大量,且需要即时反馈操作结果,例如数字修复中的手绘或制作中的画面调色等,这类操作对系统运算速度和传输能力要求很高;而计算机自动处理只需在任务完成后反馈结果,例如降噪、数据打包等。两者相比,自动处理类操作更加适合采用云计算方式,调取云端资源获得更高效渲染。但对于电影修复来说,自动修复相对有限,人工修复却必不可少,因此研究电影云修复模式须以支持人机强交互操作为首要目标。

2.2 电影云修复对存储容量的需求

通常,数字修复采用无压缩10bit dpx文件,修复分辨率通常为2K 或4K,计算存储读写和传输相关数据量如表1 所示。可根据表格数据进行估算,若待修复影片为2K分辨率素材,以常用的H.264视频编码为例,估算远程方式读取1路2K 视频所需速度约为1.65MB/s,4K视频所需速度为4.67 MB/s。

表1 2K、4K 分辨率影片的数据量

存储容量方面,若按常用修复规格2K 分辨率、90分钟时长来估算,一部电影胶片的扫描数据量约为1.5TB,加上修复制作后的完成片数据,一部影片至少需要3TB左右存储空间。

2.3 电影云修复对运算能力的需求

电影云修复模式对运算能力的刚性需求是能够实现影片实时播放和交互操作的即时反馈。这需要云服务器至少满足以下两点:

(1)云服务器从云存储读取数据的带宽至少支持1 路视频,如果数据的实时传输想要实现实时转场等特效,则至少需支持2路视频数据传输;

(2)云服务器处理一帧画面数据的总时间必须小于帧周期。

2.4 电影云修复对图像显示质量的需求

电影云修复模式下,图像必须经过压缩方能通过网络由云端发送到客户端。通常需要考虑客户端图像显示的分辨率、颜色失真度和平滑播放情况,作为衡量云模式下是否能满足修复操作要求的基础指标。除此之外,部分修复功能在此基础上对系统还有特殊要求,大致可分为两类:

(1)不能掩盖原始素材的瑕疵,主要针对画面中噪声、脏点、划痕、闪烁、抖动损伤的修复处理;

(2)不能添加额外的失真和噪声,主要针对画面中颜色失真、马赛克、画面镶边等问题的修复处理。

这两类特殊要求体现了电影数字化修复与其他影视制作的差异。修复工作对象是带有不同程度损伤的电影素材,修复目的是消除或减轻损伤。因此,修复的前提是修复系统能够准确呈现出损伤,修复人员方可依据具体情况制定修复方案。在本地修复模式中,从素材源数据输出到显示器的传输通道是无压缩的,数据真实反映在监视设备上,所有修复操作“所见即所得”。而云修复模式下则不同,素材数据在传输到显示设备前需经过压缩编解码操作,噪声、抖动、闪烁等源图像的损伤都不利于图像压缩。若压缩比过高,则会在客户端显示中出现掩盖损伤的情况,影响修复判断。如果云模式下数据不能真实反映到显示设备,修复操作就不能 “所见即所得”,这为修复质量控制增加了风险,因此必须对各种技术方案下图像回传的准确性和质量进行评估。

2.5 电影云修复的部署模式

2.5.1 公有云

公有云作为第三方提供商通过公共互联网提供的云计算服务,其云端资源面向社会开放,任何人、单位或组织均可按需租用这种服务,使用云上共享资源。市场上主流公有云服务包括亚马逊AWS、微软AZURE、阿里云、腾讯云等。通常,公有云按照主机配置 (CPU、GPU、存储容量)、网络带宽使用量、使用期限、公网IP数量等因素计算支付费用。系统的配置、管理与维护工作由云服务提供商负责。租户可以管理自己的虚拟机,进行开关机、安装和运行软件、上传下载数据等操作。

本文对腾讯云服务的付费情况进行了调研。在腾讯云租用一台图形工作站 (GPU 渲染型GN7vw:8核CPU、32G 内存),月租费根据GPU 颗数(0.25到1 颗)和内网带宽不同,价格在1800 到2500元不等。设置公网IP 免费,但租用公网带宽需另外收费,分带宽计费和流量计费两种租赁方式。按带宽租赁价格如表2 所示。按照使用流量计费,具体又分成按小时 (576元/GB/小时)计算和按天(24元/GB/天)计算。从这一实例可看到,与服务器本身租费相比公网使用费要高得多。因此若租用公有云服务,使用成本中大部分将会花费在网络服务上。

表2 腾讯云公网按带宽租用价格

此外,本文也实际测试了阿里云新推出的无影云桌面服务。测试选取了该系列中专用于图形设计与视频处理的GPU 图形型套餐。套餐包含多种硬件配置可供选择,测试所选配置如表3所示,月租价格为3066.32元。除所选套餐外,根据显存大小和CPU 数量不同,还有多种套餐可选,租费从2000到6000元每月不等。因此对于修复项目,若通过公有云部署云修复系统,虽免去了一部分本地系统的搭建费用,但云服务租费又将引入一笔不可忽视的成本投入。需根据项目规模和实际需求来进行核算与选择。

表3 阿里无影云配置详情

2.5.2 私有云

私有云是通过互联网或者内部专用网络连接的只面向特定用户提供的云计算服务。私有云具备云服务的可伸缩性和弹性特点,可在定制范围内为用户提供比公有云更高的安全性,在性能定制、资源配置和风险控制上均有优势。私有云有两种部署方式,一种是直接部署在用户自己的机房,成为本地私有云;另一种是由第三方托管。

2.6 电影云修复的远程连接方式

本文对远程桌面类和原生C/S架构软件两种技术实现方式分别做了分析研究。

2.6.1 远程桌面类

远程桌面是云计算的通用解决方案之一。云桌面上的应用程序完全在云端运行,除远程显示外,程序运行性能与桌面本身基本无关。客户端只负责把键盘鼠标操作发送给服务器,服务器把整个计算机的桌面输出截断,重定向到客户端,客户端把服务器的桌面输出显示在本地监视器上。在显示方面,音视频应用的图像通常是通过OpenGL 或者DirectX 方式直接写入显示缓冲区,而且大量采用GPU 硬件加速计算,所以早期的远程桌面通常不支持这类应用。但随着云计算技术的发展,GPU 厂家也开始从底层支持显示缓冲器回读,甚至加上了硬件编码器支持从显存编码,所以目前新的远程桌面或者云桌面产品已经可以支持此类应用。

远程桌面协议是实现远程桌面应用的关键技术之一,决定了客户端与云端通信方式。常见有微软公司的RDP10 协议,Citrix 公司的ICA/HDX 协议、VMware公司的PCoIP协议等。不同协议对于电影修复系统的支持程度有所不同,需根据具体系统架构和修复需求进行选择。

2.6.2 原生Client/ Sever架构软件

2.6.2.1 原生C/S架构

原生C/S (Client/Server)架构就是从底层开始就将应用程序设计成由服务器 (Server)和客户机(Client)两部分组成的分布式系统。Client通过远程过程调用 (RPC)直接访问Server,不再通过远程桌面或其他中介转发,各种手机APP均属此类架构。远程桌面则属于B/S (Browse/Server)架构,本质上远程桌面或者浏览器也是C/S架构,只是采用了通用的客户端程序。为便于区别,本文中把专用C/S架构称为原生C/S架构。云计算的本质是分工和分享,原生C/S架构能够充分发掘云端设备和客户端设备的潜力,发挥各自优势,优化任务分工。

2.6.2.2 原生C/S架构特点

(1)高性能

原生C/S架构为特定应用而专门设计。其每一项内部操作都是预知的,可根据需求进行优化设计。同样软硬件环境下,原生C/S架构的性能要显著优于远程桌面架构。此外,原生C/S架构可支持标准监看、监听环境,实现修复原素材的随时查看,便于损伤评估。这是目前远程桌面技术条件所不能达到的。

(2)灵活性好

原生C/S架构均由底层开始设计。因此除一些基础的网络通讯协议外,基本不受任何其他限制,具有高度灵活性。

(3)安全性强

C/S架构还具备安全性强的特点,通常适合在局域网等小范围网络环境中应用。而国内电影修复属于专业性强而用户少的应用场景,同时对素材分发与制作过程的安全性又有较高要求,因此采取此思路开发并配合修复私有云搭建是具备良好适用性的。

与云桌面相比,原生C/S 架构也存在一些缺点。如设计复杂,维护成本高,稳定性差等。另外针对云修复应用的设计,还有一些特殊问题不容忽视,例如异常处理。云修复是数据量高、计算强度大的强交互任务,且需要使用大量外部数据,极易出现各种异常。本地模式通常采用弹出桌面对话框来提示。云桌面亦可采用此方式,但是原生C/S架构不行。此架构下弹出对话框仅在云端,客户端无显示,因此需专门设计异常处理机制。又如,影视制作软件广泛采用主机+插件模式。有些第三方插件(如Neat Video降噪器)有自身的配置对话框。在原生C/S架构下,这类工作在云端的插件无法直接在客户端弹出对话框,因此也需采用特殊处理方法。

2.6.2.3 针对电影云修复应用优化原生C/S架构设计举例

影片修复需要高等级的图像质量,高质量意味着高码率或者高级编码方式。而高码率则又需求高带宽。同时,修复操作要求系统能满足低延迟以实现流畅而大量的交互式操作。高级编码方式可以提高质量、降低码率,但计算复杂度高和帧间压缩算法也会增加延迟。可见,在画质、带宽和延迟三方面是互相矛盾的。因此实现云修复的关键技术就是如何解决这些矛盾,在其中寻求平衡点。途径之一是针对流程中不同修复工艺的侧重点灵活运用图像压缩算法,合理分配计算任务。

例如检视功能 (Inspect)的设计。检视是修复流程的基本操作之一,包括连续播放检视和随机定位检视。连续播放检视的首要条件是平滑不能卡顿,但可以容忍一定程度的初始延迟,即可接受修复人员按下播放键后等待半秒再播放的情况。随机定位检视则必须快速响应,否则严重影响工作效率。针对这两种情况,连续播放检视时采用帧间压缩算法,可以提高质量,降低码率。随机定位检视则必须采用帧内压缩,因为帧间压缩必须要有足够的前后参考帧才能输出编码数据流,会产生较大的延迟。而这种优化设计只能在原生C/S架构下才能实现。云桌面是无法得知用户操作是连续播放还是随机定位检视的。

再如,手绘(Paint)是云修复的一项人机交互的高负荷操作。需跟随用户鼠标移动路径实时处理图像并将结果反馈给用户,如果用户移动速度很快就会产生明显延迟。在C/S架构下,客户端图像是客户端程序自行绘制的,因此可以采用局部替换的方法,服务器只传送当前鼠标点作用范围内的图像块,由客户端结合以前的缓冲图像拼接出最终结果,从而提高传输效率,提升用户体验。而用户在进行同一图像的缩放和移位检查时,则可完全由客户端依据缓存自行绘制,无需云端服务器参与,节省了网络流量。

3 云修复技术难点分析

目前,全球范围内还没有成熟的电影云修复技术解决方案。而现有电影云制作的核心问题,仍主要集中在如何实现海量数据的低延迟低成本传输。对于电影云修复来说,问题更甚。现有电影云制作技术,主要应用在云剪辑和云渲染方面。其中,云剪辑所体现出来的优势在于协作,由于使用代理画面,其数据传输压力可以得到降低;而云渲染主要目的是共享算力,不要求实时交互性操作。而云修复与二者不同,需要满足画面、声音实时修复和播放功能,这就在现有电影云制作基础上,增加了实时交互性操作的技术要求。因此,海量数据的传输及运算成为研究云修复模式的技术关键。所谓电影云修复,从逻辑上是把现有的本地部署转换成远程分布式部署,如何实现高质量低延迟的视音频网络传输是修复系统向云端迁移的技术难点之一。

另外,电影数字化修复系统的搭建核心是数据移动,即将存储中的媒体文件传送到工作站内存,数据经过修复处理后再输出到显示器显示出来修复结果。在本地模式中,程序运行在同一计算机中,数据移动是从一块内存传送到另一块内存或者设备存储器,地址空间是统一的。而云模式中,程序运行在不同的计算机上,数据移动必须通过网络。影视制作比一般办公或者通讯应用传送的数据量高出很多数量级。而修复制作要求可类比于电影母版制作,需要最高等级的质量,高质量又需要高码率或者高级编码方式。高码率意味着在传输中需要高网络带宽,成本很高。同时,修复制作还需要低延迟以实现交互式操作,低延迟网络同样价格昂贵。因此在修复质量、带宽、延迟、成本四方要素中取得平衡也是当前云修复技术实际应用所面临的关键问题。

4 结束语

基于上述调研与分析,现阶段技术条件在硬件、传输能力等方面已初步具备搭建电影云修复系统的基础和技术可行性。可依托公有云服务或私有云平台,将修复流程中的损伤修复、编辑、校色等环节的工作部署到云端,在一定程度上实现本地修复配置成本的降低。但从目前影视云制作发展整体情况分析,相关技术仍处于发展过程中,尚有诸多技术瓶颈,离真正在云端实现修复全流程的目标还存在一定差距。例如各类修复制作专业软件对云模式的支持程度,云修复系统在影像调色与调音专用外设上的兼容程度以及远程修复所引入的数据传输和网络服务租用的相关成本等。以上问题仍需后续进一步开展针对性研究。相信随着技术飞速发展,电影云修复将会逐步确定和完善其应用模式、改善和突破技术瓶颈。未来电影云修复模式的成熟应用,应能够与电影云制作流程进行良好衔接,获得更灵活多样的修复制作能力,优化修复流程,提升制作效率,加快推进智能化发展。