基于媒体智能中台架构的内容库设计与实现

章 涛

（金华市新闻传媒中心，浙江 金华 321000）

0 引言

随着媒体融合不断向纵深发展，广播电视制作系统传统“前台+后台”架构的缺陷日益显著，如部署维护复杂、资源利用率低、能力单一等，已经不能满足内容生产快速变化的需求，其原因主要在于前台需求与后台特性不匹配。前台以用户为中心，具有敏捷性，而后台的作用是保证核心业务系统运行，具有稳定性。后台的稳定性和前台的敏捷性之间存在匹配速度的差异问题，导致后台不能及时响应前台的需求[1]。提取前台、后台的一些资源，使其具备一定的可复用能力，并以应用程序编程接口（Application Programming Interface，API）的形式服务于前台应用，从而形成中台的架构。

金华市新闻传媒中心“金彩云”平台自2017 年完成建设并投入运行以来，经过不断迭代和完善，覆盖了广电采编制作全流程业务。在运行过程中，同样遇到了用户需求与平台架构不匹配的问题，其中最为显著的是智能化需求难以满足。常规的广播电视制作系统的智能化升级往往局限于媒资系统或内容库，将智能化能力与系统进行紧耦合，因此难以在其他生产制作环节实现能力复用，造成极大的资源浪费。“金彩云”平台从架构入手，进行智能中台技术系统的建设，并在此基础上完成智能化内容库的应用实践。

1 智能中台应用规划

通过分析浙江省多个地市级电视台的情况，发现智能化需求主要集中在以下3 个方面：一是能否显著降低人员的重复劳动；二是能否赋能用户提升作品质量；三是能否充分发挥媒资作用创造价值。基于以上需求规划了3 类应用，便于智能中台贯穿于融媒体业务流程。

1.1 智能选题策划应用

贯穿线索、报题、选题、任务等环节，为融合媒体内容生产发布提供数字化、流程化手段，协助业务部门强化媒体融合生产的指挥决策能力，构建媒体生产的“作战指挥室”。

1.2 智能融合生产应用

支持图文稿、音视频稿、图集稿等全媒体稿件生产，在新闻采集、生产、分发、接收、反馈中，利用文本、语音及视频的三模态大模型，兼具跨模态理解和生成能力，结合海量全媒体数据积累和媒体融合业务需求，实现对媒体内容的创作、分析、处理，以及媒体内容的智能化、自动化处理，能够帮助记者或者编辑更快地创作出大量高质量的内容，解决传统人工创作过程中面临的时间、成本及跨语种、跨领域等问题。同时，辅助媒体内容创作、生产和加工，提高媒体业务的效率和质量[2]。

1.3 智能审校应用

基于知识库、机器学习、自然语言处理（Natural Language Processing，NLP）、光学字符识别（Optical Character Recognition，OCR）等相结合的内容检查模型算法，建设专属多模态内容的安全审核系统，实现对文字、图片、视频和音频等的智能审核。支持常见错误检查、用户自定义错误校对，支持涉政、涉黄、暴恐、粗俗、广告等内容的智能识别，降低业务违规风险。通过云校对服务接口结合私有化软件开发工具包（Software Development Kit，SDK），实现同步和异步检校，全面提升内容安全风险管控。

以上3 类应用基本覆盖了媒体资源的生命周期，在技术实现上都依赖于中台系统底部的内容库场景。后文将解析智能中台整体架构的设计，重点介绍智能中台支撑下内容库场景的构建。

2 智能中台技术架构

2.1 总体架构

智能中台在技术上采用容器+微服务的架构，一方面实现模型一键部署，自动调整弹性计算资源，具备虚拟化异构算力和弹性扩缩容能力，能够满足用户快速业务创新需求。另一方面，利用微服务技术性能特性，将算法、数据、应用以微服务的方式解耦，其中任一模块的调整对于整个人工智能（Artificial Intelligence，AI）技术应用的影响都是可控的，具备灰度发布、弹性伸缩、高可用性和无单点性能瓶颈等特点，从而加速新AI 应用场景的开发。智能中台架构，如图1 所示。

2.2 架构主要优势

智能中台在技术上采用容器和微服务架构，具备以下优势。第一，快速满足创新需求优势。由于平台采用的是容器和微服务架构，一方面能够快速部署，另一方面将算法、数据、应用以微服务的方式解耦，可对任一模块进行调整，从而加速实现AI 新应用场景的开发。第二，具备技术性能资源优势。拥有自动调整弹性计算资源和模型一键部署能力，在灰度发布、弹性伸缩和高可用上具有无单点性能瓶颈等特点。通过虚拟化异构算力和弹性扩缩容能力，能够解决模型部署复杂、资源浪费、手工扩展资源效率低的问题。第三，使用统一标准接口优势。包括统一API 网关、调用接口、业务计量、用户管理和运维管理，为二次开发提供良好基础。支持多业务系统对接验证及能力调用，支持第三方媒体应用、AI 算法模型及AI 服务能力接入，并支持单一原子能力API 的调用等[3]。

3 内容库场景的智能化模型

内容库是内容资源整合、管理、共享和使用的枢纽，是节目“多元生成”和媒体融合生产的基础支撑系统，更是实现其他媒体业务智能化场景的必要条件。在智能中台基础上进行内容库场景搭建，就是在实现公共能力服务、流程定制服务及开放接口服务的基础上，提供以数据为核心、面向平台业务、基于融合生产及全媒体应用特性的统一内容服务能力[4]。团队以业务为驱动，以自主构建智能化模型为核心，基于自身及生态圈用户需求进行模型调试训练，完成内容库场景的落地。

3.1 内容库设计思路

在浙江全省媒体融合之际，对接广电和报社现有历史媒体素材，对历史素材进行AI 识别，提升历史素材的可用性，通过素材资源库上传的素材也可以自主选择AI 识别的方式，实现基于互联网的上载、存储、编目、加工、分析、分发和下载等业务流程。充分利用AI 人工智能中台，提供多媒体素材的智能识别，包括智能编目、人脸识别、语音识别、场景识别以及智能标签在内的分析与处理功能，实现资源管理的高效化与智能化。同时，赋能数据统一融合、协同发展，盘活数据资产，实现数据资产的高效利用[5]。

3.2 智能化模型

智能化模型是智能中台的技术核心，其性能决定了内容库的业务能力。团队基于NLP、OCR 和人脸图像识别等基础原子能力，从媒体业务需求出发构建模型。按业务的时间顺序划分，模型主要由智能调度处理中心、智能学习分析中心和智能算法引擎中心3 部分组成。智能调度处理中心完成媒体文件预处理，分析调度管理和输出处理结果等。智能学习分析中心实现对数据文件的分析提取，并进行逻辑判断、数据提炼和数据推送等。智能算法引擎中心提供如人脸识别、语音识别、文字识别和场景识别等识别处理的智能化应用。

3.2.1 智能调度处理中心

智能调度处理中心负责整个AI 智能中台的能力调度与管理。媒体文件输入后，智能调度处理中心通过调用各种AI 算法，根据调度规则管理完成媒体文件视频的分类、视频的切分、视频文字识别与分类等预处理，并将预处理结果输出至智能学习分析中心进行进一步处理。智能调度处理中心业务逻辑，如图2 所示。

3.2.2 智能学习分析中心

进一步分析音频、图像、视频、文字等媒体文件类型，根据预测的视频结构化处理模板进行逻辑判断、数据提炼和数据推送，实现对数据类型的智能化分析提取。智能学习分析中心业务逻辑如图3 所示，智能化分析详情页面如图4 所示。

图3 智能学习分析中心业务逻辑图

图4 智能化分析详情页面

3.2.3 智能算法引擎中心

部分场景较为复杂的媒体文件通过智能学习分析中心分析提取标签后，经智能调度处理中心判断为分析结果不完整的，将转入智能算法引擎中心进行深度分析。智能算法引擎中心包含多种智能算法能力（图5），集成多个AI 算法工作流模版，具备音频算法能力、图像算法能力、自然语言算法能力等核心能力。

图5 智能算法能力

3.3 内容库应用实践

经过充分的研发调试，内容库已经能够准确处理不同类型的媒体文件。针对较为复杂的视频文件，内容库调用智能化模型从片段层、场景层和镜头层3 个维度进行分析，实现标签精准提取，内容要素无遗漏。内容库于2022 年7 月正式投入使用，截至2023 年12 月已完成分析媒体文件31 939 个。内容库数据统计系统详情页面如图6 所示。

图6 内容库数据统计系统详情页面

4 内容库技术亮点与创新点

此前的广播电视技术系统智能化平台以及具备智能化能力的内容库，在实际运行的各环节中人工介入的占比仍然较大。经分析，可以归纳为以下3 点原因。第一，AI 能力的跨模态协同不深入，导致内容分析识别不准确，需要人工调试。第二，内容标签逻辑与实际场景不匹配，需要人工反复修正。第三，创建实例过于复杂，需要专业人员进行操作。针对上述问题，“金彩云”进行一次次技术攻关和软件功能迭代，不仅解决了现有问题，还实现了新技术的探索实践和创新运用。

4.1 基于音、视、图、文多维跨模态的AI 分析

中台结合多维度能力输入，融合场景识别、语音识别和人脸识别算法模型打造精准的视频切分能力，新闻视频拆分支持镜头切分、场景切分和片段切分。基于智能封面、智能摘要、台标识别、片段类型识别、公众人物识别、实体关键词识别、抽象关键词识别和新闻帧标签等多种算法，自动获取各新闻片段、场景和镜头的标题、类型、封面、摘要、标签内容。相较于常规的多模态AI 分析，中台系统基于广电需求进行针对性的优化，有效提升了分析识别的准确度。

4.2 全媒体内容的标签识别功能

基于标签治理和清洗规则以及20 多种治理预处理和后处理策略，对标签数据进行校验、过滤、排序、纠错、匹配等处理。中台系统识别模型的自优化，在实际应用中不仅减少了无效数据项所带来的运算存储负荷，而且有效提升了基于中台系统各项应用的易用性和准确度。

4.3 基于分布式基座的镜像仓库托管能力

中台以分布式容器编排平台Kubernetes 作为基座，能够托管100 多种平台镜像仓库和模型服务，支持第三方算法/模型托管，平均算法接入时间为1 d。在算法的开发和接入过程中，制作镜像往往有比较高的时间成本和技术门槛，要求用户掌握一定的Docker 相关指令。中台系统通过统一镜像接入平台和可视化界面使得普通用户也可以轻松制作算法微服务，大大提升了接入效率。针对镜像生成耗时较长和镜像文件体积较大的问题，中台使用镜像仓库的方式进行动态管理。通过动态分析镜像制作任务，采用以空间换时间的策略提前预备组件使用中频率和耗时大的镜像，将基础镜像里安装的常用组件构建成模型镜像，实现类似组件场景的快速复用，缩短制作镜像的时间。

5 结语

智能中台采用云计算、大数据和人工智能等新技术，建设了混合云架构的云服务体系，实现了媒体融合生产、管理、发布业务的一体化。基于开放设计思维，平台为各类创新应用提供底层支撑，引入多种第三方功能，集约化管理多种类应用，实现媒体泛智造能力的统一汇聚。

自2022 年8 月运行以来，“金彩云”智能中台实现了用户多终端参与媒体内容生产的双向、多样化的平台管理方式，在支撑台内和全市媒体新闻融合生产上发挥了重要作用。平台以先进技术支撑生态圈的协力合作，通过服务变现保证了智造模式的可持续发展。平台将不断更新迭代，力求在广播影视、智慧城市、网络安全、医疗健康和工业制造等领域进行开拓，引领产业协同创新，促进产业链的协同共进，为各项事业的发展提供强劲助力。