「观潮」3.15晚会,AR创作艺术与现场互动体验深度解析

点击上方蓝字关注

中央电视台

3.15 晚会

中央电视台第27 届《3.15 晚会》于2017 年3 月27 日20 点在CCTV-2 财经频道现场直播，为了扩大关注范围，强调服务和科普功能，本届《3.15 晚会》首次使用AR 技术，贯穿晚会“消费预警”情景剧，实景表演与虚拟植入相结合，力求让观众通过震撼的AR 效果，产生身临其境般的感受，更加形象的揭露展示骗局内幕，辨真识假。

在传统的综艺晚会歌舞类节目虚拟植入应用基础上，《3.15 晚会》“消费预警”情景剧增加了“故事情节”和“实时互动”两个重要元素，就好比如果在春晚的小品节目当中使用AR 技术，虚拟植入与节目环节融为一体，无论在艺术效果上还是功能结构上，都进一步的满足了节目的需求，使之扩展成为真正意义上完整概念的AR，可以说是对以往虚拟植入应用在内容和形式上的一次突破。

而相对的，这种互动情景类虚拟植入应用的难点是在调试和播出过程中，实时互动AR 元素与演员情景表演之间的关系配合，由于《3.15 晚会》留给AR 技术的整体实施周期仅有一个月，我们采取了稳妥的录播形式，并在有限的时间里，合理安排了各个环节的工作。

下面通过“内容创作”、“系统规划”和“现场调试”三个方面，来解析《3.15 晚会》的AR 创作和应用过程。

符合节目主旨和内容需求的内容创作

一般来说，AR 内容的创作过程分为创意设计和场景制作两个阶段，也是让AR 图形从无到有的两个重要阶段，这两个阶段最重要的，就是一切从节目主旨和内容需求出发。

在最初的创意设计阶段，我们根据导演组给出的内容需求，以及揭露展示骗局内幕”的节目主旨，结合舞美效果图，在Photoshop 中完成了包括研究骗局的AR 实验室、瞬息万变的AR 大海、突然塌方的AR 悬崖在内的情景剧16 个AR 环节创意内容及对应的设计效果图。

下面笔者以晚会中三个研究骗局的AR 实验室的创意设计过程为例进行说明。

按照节目组的计划，“心理分析室”、“情报收集室”和“产品创新室”，分别用于“分析受害人心理”、“收集受害人信息”和“设计创造新骗局”三个节目环节。

图1 “ 产品创新室”创意效果图

图2 “ 情报收集室”播出效果

图3 “ 心理分析室”场景制作

AR 创作团队在理解它们的内容含义之后，进行了头脑风暴，分别按照“心理思想”、“信息数据”和“发明创造”这三个贴合节目主题的思路进行创意，在绘制效果图时，使用对应思路的图案和内部结构，例如心理符号和网络符号，组成全息风格的“大脑神经网络”、“数据云”和“齿轮发电灯泡”这三个AR 主题元素，放置在演员周围形成的玻璃结构上方，构成与节目环节配合的三个AR骗局实验室。玻璃结构上的反射贴图则使用的是现场真实环境照片，最大限度地塑造拟真AR 效果。

这样符合节目主旨和内容需求的创意效果图，很快就通过了导演组的审定，进入了第二个阶段，也就是AR 场景的制作阶段，在这个阶段中，我们使用MAYA、3DMax 和After Effects 等软件，深入设计制作AR元素的模型、材质贴图和序列动画，最后将这些素材陆续导入ORAD 系统3Designer 中完成AR 场景和动画的制作，并对全部场景进行整体优化。

为了让演员的表演看起来更加真实合理、容易理解，我们制作了非常逼真的三维元素，无论是将阳光明媚之下的平静大海变成狂风暴雨之中的波涛汹涌，或是让演员脚下的舞台瞬间塌方形成悬崖，现场环境配合演员表演瞬息万变，使观众通过这些生动且震撼的视觉效果感受人物在不同条件下的心理变化，更加深刻的领会节目主旨。

图4 制作逼真的三维元素

下面简单介绍突然塌方的AR 悬崖和波涛汹涌的AR 大海这两个AR场景的制作过程：

我们参照真实悬崖的照片，使用MAYA 制作了坍塌成悬崖之前的地面静止状态多边形模型，以及悬崖形成之后的悬崖切面多边形模型，并将地面切割成不规则的若干块，根据悬崖切面制作每一块地面的切面多边形模型，贴上真实岩体的贴图，然后把这个多边形模型的四边形化、硬化边、优化调整UV，由于悬崖结构的细节变化较为复杂，额外的多边形模型面数会给HDVG 渲染服务器造成极大的负担，所以，在确保模型具有一定真实细节效果的同时，最大程度的精简优化模型面数，最后生成VRML格式文件导入3Designer 中，按照先后顺序制作每一块地面的塌方下落动画，加以After Effects 生成的塌方灰尘动画序列，最终打造成为足以以假乱真的地面塌方形成悬崖的过程。

图5 舞台瞬间塌方形成悬崖的播出效果

然后，水和布料等柔体元素在AR技术的即时渲染中是实现难度较大的三维内容，即使是在最新的次世代游戏级即时渲染引擎当中，处理好与真实场景之间的融合关系，也是不容易的一件事，当然，在Orad 系统中，更大的问题是在元素本身效果呈现上的困难，在以往节目中，对于水面的处理，一般是制作一定角度的平面动画序列构建错觉上的假三维效果，为了实现更加真实的三维效果，这次我们另辟蹊径，使用更加巧妙的方法实现真正的三维效果。首先在MAYA 软件制作了大海波浪在一个时刻上下起伏的静止状态多边形模型（Polygon Model），同样将这个多边形模型四边形化、软化边、优化调整UV，然后生成VRML 格式文件导入ORAD 系统的AR 场景制作软件3Designer 中，在Y 轴上以原点为中心制作从负值到正值变化的循环动画，使模型正反向伸缩，原先静止的海浪从形状上不断上下起伏变化，最后将After Effects 软件生成的真实海浪动画序列贴在模型上，这样便形成波澜壮阔、配合情节变化的逼真三维大海环境。

图6 现场环境配合情节瞬息万变

具有针对性的AR系统规划

本届《3.15 晚会》仍然是在中央电视台的一号演播大厅中进行演练和直播，但是由于加入了AR 技术，需要根据一号演播大厅的现场环境，以及用近景展现细节的情景剧舞台表演拍摄特点，对AR 系统和相关的设备进行专门的整体规划。

于是，相对于春晚的标准配置，在《3.15 晚会》最终的AR 系统规划方案中，我们使用了舞台正前方的ROSS轨道机器人AR 机位，并将“春晚”中使用的左后方7 号摇臂AR 机位向前移动到舞台上场口位置，这两个AR 机位可以近距离拍摄演员表演与AR 内容之间的空间关系和细节内容，最大程度的展现虚实互动的空间立体效果，除此之外，我们保留了拍摄大全景时使用的正后方2 号固定AR 机位。

图7 ROSS轨道机器人AR机位系统图

图8 7号摇臂AR机位系统图

图9 2号固定AR机位系统图

在三个机位使用的跟踪技术上，考虑到现场灯光效果的频繁变化，我们放弃了更加灵活方便但很大程度上受到环境光源变化影响的光学跟踪技术，全部选择了依赖机械运动但更加稳定可靠的机械跟踪技术，对应三个虚拟植入机位，我们使用了三套ORAD 的即时渲染系统（HDVG）和播控系统（Maestro）。

决定最终效果的现场调试

值得一提的是，和传统虚拟植入的现场调试有所不同，为了确保演员与AR 元素之间实时互动关系的准确性，并将效率最大化，《3.15 晚会》中的AR 场景调试与情景剧排练是同步进行的，彼此相互协同优化调整。

在AR 场景和动画调试过程中，AR 团队连同导演组和节目播出相关的其它各工种人员，在舞台剧排练的过程中，共同针对情景剧剧本中的每一个环节，逐一对AR 内容的位置、大小、动画速度、光影变化等细节进行调试，并根据调试结果设计每个环节中摄像机拍摄的景别运动、以及演员在互动AR 元素时的站位动作，最后反复走场演练，确保录制时的每一个细节都符合节目创意要求。

图10 AR场景调试与情景剧排练同步进行

例如，突如其下的AR 金币雨的现场调试过程如下：在三维制作软件中，我们将AR 金币的大小、形状和质感，与地面真实道具金币相统一，并在3Designer 中结合现场舞美结构和灯光变化制作动画，调整元素位置，让多层次闪亮的AR 金币从舞台正上方环形LED 大屏幕中间的空洞里准确的落下，演员则根据返送大屏幕中的画面，在被规定的AR 动画范围内进行表演，配以舞台前轨道机器人的运动拍摄，整体演绎具有真实立体感的虚实互动情景剧，诠释了AR 虚实世界的实时互动性。

另外，反过来，每个AR 环节中的灯光和大屏幕动画都根据AR 内容的现场调试效果进行再设计，协调优化，让灯光和大屏幕动画与AR 内容效果前后层次呼应，缔造整体空间效果。

“

由于加入了AR 技术，《3.15》晚会“消费预警”环节让观众耳目一新，也给节目内容的创作来来了新的思路，事实上，AR 技术可以完成多种多样的节目需求，无论是在艺术效果上还是功能结构上，并且在很大程度上弥补实景内容和演绎内容的表现不充分，丰富有效画面。

如今，在大量的节目需求和技术投入之下，AR 技术已经被广泛的使用在了录播或直播节目当中，甚至和LED大屏幕一样成为了大小晚会和专题节目的标准配置，再加上光学跟踪技术、动作捕捉技术、虚拟现实技术（VR）等新技术、新手段的引入，给电视节目中的AR 应用带来了新思路，拓展了节目需求和创意，而这些新的需求和创意，也代表着AR 技术在电视领域中更加蓬勃的生命力。

我们相信，未来会在电视中看到更多像《3.15》晚会这样的突破性AR 技术应用。

”

（ 文 / 央视数码 封毅 ）