河套 IT TALK 64：（原创）HDR 的适配性与流程化的挑战
当我们谈论视频技术时，超高清视频（Ultra High Definition，简称UHD）无疑是当今最令人兴奋的领域之一。上期，我们介绍了一下高动态范围（HDR）当下复杂的标准状况，以及这些标准之间的差异性。本期专门谈一谈HDR发展面临适配性、流程复杂、两极化三大问题。
上篇我们介绍了HDR有并存的多种格式标准，标准之间的兼容性较差，不能覆盖主流终端的适配、认证以及测试过程，导致终端呈现效果差异明显，用户难以获得一致的视觉体验，这给产业生态带来了挑战和难题。当内容创建者以一种格式创建 HDR 内容但与特定设备不兼容时，就会出现兼容性问题。例如，如果用户有一台支持HDR Vivid的高清电视，但 HDR 内容是 HDR10 格式，电视将无法以最佳质量显示内容。同样，如果用户拥有 HDR10 电视，但内容是HDR Vivid格式，电视将无法以最佳质量显示内容。
兼容性问题的处理策略
为了解决兼容性问题，有几个处理策略：
1. 转换内容：一种选择是将内容转换为兼容格式。有多种软件程序可以将 HDR 内容从一种格式转换为另一种格式。但是，这可能会导致质量下降，尤其是在从更高级的格式转换为不太高级的格式时。
2. 使用兼容设备：另一种选择是使用支持多种 HDR 格式的设备。例如，一些电视同时支持 HDR10 和 HDR Vivid 格式，允许用户播放任一格式的内容。这消除了转换内容的需要，并确保内容以最佳质量显示。
3. 选择通用格式：选择像HLG这样的通用格式也有助于处理兼容性问题。HLG 兼容 HDR 和非 HDR 设备，因此内容创作者可以创建这种格式的内容并确保它可以在任何设备上播放。
4. 认证测试：认证和测试对于确保设备与 HDR 标准兼容至关重要。制造商的目标应该是让他们的设备获得UWD、 UHD 联盟等组织的认证，联盟为 HDR 内容和设备制定了兼容性标准。此外，制造商应进行严格的测试，以确保其设备兼容多种 HDR 格式，并能够以最佳质量显示 HDR 内容。
视频全生命周期HDR兼容性考虑
但以上还只是泛泛谈了一下HDR兼容性问题的应对策略，一个视频全生命周期，将经历：拍摄、编辑、色彩分级、母版制作、传播/传输、终端播放多个过程，每个过程都少不了处理HDR兼容性问题。所以如果任何一种HDR格式，要真正普及，就一定是端到端的解决方案。
HDR拍摄制作的工作流程示例
1.视频捕捉（Video Capture）：HDR 制作的视频捕捉阶段涉及使用能够捕捉比标准摄像机更广泛的亮度级别和颜色的摄像机来捕捉素材。这可以包括具有高动态范围传感器的相机，它可以捕捉图像高光和阴影中的更多细节，以及具有宽色域的相机，它可以捕捉更广泛的颜色。一些相机还支持更高的帧速率，这对于创建流畅的慢动作镜头很有用。使用曝光范围有限（称为低动态范围 (LDR)）的非 HDR 相机拍摄的图像可能会导致高光或阴影中的细节丢失。尽管配备自动多重曝光的相机可以改善这一过程。现代CMOS 图像传感器具有改进的动态范围，通常可以在单次曝光中捕获更广泛的色调，从而减少执行多次曝光 HDR 的需要。一些智能手机为其相机提供 HDR 模式，大多数移动平台都有提供多重曝光 HDR 拍照的应用程序。现代手机和相机上的一些传感器甚至可以在芯片上组合两个图像，这样用户就可以直接获得更宽的动态范围，而无需进行像素内压缩，以进行显示或处理。2020 年，高通发布了骁龙 888，这是一款移动SoC，能够进行 4K 计算式多重曝光 HDR 视频捕捉，并以与HDR 显示器兼容的格式进行录制。2021 年，小米 11 至尊纪念版智能手机能够为视频拍摄进行计算性多重曝光 HDR。
Sony PXW-Z280 4K HDR 3-CMOS 1/2″ Sensor XDCAM Camcorder with 12G-SDI
2. 视频编辑（Video Editing）：拍摄素材后，需要对其进行编辑以创建最终视频。视频编辑包括剪切和修整素材、按所需顺序排列剪辑以及添加转场、标题和其他效果。在剪辑过程中，可以调整视频的颜色和亮度级别，但最终的调色通常是在专用的调色工具中完成的。处理 HDR 内容时，需要在广色域色彩空间（例如 Rec. 2020 或 P3）完成，以确保保留相机拍摄的所有颜色。这有助于防止在使用较窄的色彩空间时可能出现的色带和其他问题。必须使用经过校准的 HDR 监视器来准确查看和调整 HDR 内容。这可以包括能够显示高亮度范围（例如 1000 尼特或更高）的监视器，以准确地表示镜头中的亮度级别。
HDR制作后期的颜色分级
3. 颜色分级（Color Grading）：颜色分级是调整素材的颜色和亮度级别以获得所需外观的过程。这可能涉及调整镜头的曝光、对比度、饱和度和色调，以及应用滤色器和其他效果。对于 HDR 内容，颜色分级尤为重要，因为更广泛的亮度级别和颜色范围会使获得一致的外观更具挑战性。在颜色分级过程中，重要的是使用色调映射工具来调整素材的亮度级别，以确保它在不同的 HDR 显示器上呈现最佳效果。色调映射有助于确保 HDR 内容在具有不同峰值亮度水平（例如 1000 尼特、4000 尼特或 10000 尼特）的显示器上正确显示。
4. 母版制作（Mastering）：颜色分级完成后，需要对素材进行母版处理，以便以各种 HDR 格式交付。母版处理涉及以所需格式创建视频的最终版本，其中可能包括调整亮度和颜色级别以匹配目标显示器。在母版制作过程中，确保视频与目标格式兼容并且在 HDR 显示器上呈现最佳效果非常重要。HDR 元数据用于向 HDR 显示器提供有关内容的颜色和亮度级别的信息。确保 HDR 元数据在母版制作过程中正确编码到内容中非常重要，因为这会影响内容在不同 HDR 显示器上的显示方式。
5. 编解码存储和传输（Codec）：不同的视频编解码器以不同的方式支持 HDR，有些编解码器比其他编解码器更适合处理 HDR 内容。高效视频编码 (HEVC) 编解码器，也称为 H.265，是比 H.264 更先进的编解码器，支持比以前的编解码器更广泛的位深度和色彩空间，具有更高的压缩效率，这使其非常适合处理 HDR 内容。HEVC 还包括对 HDR 元数据的支持，这使得视频可以在 HDR 显示器上正确显示。H.266，也称为通用视频编码 (VVC)，是一种较新的视频编解码器，提供比 HEVC 更高效的压缩。它还支持更广泛的位深度和色彩空间，这使其非常适合处理 HDR 内容。与 HEVC 一样，H.266 包括对 HDR 元数据的支持。但是，特定编解码器对 HDR 的支持也取决于用于播放内容的软件和硬件。后面我们会单独再展开谈一下视频编解码的故事。
Huawei Smart TV
6. 终端播放（Terminal Display）：硬件终端的HDR的能力是关键，当然，播放软件也很重要，任何一个环节处理不当，都会让HDR的效果大打折扣。为了获得最佳的 HDR 体验，使用专为处理 HDR 内容而设计的显示器非常重要。这些显示器通常被标记为“支持 HDR”，并且峰值亮度水平至少为 1000 尼特。使用具有准确色彩表现的显示器也很重要，尤其是当您在专业环境中处理 HDR 内容时。覆盖宽色域的显示器，例如 P3 或 Rec.2020 ，将能够显示比色域更窄的显示器更多的颜色。为确保 HDR 内容在特定设备上正确显示，设备支持内容使用的 HDR 元数据非常重要。此元数据提供有关内容的颜色和亮度级别的信息，并允许设备相应地调整其显示设置。最后，正确校准显示器以确保它以正确的亮度级别显示 HDR 内容非常重要。这可能涉及调整背光级别、对比度和亮度等设置以获得最佳图像。显示器还需要配备HLG和PQ伽马曲线，用于支持HDR视频。
HDR Vivid的端到端处理方案
接下来，我们针对HDR Vivid来谈一下如何做到完善的端到端标准。
HDR Vivid端到端解决方案工作流程图
为了保证最优的显示效果，准确地把握每一个环节的要点与要求，HDR Vivid 构筑了端到端解决方案。首先，源端输入为PQ/HLG 格式的HDR 视频；前处理模块可以基于HDR 视频进行分析，生成静态元数据与动态元数据；编码传输模块可以将HDR 视频与元数据进行编码封装，输出HDR Vivid 码流；解码模块可以对码流进行解码分析，得到HDR解码视频与元数据；HDR 和SDR 显示模块会结合元数据与目标显示终端参数，对HDR视频进行相应的显示适配处理，并在显示终端上正确显示。下面将分别介绍HDR Vivid内容制作端与终端处理方案。
1. 内容制作端方案
1.1 后期制作方案：HDR Vivid 精品内容需要通过后期制作来实现。目前HDR Vivid 技术已经集成于多种后期制作工具中，专业制作者可以在原有熟悉的生产环境下，结合自身对艺术的感知与表达，通过调整HDR Vivid 动态元数据，传递出独有的HDR Vivid 内容风格。HDR Vivid 技术的制作工具是在已有制作端增加少许改动实现的。在制作端不修改已有的PQ（ST2084）和HLG HDR 制作流程，只增加了动态元数据产生环节，提供了自动化动态元数据生成工具和实现个性化创作意图的手动调节工具，采用符合调色习惯的图形界面。
1.2 直播方案：目前HDR Vivid 已经支持在直播端的内容生成方案，具体形式为直播编码器对原始HDR 码流（PQ/HLG 格式）进行实时分析与动态元数据提取，再将元数据按照HDR Vivid封装标准要求进行封装，形成HDR Vivid 码流后进行后续分发与传输。
1.3. 云端转码方案：云端智能处理场景是利用云端算力，对HDR Vivid 视频进行转码处理，以及自动化生成HDR Vivid 的重要手段。目前云端已具备带有将HDR Vivid 元数据进行解析和透传的能力。云端转码的处理流程包括对输入文件格式的解析、解码、处理、编码、输出文件格式生成等步骤。
端到端的自动化云端HDR 媒资生产过程主要有：
（1）HDR Vivid 元数据修改后直接透传。先将元数据解析成文本格式（如XML 或者JSON 格式），进一步修改后，再根据标准嵌入到媒体流中。通过元数据的直接透传，可将原视频的元数据信息直接写入转码后的视频，保证原始作者的创作意图。
（2）非HDR Vivid 视频转换后修改再透传。如果输入的原始视频是不带有HDR Vivid元数据的HDR 视频，那么可以根据标准自动生成元数据并嵌入视频流。
（3）对于输入源视频为SDR 视频的情况，可先将SDR 视频转换为HDR 视频，转换方式可采用传统逆色调映射（Inverse Tone Mapping）或者基于AI 技术进行转换，转换后对原始画质进行提升重建，然后进行元数据的自动化生成和写入。
2. 终端处理方案
接收端播放设备在接收到HDR Vivid 码流后，需要先进行视频解码，分析出其中的动态元数据并基于此进行HDR 渲染，最终呈现出高质量的画面内容。这里的HDR Vivid 码流可以是经过后期制作的精品内容，也可以是直播场景中的实时码流等。一般可以将解码方式分为两种：硬件解码和软件解码，具体实现方式下面分别说明，解码播放的基本流程如下图所示：
2.1 硬件解码播放
硬件解码播放是指终端显示设备利用自身具备的硬件解码能力，从HDR Vivid 码流中解析出动态元数据并根据元数据进行动态映射及色彩校正，最终在设备上正确显示的过程。目前，支持硬件解码播放HDR Vivid 的设备日趋多元化，包括且不限于相应品牌电视、手机、平板电脑等。即使是尚不具备硬件解码能力的显示设备，也可能通过支持软件解码播放的APP、播放器等，观看到HDR Vivid内容。若以上解码能力皆不具备，终端显示设备会将元数据丢弃，按原始码流格式正常播放（HDR10/HLG），这也体现了HDR Vivid 良好的后向兼容性。
2.2 软件解码播放
软件解码播放是指依靠软件解码能力将动态元数据从HDR Vivid 码流中解析出来，并基于此在终端设备上进行动态映射及色彩校正并正确显示的过程。目前，应用的具体形式包括且不限于智能手机、平板电脑、智能电视上的APP 以及PC 上的视频播放器等。由于该方案不受硬件设备支持的限制，一定程度上对大范围地推广优质HDR Vivid 内容有着积极的影响，有利于促进HDR Vivid 产业链的形成与发展，也可以看作对硬件解码播放场景一个较好的补充。
HDR Vivid采用动态元数据映射方案，可以根据不同场景的特点，结合终端的最大显示能力，生成不同的映射曲线，更好地还原创作者的原始意图。在一般的映射方案中，往往比较容易出现高光区域细节丢失的情况，也称为过曝现象。HDR Vivid 采用动态元数据，基于对场景的分析，构建映射曲线，高亮部分得以有层次地保留；同时将终端显示设备的能力纳入考量，原始场景会得到最大程度的视觉还原。
亮区细节保护（右图为HDR Vivid 效果）
若仅仅考虑源中的高亮区域，为了使其正常显示而将整条映射曲线压得过低（类似S型曲线），最终显示设备上的暗部细节将会丢失。HDR Vivid 通过pheonix 分段映射曲线的设计，针对较暗区域可实现不对其亮度进行压缩（采用直线映射），保留了原有的细节。
暗区细节保护（右图为HDR Vivid效果）
当亮度发生变化时，颜色色相往往会发生偏移失真，HDR Vivid 方案在利用映射曲线进行亮度映射后，还会针对色相进行校正与补偿，使其更加接近片源的原始风格。
颜色校正（右图为HDR Vivid效果）
除了上述谈到的兼容性问题和流程复杂的问题之外，HDR还面临另外一个挑战，就是HDR存在两极化的问题。HDR Vivid的标准推出，对于中国4K/8K HDR播出标准和制作规范的统一有推动作用，但目前整体视频行业还是高清以及4K SDR内容，更易于制作普及。而除了4K HDR和HD SDR同播和直播流程，可以采用固定的转换参数来适配外，追求高品质的HDR及下转SDR效果，需要经过后期的分别调色来保证在HDR和SDR屏幕上最佳呈现，但这样也会增加制作的负担，效率影像以及可能由于多次转换带来的风险。另外，由于各电视厂家的不同规格产品存在现实效果（或者优化效果）不一致，也会影响高质量HDR内容最终的呈现效果。尽管存在上述的种种挑战，我们也必须乐观地看到一些好的趋势和变化：手机HDR拍摄降低了UGC HDR的门槛，HDR向移动端加速渗透。UGC、OTT平台的HDR内容增长提升了大众对HDR的认知。以腾讯、爱奇艺、优酷、咪咕等为达标的OTT平台和以抖音、快速、微博、B站等为代表的UGC平台在近2年均开始布局HDR技术。百城千屏，医疗，工业等产业互联网将引入HDR，加速推动HDR的产业普及。预计2023到2025年，HDR将处于加速发展阶段。热播电视剧以及北京冬奥会、世界杯等大型赛事大大拉动大众对HLR技术对认知。
相信，随着 HDR 技术的不断发展，制造商和内容创作者一定能够实现不同 HDR 格式之间的标准化和互操作性。这最终将使消费者受益，因为他们将能够在任何设备上享受 HDR 内容，而不必担心兼容性和流程性问题。
今天，我们就先聊到这里，下一期，我们再展开谈一下超高清视频的编解码技术。