[2504.06301] Subjective Visual Quality Assessment for High-Fidelity Learning-Based Image Compression

JPEG AI是由联合图像专家小组（JPEG）开发的最先进的图像压缩标准。与 JPEG、JPEG 2000 和 JPEG XL 等传统基于变换的编解码器不同，这一新标准采用基于深度学习的图像编码技术来学习最佳的编码和解码策略。通过利用神经网络驱动的模型，JPEG AI 在保持卓越视觉保真度的同时实现了更高的压缩效率，标志着向人工智能驱动的端到端图像压缩的变革性转变。

核心定位与目标

• 多任务标准：不仅支持基础图像压缩，还能实现分辨率增强、降噪、前景提取、图像分类等多种任务，通过统一的神经网络引擎完成多维度处理。

• 技术突破：相比传统编码标准（如 JPEG、HEVC/H.265、VVC/H.266），基于端到端神经网络设计，解决传统编码复杂度高（如 VVC 编码 8160×6120 图像需 5 小时以上）、依赖人工设计模块的问题。

• 版本规划：

  • JPEG AI v1 计划于 2024 年推出。

  • JPEG AI v2 预计在 2024-2025 年发布，目标是速度提升 10 倍、复杂度降低 10 倍，更适配计算机视觉（CV）和增强任务。

基于 “学习型核心引擎”，通过以下模块实现压缩与增强：

• 熵编码 / 解码：采用 me-tANS 算法，结合隐变量表示（Latent representation）实现高效比特流压缩。

• 隐变量处理：包括超分辨率解码、降噪、前景提取等子网络，支持多任务输出。

• 神经网络设计：分析变换网络（Analysis Trans. Net）和合成变换网络（Synthesis Trans. Net）分别负责图像特征提取与重建，支持 RGB/YUV 色彩空间和多种分辨率（4:4:4/4:2:2/4:2:0）。

编解码框架

采用 YUV 域编解码，具有去除分量间相关性以降低网络整体算力、解耦概率分布参数与特征图预测值估计等特点。

面向不同应用场景，设定了两个 operation point（OP），二者的区别在于 High OP 中编解码网络增加注意力机制且预测网络利用上下文信息。在解码算力方面，Base OP 约为 20kMAC/pixel，High OP 约为 200kMAC/pixel。

        图 1 显示了 JPEG AI 编码器和解码器的高级 diagram。

        像往常一样，JPEG AI 标准将编码器操作定义为非规范性的，仅为了便于理解规范性的解码器操作，包括权重和其他参数。编码器首先将源图像转换为 BT.709 标准中定义的 YUV 颜色空间，这是 JPEG AI 编解码器内部支持的格式。这涉及将图像分离为主要和次要颜色分量，两者都经过相同的压缩步骤：分析变换、潜在域预测、超编码和使用算术编码器（AE）的残差编码。分析变换使用卷积和非线性激活层对源图像进行去相关，产生潜在表示 y。标准中描述了两种可能的合成变换，带有和不带有注意力模型。这种潜在表示被进一步处理成一个非常紧凑的超张量 z，在残差计算之前进行编码，以实现有效的潜在域预测和熵编码概率模型的创建。超张量 z 被量化为 ẑ，并使用从训练模型获得的概率模型通过算术编码器进行压缩，该模型在编码器和解码器之间共享。然后，潜在域预测计算残差 r，从预测中减去，并进行量化（舍入）。该残差使用算术编码器进行编码，其熵参数来自超尺度解码器，产生流 r（见图 1）。

        解码器操作以相反的顺序反映编码器的操作。首先，解析流 z，超尺度解码器生成熵概率模型，为残差解码提供参数。请注意，编码器和解码器都执行此操作，以在两侧拥有完全相同的模型。接下来，解析流 r，并通过算术解码恢复残差 r。之后，使用ẑ通过超解码器和多阶段上下文模型执行潜在域预测，利用先前解码的信息。最后，上述三种合成变换中的一种输出解码图像。主要分量独立处理，而对于次要分量，它将主要和次要分量的潜在表示作为辅助输入纳入。

相关工具 

功能	工具
码率控制	单模型多码率、ROI 编码
降低复杂度	Skip 技术
提升压缩效率	自适应量化、隐变量缩放技术、隐变量在线更新、后处理增强滤波器

其中，Skip 技术当 σ 小于 0.2 时，符号高概率为 0，跳过熵编解码过程，可减少复杂度并提高编码效率，但存在引入 artifact 的潜在风险，且有面向 skip 技术的块级控制技术；码率控制包括基于通道增益向量的单模型多码率架构和基于块级质量控制因子的 ROI 编码。