本技术公开了一种基于混合神经表示的图像压缩方法。本方法针对现有基于深度学习的图像压缩方法存在的解码复杂度高的问题,提出了一种基于混合神经表示的图像压缩方法,对于每幅要压缩的图像单独过拟合轻量化的自编码器网络。具体地,在自编码器网络中,本发明设计了分组特征聚合网络,用来聚合不同组的特征;设计了局部调制网络,用于对局部特征的增强表示;运用了高斯混合模型,提高了码率估计的准确性。实验结果表明,本发明通过混合神经表示的方法,可以有效降低图像解码时的复杂度,实现图像压缩的轻量化。
背景技术
图像压缩是几十年来信号处理领域的一个重要的研究课题。经典的图像压缩方法,例如JPEG、JPEG2000等,已经被广泛运用于图像处理软件。然而,数字时代多媒体内容的爆炸式增长仍然迫切需要找到更加有效的压缩器来解决存储成本问题。
随着深度学习的发展,基于自编码器的图像压缩方法被广泛研究,该类方法利用一个端到端的自编码器结构作为非线性变换,实现了更优的性能。但是,自编码器的结构十分庞大,计算复杂度高,这限制了该类方法在资源约束型设备上的应用。
最近,隐式神经表示的理论被提出和完善。隐式神经表示旨在使用一个连续函数来拟合空间坐标到对应位置值的映射。不同于传统的离散网格的存储形式,隐式神经表示能够利用连续函数的表示能力,用紧凑的神经网络来表示复杂场景,因而具有天然的压缩潜力。这类方法用一个紧凑的隐式网络来过拟合一张图像,从而将图像信息储存为模型参数信息。该方法具有解码复杂度低的优点,能够在边缘设备上快速地解码。但是,该类方法的压缩性能与基于学习的方法之间仍有一定的差距。
最接近现有技术及其评析:
Dupont等人(Dupont E,Goliński A,Alizadeh M,et al.Coin:Compression withimplicit neural representations[J].arXiv preprint arXiv:2103.03123,2021.)提出了基于隐式神经表示的图像压缩方法,对于一张图像,使用一个神经网络来过拟合训练从位置坐标到RGB值的映射,并将训练好的网络参数来表示压缩后的图像。这样,我们将图像压缩问题转化为了模型压缩问题。Strumpler等(Strümpler Y,Postels J,Yang R,et al.:Implicit neural representations for image compression[C]//European Conferenceon Computer Vision.Cham:Springer Nature Switzerland.2022:74–91.)将元学习方法运用于基于隐式神经表示的图像压缩任务中,获得其网络参数的较好初值,只需要迭代较少次数就可以达到从头训练多次才能达到的压缩质量。Girish等人(Girish S,Shrivastava A,Gupta K:Shacira:Scalable hash-grid compression for implicitneural representations.[C]//Proceedings of the IEEE/CVF InternationalConference on Computer Vision.2023:17513-17524.)对基于哈希表的隐式神经表示进行改进,对于每层哈希表,使用一个维数小于特征维数的隐哈希表来解码生成。Catania等人(Catania L,Allegra D:Nif:A fast implicit image compression with bottlenecklayers and modulated sinusoidal activations[C]//Proceedings of the 31st ACMInternational Conference on Multimedia.2023:9022–9031.)改进了基于周期激活函数的隐式神经表示,通过一个专用的神经网络来调整隐层特征的周期,因而适应图像不同区域频率的变化。该模型使用基础网络和调制网络,基础网络产生坐标位置的像素特征,调制网络调整激活函数的周期。
实现思路