随着社会的进步和科学技术的发展,人们对信息与通信的要求已日益不满足于单一的语音与文字的交流,而是更需要语音、数据、图像和文字组成的综合信息的交流。因为这种多种形式的信息承载媒体的综合,往往带给人们更自然、更生动、更有效的信息,这就是所谓的多媒体信息。多媒体技术已成为信息与通信领域中最引人注目的发展方向之一。而图像压缩又是多媒体技术中的关键,图像因为其信息量大,一直是信息存储、处理、交换和传输的一大难题,尤其对于活动视频图像序列更是如此。尽管通信网络和存储媒体也正在向高速率、大容量方向发展,但是随着社会信息交互的日益广泛,个人通信已成为全社会的共同需求,信道的容量永远不会绰绰有余。因此对图像信息进行压缩处理,使它能在低速率的信道上传输是人们多年来孜孜以求的目标。
图像信息的压缩处理方法始终是一项至关重要的技术,它使具有巨大信息量的图像信息能在目前的公共电信网(如电话网、移动通信网等)和国际互连网(Internet)进行交换和传送。特别是低比特率视频压缩编码技术(Low Bit-rate Video Coding,这里低比特率泛指64 kbps以下的速率,更一般的是指8 kbps到30 kbps)正越来越受到人们的关注。
低比特率图像压缩编码的经典方法
经典方法一般指的是,以像素或像素块为单位,以像素间的统计特性为基础的压缩编码方法。它的理论比较完善,技术也相对成熟,编码效率也比较高。现行的多种国际标准H. 261、H. 263/N、JPEG、MPEG-1和MPEG-2都是基于平移运动的像素块(MC-DCT方法)的编码模式,目前所用的视频压缩编码方而的软、硬件产品基本上也都采用此类编码方法。经典方法利用了时间域和空间域的相关性,除去这些相关性,也就是减低图像信息的冗余度,结果就使信息得到压缩。从目前的研究和实际应用来看,当所允许的比特率较高时,例如在384 kbps以上,由经典方法解码后重建的图像质量基本上可以被人们接受。但是,忠比特率较低时,如低于128 kbps时,特别是低于64 kbps以后,由经典方法得到的图像质量却难以让人满意。因此必须探索其他新型的压缩编码方式,来解决在低比特条件下的视频图像压缩问题,并保证一定的重建图像质量。
低比特率图像压缩编码的现代方法
在低比特率信道上传送视频图像的理论研究和实验工作开展得很早,但它至今尚未取得长足的进展,关键原因是技术上还没有达到一定高的水平以及缺乏统一的标准。随着微电子技术、计算机技术、视频技术的不断改进,在低比特率信道上传输具有质量保证的图像已成为可能。因此,制定低比特率视频编码的国际标准已迫在眉睫。为此,相关的国际标准化和技术组织及机构先后推出了有关的低比特率图像压缩标准和建议。其中最具代表性的是国际电信联盟ITU的H. 263和国际标准化组织ISO的MPEG-4。H. 263建议的制定分为两个阶段,1996年1月完成其近期目标建议草案Ⅱ. 263/N,到1998年11月完成其远期目标H. 263/L。远期目标的制定将与ISO的MPEG-4密切合作。在总体上来说,H. 263所规定的数字视频压缩技术仍属于经典图像编码的范畴,即带有运动补偿的混合编码方式。但在低比特率时,分配给图像的比特率一般不会高于20 kbps,这势必要求建议有更高的压缩比,并还要保证一定的图像质量。为此H. 263采用了一系列改进措施,主要有;基于句法的算术编码模式、PB-帧模式、无限制运动矢量模式和高级预测模式。ISO的“活动图像专家组(MPEG)于1993年7月开始正式制定MPEG-4建议,其目标是低比特率视听(AV)信号的编码。其工作计划与H. 263/L是一致的。MPEG-4标准所制定的功能要求是具有电视的图像活动性、电信的可移动性和计算机的交互性。MPEG-4强调灵活性,要求为将来出现的新技术留有充分的余地。它不针对某项具体的应用,是着眼于通用的视听信息的编码,以扩大MPEG-4的适用范围。它除了要具备其他标准的基本处理功能外,还必须具备:改进的编码效率、可分级性、内容基控制和比特流编辑、误码多发环境下的鲁棒性、多媒体数据存取工具、多路并发数据流的编码、自然和人工数据混合编码和对低比特率视听随时存取的改进o MPEG-4的许多问题尚在研究之中,以上仅是其一些功能和要求。
从上述分析的低比特率图像通信的趋势和需求,可以看出探索图像编码的高压缩比是关键和基础,也是最具挑战性的工作。由于经典图像编码方法的局限性,可以相信,将来的低比特率的H. 263/L和MPEG-4必定会采用一些现代图像编码方法。现代图像编码方法的发展是令人瞩目的,它所采用的信源模型与经典方法不同,不再以像素或像素块为单位,而是以运动物体为单位。力图从整体上去描述和定义运动物体,或者将运动物体抽象为特定的描述语言,从而更切合图像的内容,更多地利用图像先验知识。同时在很多方面都突破了经典信源编码的理论框架,显示出巨大的应用潜力。但与经典编码方法相比,它的编码方式—般都比较复杂,需要对图像进行一系列的处理。如图像的分割、分类、建模等,还可能利用更多的前后帧图像以获取更多的信息。无论在理论上还是在实际应用上,现代方法远没有成熟和完善,许多算法还在研究与实验之中,但是通过计算机模拟已显示出它们优越的编码性能。现代图像编码方法中更具潜力和引人注目的方法有:子带编码、小波变换编码、分形编码、神经网络编码以及模型基编码,特别是模型基编码方法是当前研究的热点,它在低比特率图像编码中具有更显著的优越性。
子带编码和小波变换编码从原理上说仍属于线性处理,因此仍带有浓重的经典波形方法的色彩(从理论的角度也可归入经典方法的范畴中),它们并没有突破原有图像编码的信源模型,在与视觉特性的匹配方面还缺乏有效的措施,故似乎还需要经过艰辛的努力,才有可能在低比特率图像编码中立足。对分形编码,目前人机交互处理仍占有难以替代的地位,在有关自动压缩原理与算法、分形编码的失真度量方法以及实时分形压缩算法等方面都是有待于深化研究与探索的课题。至于神经网络图像编码在图像编码中的进展远不如其在其他方面那样有效,所以将,它用以低比特率编码尚需时日。模型基图像编码,由于它的高压缩比以及人眼对其失真的不敏感性而成为一种很有前途的低比特率图像编码方法。虽然模型建立与运动分析技术比较复杂,但在图像内容较简单的系统中(如电视电话、会议电视),相信不久的将来将有实际的应用,也可能成为即将出台的MPEG-4中的优选方案之一。
基于图像特征的编码方法
恰当的图像信源模型对图像编码起着举足轻重的作用。实现编码方案时所碰到的种种问题和现象,究其根本,也往往与建立的信源模型有关。因此,我们提出了根据图像的特征,即图像的边缘信息来建立信源的模型,并在此信源模型的基础上就模型的建立方法、图像分析与图像综合进行了探索性研究,取得了一系列有创新的研究成果。基于图像边缘信息的模型是试图按人类的视觉特性对图像进行分解,使得模型与实际图像中的景物更加匹配,它不属于经典的波形编码的范畴。从广义上讲,它可归入模型基方法,概念上也较接近于物体基,因此我们将这种基于图像特征的编码方法称之为“边缘模型基”方法。
图像压缩编码的理论研究在近几年的飞速发展,在很大程度上归功于在图像信源模型方面可贵的探索。基于图像特征的信源模型和其他新的信源模型(如模型基方法)一样,与传统的方法相比有了质的飞跃,它们可通过对信源的分析,将图像分解成一系列更宜表示的“要素”或具有从中提取若干更具本质意义的参数进行编码。它们的思想符合“压缩编码的极限结果是通过那些能够反映信号产生过程最早阶段的模型而得到的”这一原则。就人的视觉特性而言,人眼对图像的边缘特别敏感。图像边缘信息的重要性体现在两个方面,一是景物中三维物体的轮廓投影在二维图像平面表现为边缘,故边缘是理解静态图像的关键因素。其次是三维物体轮廓的空间位置变化反映了物体的运动,故运动图像中相继帧边缘的变化体现了三维物体运动。因此在有损压缩时特别关注图像中边缘区域能在保证复原图像质量的前提下获得更高的压缩比。构造基于图像边缘特征结构模型的核心技术是边缘检测和边缘描述方法与算法,而描述运动的参数主要通过模型匹配与广义运动分析两个关键算法来实现。边缘模型基图像编码方法的主要优点是:信源模型建立于图像的边缘信息,不需要图像的先验知识,原则上是普适的;景物模型的构造简洁可靠,不必恢复景物中物体的确切模型,从而避免了使用复杂而性能又不稳定的图像分割技术;易于以规范式描述图像的灰度分布,并可采用比较稳定的运动分析技术,也可达到较高的压缩比。从计算机上仿真实验结果来看,基于图像边缘特征的编码方法具有复原图像质量好、压缩比高、普适性较强且易于实现等特点,是低比特率图像编码的一种较理想方案,有着良好的应用前景。此方法目前仍处于理论探索研究阶段,还需经进一步的提高和完善后才能使之进入实用,但是从其具备的特点来看,相信它是一种极具潜力和竞争力的低比特率图像压缩编码新方法。
同时,在低比特率图像编码方法的研究中,对编码图像的质量评判问题显得更加突出。经典编码中的主观评价和客观评价方法在现代图像编码方法中不再适用。新的图像评价标准仍然是一个亟待解决的问题之一。建议可以探索和研究基于人类视觉系统特性的图像质量评价方法,根据“自由度”和“有效性”来评判低比特率图像编码的重建图像的质量。
低比特率视频图像压编编码技术具有普遍的实用意义,它能把各种最诱人的图像信息送到人们面前,因此它也一定会发展成为一个相当大的产业。我们应该积极参与,在理论研究的同时,结合行业及相关企业的需求开展实用性研究, 尽快将科研成果转化为生产力,形成一系列具有自己特色的技术和产品。