（复旦大学计算机科学系）

—、引言

人们可以通过各种测试系统从被观测的场景取得图像。观测系统包括：观测微小细胞的显微图像摄像系统；考察地球表面宏观植被分布、地貌和地质的构造的卫星多光谱扫描成像系统。观测交通路口的机动车或机场跑道上飞机的机器人视觉系统；检查人体内脏或材料、弹体内部的超声、X射线层析系统。观测系统可以由单个观测仪也可以由多个不同视角向物体探测的观测器组成。观测系统使用的光波段可以从可见光、红外、X射线、微波、超声到γ射线，以适应探测不同物理介质、材料和状态的场景。

在被探测的场景中，物体可以是静止的（相对意义下），例如文件、细胞切片、远距离观测的地面覆盖物；也可以是运动的，例如飞行器、云层、海洋波浪、心脏图像：物体还可以是三维立体的，例如远近不一样的目标群、机器各部件、表面凹凸不平的山脉、海洋波浪等。

使用各种观测系统，在各种光波段条件下，从场景取得的图像可以是微观的、宏观的、表面的、内部的；也可以是静止的、运动的、局部的、整体的；但他们都是二维的图像或图像序列。

从图像和图像序列可以提取很多特征，这些特征是图像解释的基础。目前常用的图像特征有以下几类：

1）灰度：包括多光谱、彩色信息。

2）边缘：它描述了灰度变化的程度和位置。

3）纹理特征：它描述了在图像中反复出现的局部模式和它们的排列规则，反映宏观意义上灰度变化的一些规律。

4）形状特征：它描述了物体、区域或基元的外形，从微观上精细地反映景物及其讶组成部分的形状。

5）物体表面主方向，即三维物体表面的法向。

6）传感器与物体表面各点的距离。

7）物体运动信息。

图像处理和分析系统将输入的图像或图像序列作预处理——灰度校正、噪声过滤和畸变校正，根据提取的上述图像特征对场景、物体的图像作分割，形成表示物体基元的图像或区域，并得到赋予区域上的特征以及这些区域之间的相互关系。然后，根据场景的模型、知识，对场景作解释。

通过图像处理和分析，我们希望获得关于场景的重要信息。例如，对人体细胞显微图像的分析得到某脏器是否发生病变的结论：对植物或动物细胞显微图像的处理和分析得到环境是否发生污染的结论：对地表植被遥感图像的分析得到作物长势的预测：对海洋波浪遥感图像的分析得到波浪方向、波长和浪高的估计：对交通路口车辆运行或飞机场运行图像序列的分析得到交通路口或机场管理的重要信息：对气象卫星云图的分析得到某地区在未来时刻是否发生暴雨的预测等。

图像处理和分析的现代发展促进了计算机视觉这一新兴学科的出现，计算机视觉研究如何从二维的图像来解释三维场景，亦即场景分析。二维的图像处理和分析是三维场景分析的基础。由于图像只反映了被观测场景的可观测到的一个侧面或局部；场景的物体之间可能部分地被相互遮挡，光照条件也有很大变化，这为从二维图像或图像序列来推断三维场景带来了极大的困难，图像的关系结构描述是二维的，而存储的模型、知识表达是三维的。人工智能中关于知识表达、推理、自学习、知识库等的引进对解决这类问题具有关键性作用。并行处理、VLSI技术对系统的实时应用提供了实行的可能。

二、图像边缘提取和分割

景物往往由众多的目标组成，反映在图像中是众多的区域。每个目标或区域可进一步分解成一些具有某种特征的最小成分——基元。因此，在取得图像以后首先要把复杂的景物分解。

目标的分解主要根据图像中存在的边缘、纹理、形状、目标表现主方向、传感器与目标表面诸点距离等图像特征，把图像分解成一系列的目标或区域直至最终形成基元。这种目标、区域或基元在某种意义上是一致的和整齐的，我们称这一过程为图像分割。

图像最基本的特征是边缘，所谓边缘是指其周围象素灰度有阶跃变化或屋顶变化的那些象素的集合，它存在于目标与背景、目标与目标、区域与区域、基元与基元之间。因此，它是图像分割所依赖的最重要的特征，也是纹理特征的重要信息源和形状特征的基础；而图像的纹理形状特征的提取又常常要依赖于图像分割。图像的边缘提取也是图像匹配的基础，因为它是位置的标志，对灰度的变化不敏感，可作为匹配的特征点。

图像边缘提取的常用方法有：经典的边缘检测算式、Marr边缘检测算子、曲面最佳拟合的边缘检测方法、利用空间结构关系和变分辨率数据结构的边缘检测方法等。图像分割的常用方法有：基于度量空间的空间域聚类、基于区域增长的空间域聚类等。

图像的边缘提取和分割是图像处理、图像分析和计算机视觉最经典的研究课题之一，它有着较长的研究历史。近年来许多学者还不断提出新的理论和方法，学术思想非常活跃，其原因一方面是由于课题本身的重要性，另一方面也反映了这个课题的深度和难度。图像分割的理论和方法尚存在许多不足之处 · 有待于进一步改进和发展。

三、纹理分析

用各种观测系统取得的图像很多是纹理型的，可以通过图像的纹理分析提取许多有价值的宏观信息。

例如，卫星或飞机从地球表面取得的遥感图像是对地面的宏观考察，其图像大部分呈现纹理型。在地质方面，山脉与小丘纹理的区别，往往用图片中阴影面积大小来区别。细微纹理结构一般属于流域、细微粒状沉积岩；粗糙纹理结构一般属于粗糙沉积岩；块状纹理有皱纹：蜂巢状纹理一般属于火成岩。有走向的地质构造的明显走向可以通过纹理分析获得定量的结果。

在海洋波浪方面，波浪的波长越长，图像的纹理越粗。由于波长与浪高有密切关系，浪高信息也可以从纹理分析获得。波浪走向与图像纹理方向密切相关，因此可以通过对海洋图像的纹理分析获得波浪的波长、走向和浪高信息。

在显微图像中，细胞图像的细胞核结构变化信息反映在图像上是纹理的变化。在材料科学的微结构定量分析中，材料的微观图像很多呈纹理型，例如各向同性、各向异性、粒子粗细、表面粗糙、光洁度等。图像的纹理与材料的特性密切相关，可以通过对材料显微图像的纹理分析获得材料性质的一系列结果。

前面所述，对纹理的描述都是定性的、直观的，我们希望通过对图像的纹理分析获得关于景物纹理特征和结构的定量分析描述和解释，这就是图像纹理分析的任务。

具体分析纹理型图像我们可以发现，很多图像纹理可以分解成众多的纹理基元（局部模式），这些基元的排列是有一定规则的，并且是反复出现的，最小的基元就是图像的象素。

纹理分析可以基于最小基元——象素灰度进行，建立纹理模型，这类纹理分析法叫做纹理的模型分析。

纹理分析可以基于纹理基元进行，要求对纹理基元和它们的排列规则进行描述。将复杂的纹理图像通过特征抽取种分割得到诸局部模式——（例如边缘）和它们的属性（例如边缘的方向），考虑诸基元之间的相互关系，最后对纹理图像作出分析、解释。这类纹理分析方法叫作纹理的结构分析。

四、形状分析

人们用双眼通过大脑对周围景物的形状作出分析是认识客观世界的基本手段之一。婴儿出世以后很快便认得他的双亲，但用计算机图像处理和分析系统来做这件事却是一件十分困难的事。

形状经过边缘提取、分割后获得诸分割区域。对诸区域提取形状特征，通过这些区域的空间分布关系的分析，借助于景物的知识，对景物作分析和理解。这里，区域形状特征的提取是形状分析的基础。

区域形状特征的提取有以下3种方法：

第一类，对区域的内部或外形通过各种变换，提取区域的形状特征。

第二类，对区域的内部、外形或骨架——区域内与最接近的边界点保持等距的点的轨迹，在图像的空间域提取区域的形状特征。

第三类，利用图像层次型数据结构，提取区域的形状特征。

区域内部变换是形状分析的经典方法，它包括求区域的各阶统计矩、投影和截口以及模板匹配。通过各种形式的变换把区域照到变换的值空间，将区域转换成曲线、向量或数量，并把它们作为区域的形状特征。

区域内部空间域分析是不经过变换而直接在图像的空间域对区域内部提取形状特征。整体几何数学结构形态理论在区域内部空间域分析中起着重要的作用，近年来日益引起重视。具有复杂形状的区域分解成区域基元（具有简单形状的子区域），然后用图来表示它们的空间结构关系是区域内部空间域分析的另一类重要的方法。

五、图像序列分析

自然界的一切景物都在运动着，静止只是相对的。利用种种观测器取得的二维图像序列只是记录了景物的某一侧面、某一局部、某一时间内区间各时刻的灰度图像。

从二维图像序列检测景物运动、提取运动参数、分析景物的运动规律，或者获取立体景物的深度、遮盖和表面方向等信息是图像序列分析的主要研究内容。

在图像序列反映的景物范围中，各物体或分部的运动是不同的，形成众多的瞬间位置速度向量。这些不同的瞬时位置速度向量分布在图像上形成的向量场称为瞬间位置速度场，也称为光流场。根据视差的大小和方向可以推断立体景物物体表面上各点与观测器之间的距离或深度，从而获得距离版图；也可以推断多个物体相互遮盖边界位置和物体表面各点的表面主方向。

在运动检测、运动参数提取、运动分析、距离版图获取、遮挡物体边界估计、物体表面主方向估计中，视差的估计是十分关键的。涉及以上分析的主要方法有：傅里叶分析、差分技术、时-空梯度/基于梯度技术、匹配技术等。

图像序列分析的应用领域包括工业、办公自动化、遥感、生物医学、交通管理、军事等。

六、场景分析

自然界的一切景物都是三维、立体的。

从传感器取得三维场景的图像或图像序列（时间图像序列或双目、多目观测图像序列）都是二维的。上面所述我们都是从二维图像或图像序列来分析场景的被观测到的那个侧面或截口的边界、分割区域、纹理、形状和运动等特征，并据此对场景作出描述。如果这种分析或描述对我们感兴趣的问题的解答已足够时，那么这种分析是有效的。例如，纹理分析中从遥感图像来分析地面作物的长势和分布，形状分析中从四分体细胞图像来检测微核。前者由于传感器与地面的距离远远大于地物的起伏，后者由于细胞玻璃片上的被挤压过的细胞近似地可当作平面，这些三维场景和物体的立体信息可以忽略。这是三维问题用近似的二维处理的一种典型的方法。

对于相对较近距离出现的场景、物体，它们的三维性质往往不能忽略：不能用上述二维方法来处理。例如，机器人的视觉系统要求从传送带上抓起所需零件并把它装到机器部件的某一特定三维位置，这就要求去分清上、下、左、右、前后的位置关系，作精确的三维位置测定。担负恶劣环境（有毒、高温、水下等）中执行任务的机器人视觉系统则要求判别环境变换的动态，自己去寻找所需目标的位置并执行某项任务。气象遥感中云层高度的分析、细胞的立体重构等等也都涉及到物体的三维结构。

三维场景分析是从二维的图像或图像序列去解释三维场景中存在哪些物体，这些物体是以什么空间位置或相互关系而存在的。这类问题对人来说是十分普通的，小孩也会容易地解决，但是对于目前的计算机来说它却不是一个简单的问题。这就是所谓计算机视觉问题，这是正在发展的一个研究方向，新的系统不断出现，已经完成的系统也在不断更新、发展。

三维场景分析的应用范围涉及机器人视觉（包括工业机器人、水下机器人、恶劣环境[化工、核反应堆、高温]条件下的机器人和军事侦察机器人）、交通管理、遥感、放射学、显微术和工业质量检查等等。

参考文献：

1）徐建华，图像处理与分析,科学出版社，1992。

2）吴健康，数字图像分析，人民邮电出版社，1989。