利用金字塔以相关系数为测度的影像匹配方法的研究

刘国迎毛超蒋利荣

第一作者：刘国迎第二作者：毛超第三作者:蒋利荣

摘要：本文对F算子和利用金字塔影像进行编程分析研究。通过F算子在特征点提取中的应用，提出了一种简便优化思想—先划区后提取特征点，优化效果明显；在金字塔影像想下层进行传递时加以扩展，将匹配点的数目从5个/张提高到22个/张，采用相关系数递变方法将匹配点的数目从22个/张提高到33个/张。通过实验对比得出了结论：1）金字塔影像进行下一层传递时应加以扩展；2）相关系数在不同金字塔影像层应采用渐变进行确定。

关键字：特征点提取，F算子，金字塔影像，影像匹配

1简介

点特征是图像的重要特征,在各种图像特征中,它具有旋转不变性和随光照条件变化较小的优点。利用点特征进行处理既可以减少计算量又不会损失重要的灰度信息。在图像匹配中点特征也有很重要的应用,利用点特征可以大大提高匹配速度。特征点的提取是利用某种算法从影像中提取我们感兴趣的一类点，即有利于某种目的的点。影像匹配是利用计算机技术在基于灰度或者其他特征理论对同一特征点（地物）在不同张影像之间进行查找。由于同一地物在不同像片上成像，所对应的不同影像上该点灰度信息是具有一定相关性的，利用这种灰度的相关性，通过一定的测度进行分离提取，即能够获得同名点。特征点提取和影像匹配是摄影测量的所有后续计算的基础，在数字摄影测量阶段更扮演者至关重要的作用，所以这两步的精度直接影响着后续空三解算、数字产品的精度。

2基本原理

特征点的提取是数字摄影测量的一个基础，特征点的提取精度不仅决定提取同名点的精度，而还直接影响着最终成果精度。特征点提取的方法众多，如Moravec算子、Forster算子、Plessey算子、SUSAN算子、Tajkovi算子等等，算法众多。由于摄影测量中存在的转换特点，选择Forster算子为后续的实验算子。

2.1金字塔影像

通过金字塔影像可以加快在影像匹配过程中的速度，通过减小影像的像素量来达到在匹配时逐层匹配的原理。在金字塔影像匹配过程中的基本原理是将左片特征点的逐层向上递推，直至递推到最顶层，然后与右影像进行遍历寻求同名点，然后再逐层匹配至原始影像。其基本流程如图5-5所示：

图5-5金字塔影像匹配流程

2.2判断测度

模板匹配法是在一幅影像中选取一个的影像窗口作模板，然后通过相关函数的计算来找到它在搜索图中的坐标位置。设模板T放在搜索图S上平移，模板覆盖下的那块搜索图叫做子图Si,j，子图的中心点在S图中的坐标(i,j)，叫参考点。式（5-7）测度来衡量T和Si,j的相似程度：

式中：为模板的像素的平均值；为模板覆盖搜索区域的像素的平均值；

实际情况中，由于影像的拍摄的时间、光照条件、太阳照射条件的不同，两幅不同图像的P值介于0和1之间，很难达到理想值1。根据经验取某个阈值P0，如果P>P0，则该点为待定同名点；P<P0，则该点不为匹配点的同名点的待定点。在一个特征点的全部待定同名点中，选取相关系数最大的点作为特征点的同名点。

3试验与改进

3.1特征点提取

在基本流程思想中Forster算子中采用先提取整张像片的特征最明显的点作为候选点，然后利用局部最大化原则以一定的窗口进行选取该窗口的极大值点作为最终特征点。这样将导致在选取候选特征点时，可能会出现候选特征点分布不均匀等情况，以致后续一定窗口选取极大值点作为最终特征点会在影像上分布不均。

针对上述情况，本文提取的基本先划区后找区内极值点作为特征点，可以一步实现特征点的选取，方法简便易行。其基本思想是：每张像片提取的特征点的数目在100个以内，将单张影像划分为100块区域，通过在I和J方向上划分为10分，从而形成100块，具体语句为：

k=Convert.ToInt16(10*i/I0)*10+Convert.ToInt16(10*j/J0)

式中I0、J0代表单张影像的行列数；

3.2利用金字塔影像基于相关系数影像匹配

基于2.1、2.2和3.1的基本思想和原理,利用编程实现了利用金字塔影像基于相关系数影像匹配系统,其基本流程如下：提取左片的特征点；对左像片的特征点逐层递增，分别求解出其在各层中的像素坐标；在最顶层进行匹配，依次提取左片上的一个特征点，依次用右片上的像点来匹配该特征点，将满足条件中相关系数最大的点的相关系数和像素坐标记录下来，直至所有点都完成计算；利用上一层同名点像素坐标对应的下一层影像中的像素进行遍历，计算相关系数，将满足条件的最大值的匹配点存储为本层同名点，依次寻找出原始影像（即第零层影像）同名点。

实验像片大小为：4272×2848，像片重叠度为70%左右，重叠度在计算是使用70%。根据影像大小选取16像元平均，三层金字塔影像为最优层数。左片提取的特征点数目为100个，通过影像匹配得出同名点坐标，匹配结果如下表所示：

表

表中：实际比例=匹配数目/（左片特征点数目×影像重叠度）。

3.3基于扩展像素的影像匹配

有表可以看出，在上层匹配点下寻找同名点是寻找到同名点的数目成倍减少，其中包含着误匹配的点，同样也由于特征点位于下一层的边缘，在建立金字塔影像时由于边缘特征点在向上平滑过程与其他单元格平滑产生其上层相邻像素较包含本像素的上层像素相关系数大，这在一定程度上照成了将其无删除。根据统计这种情况的像素数目较多，为了“挽回”这些点，本文采用了扩展单像素的方法来进行增加同名点的比例。

表

说明：扩展个数为在上层匹配同名点的基础上扩展的个数。

由实验结果可得出：在匹配到原始影像上时，在未扩展的情况下，同名点的数目仅有7个，而扩展一个像素以后匹配的同名点个数增加为25个，扩展两个像素以后匹配的同名点个数增加为26个。所以在匹配过程中在上层扩展一个像素是比较合理的选择，其能够达到在达到同名点数目最大的前提下增加最小的计算量，同名点数目提高了三倍以上。

4结论

本文通过编程实现影像匹配，自动寻找同名点坐标，在此过程中提出了一下方法和思想：

1）对Forster算子实现过程中，提出了先分区然后在各区内寻求满足条件的极大值作为特征点，不仅简化了Forster算子实现局部最大化过程，而且占用内存较局部优化少，计算时间有所减少；

2）提出利用像素扩展方法，提高影像匹配中同名点的数目，得出了扩展一个像素为最优扩展方案。根据使用无人机影像实例实验，使得同名点个数增加了三倍多。

3）提出利用相关系数提高影像匹配中同名点的数目，使得同名点在扩展一个像素的同名点数目的基础上，数目又提高了50%，使得同名点均匀分布在像片重叠区域。

本来对利用金字塔影像基于相关系数的影像匹配过程中的关系问题加以分析和研究，提出相应的解决方案使得同名点个数从5个/张提高到33个/张，大大提高了影像重叠区域的同名点数目，并且同名点均匀分布在影像重叠区域内，为图像处理和数字摄影测量中的后续处理良好的基础。

参考文献

[1]张祖勋，张剑清.数字摄影测量学[M].武汉：武汉大学出版社，1997

[2]张剑清，潘励，王树根编著.摄影测量学.武汉：武汉大学出版社，2003