多组无序图像拼接技术分析

多组无序图像拼接技术分析

陈慧颖

广州市城市规划勘测设计研究院

1研究目的和意义

图像拼接技术广泛应用于遥感图像处理、虚拟现实技术等领域，是图像处理与计算机视觉领域的一项重要研究内容，有着良好的应用价值与前景。

随着个人图像采集设备的普及，图像存储及互联网信息分享更加便捷，图像数量急剧增长，不同场景、无序性图像更具有普遍性。这些图像可能由不同用户在不同场景、不同视角下拍摄的，它们之间相对关系未知属于多场景无序图像集。同时随着航空、计算机、传感器等技术的迅猛发展，低空数字摄影测量如无人机遥感已经成为新兴的发展方向。无人机等低空摄影测量设备，以其低成本、灵活机动、操作简单等优点成为遥感数据的重要获取手段之一。图像拼接是无人机等低空遥感应用中的一项重要内容。由于无人机等低空设备采集图像中飞行速度、位置较传统摄影测量设备，都呈现较大程度地不可控性，采集的大量图像也呈现无序状态，存在重复采集、缺失采集的情况。图像集中图像具有较强的独立性，同时大容量存储技术的进步，可能出现多组局部区域场景图像。

因此实际应用中不同场景、无序图像将更加普遍，然而目前图像拼接技术主要针对的是单组有顺序的序列图像，该序列图像之间拼接关联性已知或较为简单，同时研究内容也主要是特征点提取，相邻序列图像之间的匹配等问题。如何利用这些无序图像，拼接得到视觉效果更好的宽视角图像；如何自动、可靠地实现无人机等低空图像数据处理；针对不同时间、不同用户、不同场景拍摄的大数据量、不同质量的图像如何处理，海量图像的分类检索如何实现，多组无序图像的拼接技术对于这些应用将发挥重要作用

对于多组无序图像拼接，必须考虑每幅图像与其他图像关联性以及分组问题，对匹配效率、匹配准确性等问题提出了挑战。如何更为快速的实现大量特征的匹配；如何定义一个更为精准的量来描述两幅图像的关联性；如果图像不是来自同一组场景，如何高速的实现多组无序图像的自动分组与拼接，这方面还有很多值得深入研究。

综上所述，无序图像分组拼接具有广泛的应用背景和重要的科学意义，如何实现多组无序图像分组、如何快速得到图像拼接结果，已经是许多学者关注的重要课题。同时，无序图像分组已经是计算机视觉计算应用中一项重要研究内容，其包括了多视图匹配、三维重构、图像检索、图像浏览等应用领域。

2研究现状及趋势

一般来说，多组无序图像拼接实现分三步。首先，为所有图像提取局部不变特征并完成图像特征匹配。其次，需要对完成特征匹配的多场景无序图像进行分组。最后，对分组后同一组内即一系列具有重叠区域的图像进行拼接及融合，实现多场景无序图像拼接。现主要概述以上三部分的现状及发展趋势。

2.1图像特征发展现状

图像特征匹配是确定图像之间同名点的过程，根据邻接图像之间视角变化情况，可以分为窄基线匹配和宽基线匹配。其中，窄基线匹配常在航空摄影测量图像处理中出现，常采用协相关系数法；宽基线情况下，邻接图像之间视角变换较大，常采用基于特征的匹配方法。图像特征匹配属于宽基线匹配的范畴，下面介绍图像特征匹配的发展现状。

基于图像特征匹配的方法得到了广泛应用，其主要原因在于局部图像特征在近年来取得的巨大进展。Lowe（2004）提出了图像局部特征提取及描述算法SIFT（ScaleInvariantFeatureTransform），并于2004年进行了完善。SIFT算法的提出有着重要意义，其对旋转、尺度以及一定的光照和视角变换都具有不变性，在图像匹配、目标识别、三维重建等领域得到广泛应用。Bayetal.（2006）提出的SURF（SpeededUpRobustFeatures）算法，是SIFT算法的改进版，其利用积分图像实现快速计算，在计算效率上得到很大程度的提升，但是对旋转和尺度的适应性较SIFT算法弱，适应于对时间要求较高的情况。Shietal.（1994）提出的Shi-Tomasi算，是对Harris的一种改进算法，可以得到强角点，适应于图像尺度变换不大的图像。Rubleeetal.（2011）提出了基于二进制描述符的ORB（OrientedFASTandRotatedBRIEF）算法，该算法效率较高，常应用于计算机视觉中对实时性要求较高的目标检测及跟踪等领域。除此之外，KEetal.（2004）提出的PCA-SIFT（PrincipleComponentAnalysis-SIFT）算法，通过结合主成分分析得到降维的特征描述子；BRISK（BinaryRobustinvariantscalablekeypoints）（LeuteneggerS，2011），ASIFT（AffineSIFT）（MorelJMetal，2009）等算法。

局部图像特征向更加高效、低存储的方向发展，这将使得以后局部图像特征在快速实时性、大规模的应用中发挥更大的作用。图像特征匹配及计算方面，基于高维空间分割k-dtree的BBF（Best-bin-first）近似最近邻搜索算法极大地提高高维特征的匹配速度。同时，图像特征匹配算法和CPU、GPU并行计算的结合，将会把图像特征匹配计算速度提升到更高的等级。

2.2无序图像分组发展现状

随着传感器技术的发展，数码产品（如数码相机、具有良好拍照功能的手机）得到快速普及，具有低成本、高灵活度、操作简便的无人机也得到快速应用。基于互联网技术大量图像得到共享，形成了庞大的图像数据资源，这些图像是由不同的相机在不同的场景、视角、光照等条件下拍摄，具有多场景、无序性等特点。同样，由于无人机飞行速度、位置的可控性差，采集图像也呈现无序、缺失采集、重复采集的情况，会出现局部区域场景。

如何合理利用大量分享图像拼接得到可视化效果更好的大场景图像，高效的组织和检索图像，自动、高效地实现无人机等低空遥感图像处理，都需要解决多组无序图像分组问题。图11为四旋翼无人机和个人图像采集分享设备（图像来自互联网）。

图11无人机（左）和个人图像采集及分享（右）

无序图像分组问题常出现在计算机视觉的多视匹配、图像识别、三维重建、图像检索等领域。无序图像分组大致分为二类，一种是穷举匹配法，另一种是基于机器学习的字典树法。穷举法是利用图像集中两两图像匹配结果，对无序图像集进行分组。Schaffalitzkyetal.（2002）将所有图像相互进行特征匹配，把图像匹配数目作为分组依据，通过建立Ｎ视图最小生成树对无序图像进行分组，并结合核线约束以保证图像关联的准确，通过将特征匹配数小于100的分支断开，以构造关于多个场景的视图生成树。Ferrarietal.（2003）将两视匹配问题拓展成多视匹配，并利用拓扑约束剔除错误匹配。Brownetal.（2007）利用SIFT算法完成无序图像之间的特征提取及匹配，实现了全景图像的自动拼接。Yaoetal.（2007）采用新的度量准则评价图像相似度，并利用视图生成树组织无序图像并进行分类，与Schaffalitzky不同的是，只对图像匹配特征数小于50但是图像相似度大于阈值的图像进行核线约束，精度和效率都得到了提高。Schaffalitzky和Yao虽然都可以在一定程度上得到正确的图像分类，然而由于其都依赖核线约束等限制而降低了效率。Zengetal.（2008）提出了一种基于模拟退火的分组策略，以图像特征匹配数为度量，利用量化采样对图像进行分类，图像粗匹配次数得到大幅度降低，但是容易分断和错分（如一组图像被分为多组），精确度较低。于辉等人（2009）采用SIFT算法对无序图像即提取的特征，利用基于哈希的二叉算法（dichotomybasedhash，DBH）进行特征匹配，同时采用新定义的度量图像相似度的准则，对无序图像集进行自动分组。何周灿（2012）提出用于对多场景划分的新的相似度度量准则，并通过将试探匹配和种子扩散相结合，实现了对传统的匹配算法的加速。上述方法在应用于小数量图像集时表现良好，然而对于大数量、不同数据源、不同场景图像时，图像特征粗匹配过程将十分耗时。例如，Snavelyetal.（2006）的ThePhotoTourismsystem项目针对互联网上的大量共享图像，采用穷举匹配的分组方法，该系统对于图像数据依赖很大，随着图像数目的增加，运行时间快速增长，例如花了两周时间运行巴黎圣母院的597张图像。

虽然穷举法精度较高，但是其效率随着图像数量的增加而严重下降，影响其在很多领域的应用。基于机器学习的字典树法，采用对图像特征聚类分析的方式得到字典树，对应的查询图像采用与字典树的叶子结点数相同的维数来表示，例如字典树的叶子结点为，那么查询图像用维表示。Chumetal.（2008）结合字典树以及min-hash算法，实现了无序图像集的分类及有序化。Lietal.（2008）在Chum等人所述方法的基础上结合核线约束，对网络上分享的图像分类，并应用于重建三维场景。基于机器学习相比于穷举法，在效率上有很大提高，由于机器学习过程中损失较多的信息，因此容易出现图像分类错误，比如基于机器学习的字典树法的分类准确度就比较低。

摄影测量领域无序图像处理的研究较少，不过在2012年国际摄影与遥感会议ISPRS中，德国Stuttgart大学的Mohannedetal.（2012）提出了利用无序图像进行三维重建的摄影测量应用，该方法使用SIFT算法提取特征，采用k-dtree进行特征匹配，并通过几何图理论实现无序图像分组及有序化，最后得到三维点云。

综上对多组无序图像分组方法的分析可知，实现无序图像分组的技术主要有SIFT算法、k-dtree特征匹配、图论。

2.3图像拼接发展现状

国内外许多学者对图像拼接方法进行了大量研究，并取得很多学术成果。早期，图像拼接技术是应用于航空图像合成。Ghaffaryetal.（1984）对以相关方法进行图像拼接的技术进行了综述。Brownetal.（1992）发表了一篇较有影响的关于图像拼接的综述性文章，其研究的是医学相关图像。

Brownetal.（2007）通过根据大量研究文献，将实现图像配准和拼接的方法大致分成两类：直接法和基于图像特征的方法。直接法可以利用到一切有利数据，图像配准精度较高，然而该方法需要较高质量的初始数据；而基于图像特征的方法不需要初始数据。由于无序图像集基本不包含初始数据，需要采用基于图像特征的方法实现图像配准和拼接。

目前，图像拼接技术的研究大多集中在单组有顺序的序列图像，主要针对特征点提取，相邻序列图像之间的匹配等问题，研究重点在于拼接过程的自动性，以及拼接融合效果。针对实际应用中越来越多的是无序图像拼接问题，国内也有部分学者研究。Toyamaetal.（2004）对图像集使用遗传算法进行序列化，但该技术只适用于图像之间仅存在平移的情况。赵辉等（2007）使用相位相关算法对图像集进行排序，但是由于采用相关算法的特性，因此其对图像的旋转、缩放以及灰度变换有局限性。严磊（2009）采用SIFT和MSER（MaximallyStableExtremalRegions）相结合的图像穷举匹配算法，采用基于k-dtree的BBF最近邻与次近邻，设置最近邻与次近邻比率阈值进行特征匹配，找到存在匹配关系的图像集进行图像拼接。从洪春（2014）采用SURF特征提图像特征，结合Lucas-Kanade算法可以提高匹配精度，并采用稀疏表示双向匹配特征的方法对图像序列化，但是对于尺度变换明显的图像特征匹配精度提高意义并不大。

3总结

本文主要阐述了进行多组无序图像自动分组与拼接研究课题的意义和必要性，以及图像特征匹配、多组无序图像分组以及图像拼接技术的研究现状，分析明确多组无序图像自动分组与拼接技术的极大需求和研究必要性。

参考文献

[1]从洪春.2014.无序图像自动拼接算法研究[D].[硕士].大连.大连海事大学.27-31.

[2]何周灿.无序多视图分类及其有序化技术[J].信息与电子工程，2012，10（5）：566-570.

[3]何海清.低空摄影测量航带重构及数据处理方法研究[J].测绘学报，2014，43（4）：440-440.

[4]廖婷婷.2012.基于特征匹配的图像检索算法研究[D].：[硕士].广州：华南理工大学，32.

[5]唐晏，王华军，王建荣，等.云计算下无人机采集无序位置图像快速拼接[J].计算机仿真，2014，31（5）：407-410.

[6]徐帆.无组织多视图图像的自动化三维场景重建[D].武汉：华中科技大学，2007.

[7]于辉，张忠秋，王丽芳.一种有效的无序多图像分组及其拓扑有序化的算法[J].西北工业大学学报，2011，29（3）：412-417.

[8]严磊.基于特征匹配的全自动图像拼接算法研究[D].合肥：中国科技大学，2009.

[9]赵辉，陈辉，于泓.—种改进的全景图自动拼接算法.中国图像图形学报.2007，9（4）：336-342.

[10]Beis，J.andLowe，D.G.1997.Shapeindexingusingapproximatenearest-neighboursearchinhigh-dimensionalspaces.InConferenceonComputerVisionandPatternRecognition，PuertoRico，pp.1000-1006.

[11]BROWNM，LOWEDG.AutomaticPanoramicImageStitchingusingInvariantFeature[J].InternationalJournalofComputerVision，2007，74（1）：59-73.

[12]BergTL，ForsythDA.Automaticrankingoficonicimages[R].SanFrancisco：UniversityofCalifornia，Berkeley，2007.