基于辅助信息的无人机图像批处理三维重建方法_郭复胜

第39卷第6期2013年6月

自动化学报ACTA AUTOMATICA SINICA

Vol. 39, No. 6June, 2013

基于辅助信息的无人机图像批处理三维重建方法

郭复胜1

高伟1

摘要随着我国低空空域对民用的开放, 无人机(Unmannedaerial vehicles, UAVs) 的应用将是一个巨大的潜在市场. 目前, 如何对轻便的无人机获取的图像进行全自动处理, 是一项急需解决的瓶颈技术. 本文将探索如何将近年来在视频、图像领域获得巨大成功的三维重建技术应用到无人机图像处理领域, 对无人机图像进行全自动的大场景三维重建. 本文首先给出了经典增量式三维重建方法Bundler 在无人机图像处理中存在的问题, 然后通过分析无人机图像的辅助信息的特点, 提出了一种基于批处理重建(Batchreconstruction) 框架下的鲁棒无人机图像三维重建方法. 多组无人机图像三维重建实验表明:本文提出的方法在算法鲁棒性、三维重建效率与精度等方面都具有很好的结果. 关键词引用格式DOI

三维重建, 无人机, 批处理重建, 辅助信息

郭复胜, 高伟. 基于辅助信息的无人机图像批处理三维重建方法. 自动化学报, 2013, 39(6):834−84510.3724/SP.J.1004.2013.00834

Batch Reconstruction from UA V Images with Prior Information

GUO Fu-Sheng 1

GAO Wei 1

Abstract With the latest deregulation and opening-up policy of Chinese government on low altitude airspace to private sectors, the applications of unmanned aerial vehicles (UAVs)will be a huge potential market. Currently the automatic processing technology of UAV images is far behind the market demand, and has become the bottleneck of various appli-cations. This work is meant to apply hugely successful scene reconstruction techniques in computer vision fieldto large scene reconstruction from UAV images. To this end, at first,specificproblems of direct application of the Bundler, a popular increment reconstruction technique in computer vision are investigated. Then a batch reconstruction method from UAV images is proposed by fully taking into account various pieces of prior information which are usually available in UAV images, such as those from GPS, IMU, DSM, etc. Our method is tested with several sets of UAV images, and the experiments show that our method performs satisfactorily in terms of robustness, accuracy and scalability for UAV images. Key words

3D reconstruction, unmanned aerial vehicles (UAVs),batch reconstruction, prior information

Citation Guo Fu-Sheng, Gao Wei. Batch reconstruction from UAV images with prior information. Acta Automatica Sinica , 2013, 39(6):834−845

随着空间信息科学技术的迅速发展, 遥感影像数据被越来越多地应用于社会各个领域. 无人机(Unmannedaerial vehicles, UAVs) 遥感以其灵活性强、操作方便、投入低、适用范围广等优势, 填补了卫星、航空遥感在一些特定应用范围快速获取高分辨率影像需求上的空白. 近年来, 随着我国低空域对民用的开放, 无人机遥感技术已逐步从研究开发阶段发展到实际应用阶段, 无人机的应用将是一个

录用日期2012-07-25

Manuscript received April 20, 2012; accepted July 25, 2012国家重点基础研究发展计划(973计划) (2012CB316302),中国科学院战略性先导科技专项计划(XDA06030300),国家自然科学基金(61203278) 资助

Supported by National Basic Research Program of China (973Program) (2012CB316302)and the Strategic Priority Research Program of the Chinese Academy of Sciences (XDA06030300),and National Natural Science Foundation of China (61203278)本文责任编委贾云得收稿日期2012-04-20

Recommended by Associate Editor JIA Yun-De

1. 中国科学院自动化研究所模式识别国家重点实验室北京1001901. National Laboratory of Pattern Recognition, Institute of Automation, Chinese Academy of Sciences, Beijing 100190

巨大的潜在市场. 目前, 如何对轻便无人机获取的大数据量图像进行快速鲁棒地全自动三维处理, 是一项亟需解决的瓶颈技术[1−2].

在过去的二十多年里, 随着特征点检测和匹配算法[3−4]、鲁棒性估计算法[5−6]、自标定算法[7−9]、运动恢复结构重建算法(Structurefrom motion, SfM) [10−11]以及多视图立体匹配算法(Multi-viewstereopises, MVS) [12−13]等技术的不断进步和完善, 基于图像的三维重建技术有了突飞猛进的发展. 这也使得基于图像的自动三维重建技术受到了越来越多的关注, 并在诸多领域得到了广泛的应用.

运动恢复结构重建算法是指由图像匹配恢复摄像机投影矩阵和场景三维结构的方法, 是三维重建过程中最核心的关键技术. 当前运动恢复结构重建的研究, 最具有代表性和影响力工作的当属Snavely 等发布的Photo tourism system [10], 其中发布的核心系统Bundler 完成了由不同视点的二维图像构建相应的三维点坐标和恢复拍摄图像的相机内参数、

6期郭复胜等:基于辅助信息的无人机图像批处理三维重建方法835

位置以及方向信息的整个流程. 由于Bundler 开放了源代码, 同时系统具有全自动和鲁棒性等特点, 以及该系统在Internet 网络社区图像重建的成功应用, 该工作受到了广泛关注. 目前较为成熟的运动恢复结构算法很多, 总结起来大体可以分为三类:增量式重建方法(Incrementalreconstruction) 、分步重建方法(Hierarchicalreconstruction) [14−15]和批处理重建方法(Batchreconstruction) [16−18]. 增量式重建方法从一个小的“种子”重建出发, 通过不断地添加新的相机和三维点并进行不断地优化, 实现运动恢复结构重建, Bundler 即为一种增量式重建系统. 分步重建方法是将一个大场景重建问题通过分解为许多子场景的重建问题, 然后通过子场景重建的融合实现大场景三维重建. 与前两种方法依赖的迭代优化架构不同, 批处理重建方法只需要一次性优化即可完成场景的三维重建. 因此, 批处理重建方法更加适合于大数据量无人机图像的三维重建处理.

批处理三维重建方法首先由Tomasi 等[18]针对仿射相机模型进行了研究, 后来由Sturm 等[17]推广到透视相机. 但是由于数据缺失和外点的存在, 使得对于一般的三维重建问题不存在闭合解. Kahl 等[19]通过将该问题转化为范数下的最小化问题, 利用二阶锥规划(Secondorder cone programming, SOCP) 方法推导出一种闭合近似解, 在已知相机旋转的情况下, 可以同时求解相机的平移量和三维点位置. 但是该方法对错误的特征点匹配非常敏感, 甚至一个错误的外点就会导致失败. Martinec 等[16]提出了一种只依赖于4个内点(点对应) 的二阶锥规划方法. Sim 等[20]提出了一种更为鲁棒的求解方法, 该方法不依赖于单独的点对应, 而是利用了两个相机之间的相对平移方向进行求解. 但是如果两幅图像的相对位姿估计不准, 会导致算法失败.

近年, 已经有研究人员[21−24]尝试将计算机视觉的方法引入无人机图像重建领域[21]. 首先从图像序列提取关键帧, 然后两两图像通过内点匹配恢复摄像机间的旋转和平移, 最后通过三角化完成三维点的重建. 文献[22]采用了仿射投影模型作为透视投影模型的近似模型求解初标定的始值, 然后再基于透视投影模型进行优化, 该方法的优点是考虑了无人机图像属于远景图像, 通过仿射近似减少参数个数, 但文章只是进行了模拟实验, 并且实际精度并未有显著提高. 文献[23]所采用的方法是增量式重建的方法. Irschara 等[24]的方法与本文最相似, 也利用了无人机的辅助信息, 并采用了批处理的重建架构求解姿态信息, 但是该文在特征匹配的鲁棒处理的工作不多, 并且该文对摄像机位置直接采用了GPS 的坐标, 过于简单且精度无法保障.

本文主要工作是针对无人机图像数据的特点, 利用其辅助信息, 提出了一种鲁棒的批处理三维重

建方法, 从而实现了大数据量无人机图像的快速三维重建. 本文的结构如下:第1节给出了增量式重建方法的简单介绍, 以及在无人机图像重建应用上存在的问题; 第2节给出本文提出的基于辅助信息的无人机图像批处理三维重建方法; 第3节是实验与结果分析; 第4节对存在的问题及需要进一步开展的工作进行了讨论.

1Bundler 及其在无人机图像重建中存在的问题

这里首先简单介绍在计算机视觉中广泛应用的增量式重建算法Bundler 的主要流程, 随后介绍该算法直接应用于无人机图像三维重建过程中存在的问题.

1.1增量式重建Bundler 简介

目前, Snavely 等[10]发布的Bundler 以及以Bundler 为核心算法的微软商业网络软件Photo-synth 是现行SfM 中比较优秀的系统集成, 该系统集成了当时最优秀的特征点检测、匹配和捆绑调整优化的算法, 最终可以得到很好的重建效果. 这里简单介绍一下Bundler 算法的主要流程(如图1所示).

Bundler 算法首先选择用于重建的初始图像对, 通过迭代地增加单幅(或少量几幅) 图像, 对新的公共匹配点进行三角化, 并对新加入的图像进行标定. 该算法运行稳定的重要原因在于精心地选择了初始重建的图像对, 并设计了较好的图像加入策略, 每一步加入图像完成之后, 会进行捆绑调整以优化相机的位置姿态信息.

1.2增量式重建在无人机图像重建应用中存在的问

题

无人机图像获取与网络下载图像的获取方式不同, 获取的图像具有自身的数据特点, 因此不宜直接简单地套用网络下载图像的重建方法对无人机图像进行重建. 文献[23]直接采用了Bundler 对无人机图像进行重建, 发现存在以下一些问题:

1) 对于大数据量的无人机图像, 增量式重建算法效率低

原始增量式重建算法中, 特征点匹配和迭代式的捆绑调整, 是整个算法最费时的环节[25]. 由于必须进行两两图像间的特征点匹配, 图像特征点匹配的时间复杂度为O(n 2), 其中n 为处理的图像个数. 而文献[15]分析中指出, 在捆绑调整过程中, 捆绑调整过程的时间复杂度达到了O(n 4). 解决效率低下问题的一种有效方法就是通过并行加速, 最近的一些研究在增量式重建基础上进行了GPU 加速, 比较有代表性的工作是Sinha 等[26]和Wu 等[27]对SIFT 特征点检测和匹配的GPU 并行算法, 和Wu

836自动化学报39

卷

图1增量式重建算法Bundler 的算法流程Fig. 1

The flowchart of Bundler

等[28]对增量式重建算法中稀疏捆绑调整进行GPU 和多核CPU 并行的优化. 虽然该工作使得处理速度有所提高, 但依然无法改善增量式重建算法的本质问题.

2) 对初始图像对选择的依赖, 引起的算法稳定性问题

由图1可知, 增量式重建方法首先需要选取一对较好的图像对作为参考的图像对进行重建, 然后依次加入剩余的图像进行摄像机矩阵估计和三维结构恢复, 直到所有图像遍历结束. 该算法依赖于初始图像对的选取, 同时新的相机的加入是一个迭代的过程, 这就使得最终的重建结果依赖于初始图像对的选取和相机的增加次序. 另外, 在对地形场景等数据的重建中, 某些纯平面或接近纯平面的场景也会引起重建结果不稳定, 甚至出现严重的错误.

3) 没有利用辅助信息

对无人机图像数据, 在图像获取过程中, 一般事先已知了相机的畸变信息和内参数信息, 同时会有一些精度不高的其他辅助先验信息, 如航线设计、无人机导航数据以及稳定平台的姿态等信息, 充分利用这些辅助信息有望提高重建的精度和效率. 文献[23]在灾场图像场景的重建应用中通过实验发现, 直接用Bundler 而没有用到这些辅助信息进行重建时, 有些数据的实验结果很不理想.

飞行方式、平台搭载的辅助传感器等特点, 决定针对无人机图像的快速三维重建, 有必要设计具有针对性的算法流程. 本文基于辅助信息的鲁棒批处理三维重建方法是基于批处理三维重建架构. 在介绍本文重建算法之前, 首先介绍无人机图像数据的特点.

2.1无人机图像数据特点分析

无人机搭载的相机一般为固定镜头的非量测型的普通数码相机, 在获取图像同时, 会同步记录该图像对应的经纬度坐标(导航GPS 提供), 以及飞行速度、高度和方向角信息, 部分无人机为了保证飞行的稳定, 设计了稳定平台信息, 同时提供了横滚角和俯仰角信息. 由于无人机载荷以及成本限制, 装载的导航GPS 精度只有十米左右的精度, 同时辅助数据记录的角信息精度也较低. 无人机飞行之前, 会设计航线规划的轨迹, 而实际的航飞轨迹并不规则, 部分飞行任务会偏离原设计的航线, 同时飞行过程不能保证姿态稳定, 倾斜较大. 对拍摄的地形, 可以通过Google Earth 数据或者公开的DSM 数据[29−30], 获得该区域对应的精度在30米左右的粗略的地形高程数据. 为了保证飞行过程不产生漏拍, 无人机影像重叠率较高, 做重建的图像获取航向重叠一般超过70%,旁向重叠超过30%,一次飞行任务获取的影像张数较多, 一般以百计, 部分大场景的应用会拍摄获取上千张影像.

对无人机图像数据特点的总结, 可以发现无人机图像数据具有以下几个特点:1) 大部分应用中, 获取无人机图像的相机为定焦镜头, 其焦距值固定, 同时可以通过严格的标定, 消除畸变, 获得相机的内

2基于辅助信息的鲁棒无人机图像批处理三维重建方法

由于无人机数据不同于无序下载的网络图像数据, 也不同于连续帧间的视频数据, 同时由无人机的

6期郭复胜等:基于辅助信息的无人机图像批处理三维重建方法837

参数信息; 2) 有大约10米左右精度的位置辅助信息; 3) 有精度不高的姿态辅助信息, 一般在10度以内; 4) 有粗略的地形高程数据; 5) 保证了高重叠率(航向重叠和旁向重叠); 6) 地面图像数据纹理丰富, 适合自动匹配重建.

本文基于辅助信息的鲁棒批处理三维重建方法正是利用了无人机数据的上述特点, 实现了具有针对性的鲁棒批处理重建系统.

置C i 的问题.

由于位移估计在相差一个尺度情况下是相等的, 所以不存在C ik =C ij +C jk 的关系. 因此, 无法采用类似估计绝对旋转的最小二乘解法. 同时, 由于噪声的影响, 并不存在精确解. 在L ∞架构下, 将该问题转化为给定单位相对位移C ij , 求解x =(C 1, C 2, ···, C m ) T 的最小最大化问题, 即:

2.2批处理三维重建架构

批处理三维重建方法由于不依赖于迭代优化重建架构, 只需要一次性优化即可完成整个三维重建过程, 因此特别适合于大数据量的三维场景重建. 算法核心是在给定两两视图i 和j 间的相对旋转矩阵R ij 和平移T ij 下, 如何获取全局一致性的旋转矩阵R i 和平移量T i , 并保持T i 尺度的一致性. 主要包括两部分内容:1) 由相对旋转估计绝对旋转(在全局坐标系下); 2) 在给定绝对旋转情况下, 由相对位移估计绝对位移(在全局坐标系下). 具体步骤见图

2.

find min max tan θji

x

i,j

(2)

ˆji =C i −C j 之间的夹这里, θji 表示向量C ji 和C

角. 文献[20]在给定绝对旋转的情况下, 将该问题转化为二阶锥规划进行求解.

为了改进绝对位移的估计精度, 还可以采用三视图之间的三焦张量(Trifocaltensor) 信息估计相对位移对(C ji , C ik ). 令单位方向向量C jik

T

C T (C T ji ,C ik )

= (C ,C , ji ik ) C m ) T , 即:

给定C jik , 求解x =(C 1, C 2, ···,

find min max tan θjik

x

j,i,k

(3)

图2

Fig. 2

批处理重建框架流程图

The flowchart of the batch reconstruction method

这里相机的内参数已知, 由两两图像匹配可以获得的相对旋转矩阵和平移量, 它们与最后重建结果绝对空间的结构相差一个相似变换.

2.2.1绝对旋转估计

两幅图像i , j 之间的相对旋转用R ij 表示, 图像i 的绝对旋转用R i 表示. 给定相对旋转R ij 的情况下, 我们需要估计绝对旋转R i , i =1, 2, ···, m , 使其满足如下两个条件:

R j =R ij ∗R i , ∀i, j

T

R i ∗R i =I, |R i |=1,

ˆjik =((C i −C j ) T , (C k 这里, θjik 表示向量C jik 和C

−C i ) T ) T 之间的夹角. 这里采用文献[20]的二阶锥规划可以进行求解.

批处理三维重建方法虽然具有处理速度快的优点, 但是当图像匹配错误(两幅图像之间本身不匹配而进行了匹配) 或者图像相对位姿错误(由两幅图像之间的特征点错误匹配导致的错误位姿估计), 都会使得批处理三维重建失败, 因此需要鲁棒的批处理三维重建方法.

2.3基于辅助信息的鲁棒的批处理三维重建方法

由于批处理三维重建方法受外点影响较大, 本文提出了一种基于辅助信息的鲁棒的批处理三维重建方法, 该方法的基本步骤如下:

1) 利用辅助信息对每两幅图像进行特征点提取与匹配, 并在RANSAC 架构下利用五点算法估计每两幅图像之间的相对位姿;

2) 利用三视图匹配, 剔除错误图像匹配或图像相对位姿错误;

3) 估计绝对位姿, 进行三维点云重建并利用捆绑调整方法进行一次性优化.

具体流程图如图3所示, 下面将详细介绍算法的各步骤.

i =1, 2, ···, m (1)

当至少有m 个相对旋转已知的话, 需要求解在满足条件(2)情况下的最小二乘解, 本文采用文献[16]给出基于SVD 分解的估计方法.

2.2.2绝对位移估计

图像i 和图像j 之间的相对位移用T ij 表示, 图像i 的绝对位移用T i 表示. C ij 表示相机光心分别在C i , C j (在全局坐标系下) 的单位相对位移, C ij

C j −C i T T = C . 由于C ij =−R ij ∗T ij , C i =−R i ∗T i , j −C i

因此可以将给定相对位移T ij , 估计绝对位移T i 的问题转化为给定单位相对位移C ij , 估计相机光心位

2.3.1利用辅助信息进行两两图像间的特征点匹配

和位姿计算

首先, 我们充分利用无人机平台的辅助信息, 包括低精度的位置、姿态信息以及已知的粗略地形高程数据, 可以获得粗略的图像匹配集合.

838自动化学报39

卷

图3

Fig. 3

基于辅助信息的鲁棒的批处理三维重建方法

The flowchart of our robust batch reconstruction of UAV images with prior information

S ={ i, j |i, j =1, ···, m }(4)

具体做法是:在已知每幅图像拍摄时刻的GPS 信息和IMU 信息情况下, 可以获取到每幅图像近似的投影矩阵信息. 又在确定飞行区域情况下, 通过一些公开的网络地理数据[29−30], 可以获取该地区的近似高程信息. 利用无人机平台的这些辅助信息, 将无人机图像的四个图像角点投影到与地平面平行的平面, 且保证该平面是所获取的地形高程最高值所在的平面. 如图4所示, 图像i, j 投影到地形最高所在的地平面上, 判断所投影的地平面信息上, 图像投影四边形区域是否有重叠, 如果存在一定的重叠区域, 就认为对应的两幅图像(记为i, j 图像) 具有匹配关系, 并将 i, j 加入集合S .

虽然这里所用的辅助信息并不十分精确, 计算得到的图像匹配关系仅是一个粗略值. 然而由于在计算的过程中放宽了重叠度的要求, 因此真实的图像匹配集合S −是该图像匹配集合S 的一个子集.

然后在每幅图像上分别检测SIFT 特征点, 并在图像匹配集合S 中进行特征点匹配. 利用图像的待匹配集合取代原来的穷举匹配(每幅图像与其他所有图像进行匹配), 在匹配过程中限定了图像的匹配范围, 总的图像匹配的计算复杂度由O(n 2) 减少到O(n ), 提高了匹配效率.

又因为匹配过程只是选取

图4Fig. 4

利用辅助信息计算图像间的重叠与匹配子集The image overlap estimation by projecting the image on the highest parallel plane

有可能重叠的图像进行匹配, 可以排除非关联图像的干扰, 可以从理论上减少了由于不存在的图像匹配产生的误匹配, 提高匹配的准确率, 从而提高重建系统的鲁棒性.

如果两幅图像i, j 的匹配点个数少于a 1, 则认为这两幅图像不匹配, 将 i, j 从集合S 中删除. 否

6期郭复胜等:基于辅助信息的无人机图像批处理三维重建方法839

则, 在内参数已知情况下, 利用RANSAC 架构的五点算法计算本质矩阵, 同时分解得到相对位姿(R ij , T ij ). 当计算相对位姿的内点个数少于a 2时, 则认为该相对位姿不准确, 将 i, j 从集合S 中删除. 2.3.2利用三视图匹配, 剔除错误图像匹配或图像

相对位姿错误有了图像匹配集合S , 就可以构造一个无向图G =(V, E ), V 表示节点的集合, E 表示边的集合. 无向图G 中的每一个节点v i ∈V 表示一幅图像, i =1, 2, ···, m . 如果集合S 中存在元素 i, j , 则认为节点i, j 之间存在一条边e ij ∈E . 如果节点i, j , k 之间同时存在边e ij , e jk , e ik , 那么认为i , j , k 为三视匹配关系, 记为 i, j, k . 无向图G 中的所有三视匹配关系构成的集合记为S .

对于每一个三视匹配关系 i, j, k ∈S , 可以利用i, j, k 之间的相对位姿关系的冗余信息进行错误图像匹配或者是错误相对位姿的剔除. 如果图像i , j, k 的公共匹配点个数小于a 3, 则将 i, j, k 从集合S 中删除; 否则, 利用相对旋转(R ij , R jk , R ik ), 根据第2.2.1节计算三视图中的一致性旋转(R i , R j , R k ). 然后在给定绝对旋转的前提下, 由相对位移(T ij , T jk , T ik ), 根据第2.2.2节计算三视图中的一致性位移(T i , T j , T k ). 对三视图像的公共匹配点进行三维重建, 如果三维点的重投影误差大于β1, 则剔除该公共匹配点. 进一步, 如果当公共匹配点个数小于a 3, 则将 i, j, k 从集合S 中删除. 2.3.3估计绝对位姿

根据三视匹配集合S , 构造新的无向图G =(V , E ). 节点集合V 依然是由所有图像构成. 如果集合S 中存在元素 i, j, k , 则认为节点i, j, k 之间分别存在边e ij , e jk , e ik . 由于不能保证所拍摄的图像都能通过图像匹配建立一个完整的连通关系, 又第2.3.2节中通过匹配的阈值设置剔除了一些错误图像匹配, 因此无向图G 有可能是一个非连通图. 本文采用深度优先(Depthfirstsearch) 方法搜索连通分量(Connectedcomponent), 并将具有最

多节点个数的连通分量记为G sub =(V sub , E sub ).

对于集合S 中的元素 i, j, k , 如果i, j, k 中任

意一个不属于V sub , 则将 i, j, k 从集合S 中删除; 否则, 根据第2.2.2节, 由三视图一致性的(R i , R j ,

R k ) 和(T i , T j , T k ) 估计向量对应E sub 中的(R ij ,

T i , i ∈V sub .

根据绝对位姿和特征点匹配进行三维重建, 如果三维点的重投影误差大于β2, 则剔除该匹配点. 最后将三维重建点云与绝对位姿利用捆绑调整方法进行一次性优化.

2.4摄像机的绝对定向

得到解算后的位置和姿态信息后, 该信息和摄像机自身的真实位置相差一个相似变换, 即由摄像机坐标系到世界坐标系的相似变换. 如果有地面控制点, 可以采用地面控制点完成, 最少需要三个点. 本文利用记录下的GPS 位置信息进行相似变换, 由于已知的GPS 坐标个数远多于三个, 这里需要进行最小二乘求解, 考虑部分求解的摄像机位置可能存在错误, 本文采用了RANSAC 框架的鲁棒估计方法.

3实验结果及结果分析

本文对多种无人机系统数据进行了实验, 提供本文实验数据的低空无人机系统包括灾害测量系统、资源调查系统以及部分环境调查系统, 采用了各种不同小型固定翼无人机的飞行平台, 无人机飞行高度在200米∼2000米之间高度不等, 无人机平台上挂载了定位精度在5米∼15米左右的动态单点定位的GPS 和精度在10度以内的陀螺仪. 飞行之前, 由航线规划软件可以对拍摄的航向重叠和旁向重叠进行设置, 提供的数据预设的航向重叠在80%以上, 旁向重叠在40%以上. 采集的数据有单航带数据, 也有多航带数据. 为了保证获取图像不模糊, 相机的曝光时间在1/500秒以下. 我们对十多组数据进行了实验, 以验证算法的稳定性和有效性. 这里给出其中两组具有代表性的实验数据的结果以及结果分析.

3.1实验结果

本文实现了第2节介绍的批处理方法, 同时对Bundler 也进行了GPU 的并行化, 这里将比较增量式重建方法和批处理方法之间的标定结果的差异. 给出的实验数据中, 其中一组数据包含了由专业摄影测量软件Inpho 的标定结果[31], 以此结果作为参考依据, 将批处理方法的实验结果与此进行了对比. 下面分别从效率、稳定性、精度等方面对这两组数据进行分析. 实验中, 第3节中各参数固定, 其中a 1取值为80, a 2取值为50, a 3取值为30, β1取值为10, β2取值为8.

本文实验环境为64位的Win 7系统, 内存24G, 处理器为Intel Xeon(R)[email protected], 4处理器, 同时利用的GPU 是显存为4G 的Tesla C1060.

R jk , R ik ) 和C jik =

下面我们通过相对位姿关系估计包含在V sub

中图像的绝对位姿. 由已知的相对旋转R ij , i, j ∈ V sub , 根据第2.2.1节计算绝对旋转R i , i ∈V sub . 在给定绝对旋转的情况下, 根据第2.2.2节, 这里采用三视匹配关系C jik , 可以得到各摄像机光心x =(C 1, C 2, ···, C m ) T 的估计, 并计算得到绝对位移

T

C T (C T ji ,C ik )

. ji ik

840自动化学报39卷

3.1.1与摄影测量软件Inpho 的比较

与摄影测量软件Inpho 的比较实验采用了吉林九台的数据, 该组数据一共获取图像2037幅, 飞行高度在1000米左右, 航向重叠>80%,旁向重叠>30%.获取图像的相机类型为Canon EOS 5D Mark II, 像素为5616×3744, 像元大小为6.41um, 挂载的镜头是24mm 的定焦镜头(3814.2308像素), 并经过严格的相机检校, 完成了图像畸变校正, 即摄影测量学中所指的内定向已经完成. 表1是获取图像数据时, 同时记录的部分辅助数据.

表1中, 每幅图像(PhotoID)对应一组GPS 记录的XY Z 坐标和一组旋偏角, 旋偏角的精度并不高. 由Google Earth 数据[29]或公开的DSM 数据[30], 可以得到图像投影到地面的大体覆盖范围和图像的可见性信息, 如图5(a)所示, 图5(b)给出了吉林九台数据中的一张典型图像.

按照第2节部分的批处理方法, 我们得到了正确的标定结果, SfM 整个过程大约在4个小时左右. 然后由第2.4节的方法, 利用记录下的GPS 位置信息进行绝对定向, 将批处理方法得到的标定结果统一到Inpho 软件解算的世界坐标系框架下. 图6为批处理方法标定的结果和摄影测量软件Inpho 解算的结果的比较.

表1

Table 1

PhotoID [***********]15

X 1452613.[1**********].[1**********].[1**********].3510

图7分别给出了批处理方法与Inpho 标定结果位置结果对比和角度结果比较, 需要说明的是由于本文进行绝对定向所采用方法是用标定的位置信息和辅助信息中的GPS 位置信息进行的绝对定向, 因此GPS 的位置信息本身存在误差, 图7显示批处理方法的标定结果和Inpho 标定结果相差大约10米左右, 这和记录的GPS 坐标精度相当, 因此可以认为标定结果在合理误差范围, 而图7(b)角度对比跳跃异常之处为标定错误的图像. 图8给出了批处理方法与Inpho 标定结果位置偏差的结果统计, 分别统计了相机位置在X , Y , Z 三个分量差值, 以及坐标绝对值的差值.

表2以表格的形式给出了批处理方法与Inpho 标定结果位置和角度偏差结果的统计信息, 分别统计了相机位置信息的各分量, 方向角信息的各分量误差的最大值、均值、外点个数和90%的误差范围. 其中, 外点信息指误差大于均值误差5倍的误差个数, 90%误差范围指90%的误差的最大误差值.

需要补充说明的是, 本组数据在CPU 版本的Bundler 运行时间超过10天, 并且该组数据在利用CPU 版本的Bundler 运行过程中出错, 标定过程发生中断, 结果发生了严重错误. 推测产生错误的原因是由于增加某幅图像进行位姿估计优化时出现了错误, 导致了加入后续图像时, 整个结构出错. 而GPU

吉林九台数据部分辅助信息

Some of the recorded meta-data of the UAV images of Jiutai

Y 4963923.[1**********].[1**********].[1**********].8190

Z [**************]0

俯仰角

横滚角

旋偏角

0000

0000

−105.00000−108.00000−100.00000−

94.00000

图5Fig. 5

吉林九台数据中图像大体覆盖范围和其中一幅图像

The rough overlap of Jiutai images and one of the images

6期郭复胜等:基于辅助信息的无人机图像批处理三维重建方法

841

图6

Fig. 6

批处理方法标定结果以及与Inpho 标定结果的比较

The comparison of the calibration results between our batch method and the

Inpho

图8批处理方法与Inpho 标定结果位置误差统计图Fig. 8The statistics of the position errors between our

batch method and the Inpho

版本的Bundler, 由于显存原因, 在进行捆绑调整的过程中, 无法运行通过, 也就是说本组实验采用增量式重建的方法无法进行标定. 处理该数据的一个合理方法是对原始数据进行分组重建, 将增量式重建的方法改为分步重建的思路[14]. 在第3.1.2节中, 我们抽取了其中的前五条航带529幅图像进行了Bundler 重建, 并与批处理重建结果比较.

3.1.2与增量重建Bundler 的比较

与增量重建Bundler 的比较实验采用的图像数据为山西某农田数据(后文简称为农田数据), 相机参数和镜头参数吉林九台数据相同, 该组数据的特点是结构场景中的地面较为平坦, 同时无人机飞行轨迹按照按照一条航线飞行设计的, 该组数据没有Inpho 标定结果. 之后, 我们分析了第3.1.1节中2037幅中前五条航带529幅图像的批处理方法和增量重建方法的实验结果比较.

图7批处理方法与Inpho 标定结果误差图Fig. 7The calibration errors between our batch

method and the

Inpho

842自

表2

动化学报39卷

吉林九台数据批处理方法与Inpho 标定结果位置和角度偏误差结果统计信息

Table 2The statistics of the position and orientation error between our batch method and the Inpho of Jiutai data

X 误差(m)Y 误差(m)Z 误差(m)绝对位置误差(m)Roll 误差(◦) Pitch 误差(◦) Yaw 误差(◦) 绝对角度误差(◦)

最大值均值外点个数

22.73522.400415.0708

14.68213.962307.3497

15.34063.974407.9636

26.73816.8931010.7998

14.42420.164660.2666

11.56200.160880.2737

22.47860.0840670.0701

25.65860.287470.3594

90%的误差范围

如前所述, 原始Bundler 的处理效率很低, 经测试, 将图像缩小到1024×683分辨率下, 图像幅数达到1000张以上时, 原始Bundler 程序运行时间将以周计. 我们将增量式重建的方法Bundler 程序版本进行了GPU 加速, 相比原始的Bundler 程序, GPU 加速后的程序在效率有很大的提高. 本文实验工作站采用的显卡为Tesla C1060, 显存为4GB, 但由于显存原因, 我们在第2组实验对农田数据进行测试时, 从完整数据中取出了其中的900幅图像, 同时对原始图像的数据进行了下采样, 使图像分辨率降低到1024×683. 实验中, 根据数据特点, 我们对原始Bundler 程序进行GPU 并行化处理, 同时对系统做了部分修改, 在捆绑调整过程中, 使用的相机模型保持了焦距固定, 没有畸变参数, 并且内参数都不进行调整.

表3是农田数据SfM 过程的时间结果的比较. 从表中可以看到批处理方法在效率上远高于CPU 版本的增量式重建方法, 相比GPU 加速版本的Bundler, 批处理方法的效率也有不少优势.

按照类似第1组实验的思路, 这里给出两者的精度比较分析, 由于农田数据中的没有GPS 绝对坐标, 这里只是给出模型坐标系下的结果比较. 图9给出了农田数据的典型实验图像和批处理方法的标定结果, 图10给出批处理方法与Bundler 标定结果的轨迹对比, 位置、角度对比以及位置误差统计, 表4给出了批处理方法与Bundler 标定结果位置和角度

偏差结果统计信息.

表3

农田数据CPU 版本Bundler, GPU 版本Bundler 以及批处理方法标定方法处理时间对比

The farmland data processing time of CPU

Table 3

Bundler, GPU Bundler and batch reconstruction

方法时间效率

CPU 版本Bundler GPU 版本Bundler 批处理方法

1∼7天左右

2小时

25分钟

由结果可以分析得到, Bundler 结果在900幅图像的标定过程中, 有3幅图像标定错误(由于地形数据接近平面, 同时由于噪声影响产生的错误), 其他标定结果, 两者很接近, 可以认为都给出了正确的标定.

最后, 对吉林九台的数据从2037幅图像中, 抽取了前五条航带529幅图像, 在原始图像分辨率5616×3744下, 分别采用批处理重建的方法和Bundler 对这五条航带进行了重建. 两组数据都正确解算了所有的529幅图像的相机位置姿态, 除了批处理的方法效率上优于GPU 版本的Bundler 外, 两种方法标定结果很接近. 表5、图11和表6给出两者的结果比较.

3.2结果分析

第1组实验结果表明, 批处理方法相比于增量式重建,

在大数据的无人机图像处理能力上有很大提

图9

Fig. 9

农田数据的实验图像和批处理方法的标定结果

An image of the farmland data and the calibration result by the batch method

6期郭复胜等:基于辅助信息的无人机图像批处理三维重建方法

表4

农田数据批处理方法与Bundler 标定结果位置和角度误差结果统计信息

843

Table 4The statics of position and orientation error between batch reconstruction and Bundler of the farmland data

X 误差(m)Y 误差(m)Z 误差(m)绝对位置误差(m)Roll 误差(◦) Pitch 误差(◦) Yaw 误差(◦) 绝对角度误差(◦)

最大值均值外点个数

1.18640.297300.6551

4.33030.226130.3579

26.04430.646731.0729

26.41810.821331.2580

5.20592.982503.4738

2.49961.140301.6570

179.80510.931830.4241

179.81553.855433.4946

90%的误差范围

图10Fig. 10农田数据批处理方法与Bundler 标定结果轨迹对比, 位置、角度对比以及位置误差统计The routine, position, and orientation result of batch reconstruction comparison with

Bundler of the farmland data

表5Table 5

九台539幅图像CPU 版本Bundler 、GPU 版本Bundler 以及批处理标定方法处理时间对比The Jiutai 539images processing time of CPU

Bundler, GPU Bundler, and our batch method

方法时间效率

CPU 版本Bundler

1∼2天左右

GPU 版本Bundler

58分钟

批处理方法

31分钟

高, 同时与摄影测量软件Inpho 标定结果相比, 整体精度在10米以内, 由于我们依据GPS 坐标进行的绝对定向, 而GPS 坐标本身带有10米左右的误差, 因此可以认为我们的批处理的标定结果在合理标定

结果范围.

在第2组实验中, 我们将批处理的方法和Bundler 进行了对比, 结果显示在效率方面, 批处理方法相对增量式重建有较大的优势. 同时在标定结果上, 其中的一组数据采用增量式重建出现了3个错误图像的标定, 而在其他图像的标定结果上两种方法标定的结果没有太大差别, 可以认为在一定误差允许情况下, 两种方法都进行了正确的标定.

上述结论说明, 在无人机图像的摄像机的投影矩阵估计和场景重建中, 本文提供的批处理方法相对经典增量式重建Bundler 方法在处理能力、效率、以及稳定性方面都具有一定的优势. 本文提出的算法

844自动化学报39

卷

Fig. 11

图11吉林九台539幅图像批处理方法与Bundler 标定结果位置、角度对比

The comparison of the estimated position and orientation between the batch method and

the Bundler on the Jiutai sub-dataset of 539images

表6

吉林九台数据539幅图像批处理方法与Bundler 标定结果位置和角度误差结果统计信息Table 6The statics of position and orientation error of JiuTai 539images by

batch reconstruction and Bundler

X 误差(m)Y 误差(m)Z 误差(m)绝对位置误差(m)Roll 误差(◦) Pitch 误差(◦) Yaw 误差(◦) 绝对角度误差(◦)

最大值均值外点个数

0.12000.046300.0656

0.09710.018900.0382

0.05350.018000.0342

0.15790.056700.0747

0.49630.084600.1712

0.33380.051200.1014

0.07830.021200.0434

0.58320.111600.1954

90%的误差范围

在无人机图像的标定和重建中具有可行性. 定量的分析.

4结论与讨论

本文介绍了一种基于低空无人机影像的三维重建方法, 主要在探讨了计算机视觉中批处理方法在无人机重建方法中的应用, 相比于增量式重建算法(Bundler)按一定的顺序逐步增加图像进行优化调整求解, 本文批处理方法求解摄像机矩阵, 该求解是一次整体全局的优化计算. 本文方法借助了无人机平台上的辅助信息, 同时匹配过程中加入三视图的匹配约束去除错误, 使得算法整体在效率和稳定性方面都有大幅提高. 通过多组无人机数据实验验证了本文方法的有效性, 实验结果表明, 在重建过程中, 图像个数越多, 本算法相对于增量式重建算法的效率优越性体现越明显. 同时, 我们对自标定出的结果与GPS 精度, 以及由专业测绘软件的Inpho 的进行解析获取的结果进行了比较, 分析得到相对误差较小, 可以满足无人机飞行应用的一般要求. 由于本文未获取高精度的地面控制点数据, 因此无法对绝对精度进行衡量. 在下一步的工作中, 我们将使用更多数据对本文方法进行测试, 同时, 也希望与相关单位合作, 获得更多的地面控制点, 能对绝对精度进行

References

1Cui Hong-Xia, Lin Zong-Jian, Sun Jie. Research on UAV remote sensing system. Bulletin of Surveying and Mapping , 2005, (5):11−14

(崔红霞, 林宗坚, 孙杰. 无人机遥感监测系统研究. 测绘通报, 2005, (5):11−14) 2Jin Wei, Ge Hong-Li, Du Hua-Qiang, Xu Xiao-Jun. A review on unmanned aerial vehicle remote sensing and its applica-tion. Remote Sensing Information , 2009, (1):88−92

(金伟, 葛宏立, 杜华强, 徐小军. 无人机遥感发展与应用概况. 遥感信息, 2009, (1):88−92) 3Lowe D G. Distinctive image features from scale-invariant keypoints. International Journal of Computer Vision (IJCV), 2004, 60(2):91−1104Bay H, Ess A, Tuytelaars T, Van Gool L. Speeded-up robust features (SURF).Computer Vision and Image Understand-ing , 2008, 110(3):346−3595Fischler M A, Bolles R C. Random sample consensus:a paradigm for model fittingwith applications to image anal-ysis and automated cartography. Communications of the ACM , 1981, 24(6):381−3956Rousseeuw P J, Leroy A M. Robust Regression and Outlier Detection . New York:John Wiley and Sons, 19877Nister D. An efficientsolution to the five-pointrelative pose problem. IEEE Transactions on Pattern Analysis and Ma-chine Intelligence , 2004, 26(6):756−770

6期郭复胜等:基于辅助信息的无人机图像批处理三维重建方法845

8Hartley R and Hartley, Zisserman A. Multiple View Ge-ometry in Computer Vision (Vol.2). Cambridge University Press, Cambridge, 20049Pollefeys M, Van Gool L, Vergauwen M, Verbiest F, Cornelis K, Tops J, Koch R. Visual modeling with a hand-held cam-era. International Journal of Computer Vision , 2004, 59(3):207−23210Snavely N, Seitz S M, Szeliski R. Photo tourism:explor-ing photo collections in 3D. ACM Transactions on Graphics (TOG), 2006, 25(3):835−84611Strecha C, Pylv¨a n¨a inen T, Fua P. Dynamic and scalable

large scale image reconstruction. In:Proceedings of the 2010IEEE Conference on Computer Vision and Pattern Recog-nition (CVPR).San Francisco, CA:IEEE, 2010. 406−41312Hiep V H, Keriven R, Labatut P, Pons J P. Towards high-resolution large-scale multi-view stereo. In:Proceedings of the 2009IEEE Conference on Computer Vision and Pattern Recognition (CVPR).Miami, FL:IEEE, 2009. 1430−143713Furukawa Y, Ponce J. Accurate, dense, and robust multi-view stereopsis. IEEE Transactions on Pattern Analysis and Machine Intelligence , 2010, 32(8):1362−137614Gherardi R, Farenzena M, Fusiello A. Improving the effi-ciency of hierarchical structure-and-motion. In:Proceedings of the 2010IEEE Conference on Computer Vision and Pat-tern Recognition (CVPR).San Francisco, CA:IEEE, 2010. 1594−160015Shum H Y, Ke Q F, Zhang Z Y. Efficientbundle adjust-ment with virtual key frames:a hierarchical approach to multi-frame structure from motion. In:Proceedings of the 1999IEEE Computer Society Conference on Computer Vi-sion and Pattern Recognition (CVPR).Fort Collins, CO:IEEE, 1999. 538−54316Martinec D, Pajdla T. Robust rotation and translation es-timation in multiview reconstruction. In:Proceedings of the 2007IEEE Conference on Computer Vision and Pat-tern Recognition (CVPR).Minneapolis, MN:IEEE, 2007. 1−817Sturm P F, Triggs B. A factorization based algorithm for

multi-image projective structure and motion. In:Proceed-ings of the 4th European Conference on Computer Vision (ECCV).London, UK:Springer-Verlag, 1996. 709−72018Tomasi C, Kanade T. Shape and motion from image streams

under orthography:a factorization method. International Journal of Computer Vision (IJCV), 1992, 9(2):137−15419Kahl F, Hartley R I. Multiple-view geometry under the L ∞

norm. IEEE Transactions on Pattern Analysis and Machine Intelligence , 2005, 30(9):1603−161720Sim K, Hartley R. Recovering camera motion using L ∞min-imization. In:Proceedings of the 2006IEEE Computer So-ciety Conference on Computer Vision and Pattern Recogni-tion (CVPR).Washington, DC:IEEE, 2006. 1230−123721Li Li-Chun, Zhang Heng, Li You, Yu Qi-Feng. A 3D land-form reconstruction method based on UAV image sequences. Remote Sensing Technology and Application , 2008, 23(5):505−510

(李立春, 张恒, 李由, 于起峰. 一种基于无人机序列成像的地形地貌重建方法. 遥感技术与应用, 2008, 23(5):505−510) 22Qiu Zhi-Qiang. Three-Dimensional Structure Reconstruc-tion from Aerial Images Based on AffineApproximation [Ph.D. dissertation],National University of Defense Tech-nology, China, 2004

(邱志强. 基于仿射近似从航空图像重建目标三维结构[博士学位论文],国防科学技术大学, 中国, 2004)

23Shen Yong-Lin, Liu Jun, Wu Li-Xin, Li Fa-Shuai, Wang

Zhi. Reconstruction of disaster scene from UAV images and flight-controldata. Geography and Geo-Information Sci-ence , 2011, 27(6):13−17

(沈永林, 刘军, 吴立新, 李发帅, 王植. 基于无人机影像和飞控数据的灾场重建方法研究. 地理与地理信息科学, 2011, 27(6):13−17) 24Irschara A, Hoppe C, Bischof H, Kluckner S. Efficientstruc-ture from motion with weak position and orientation priors. In:Proceedings of the 2011IEEE Computer Society Con-ference on Computer Vision and Pattern Recognition Work-shops (CVPR).Colorado Springs, CO:IEEE, 2011. 21−2825Snavely K N. Scene Reconstruction and Visualization from

Internet Photo Collections [Ph.D. dissertation],University of Washington, USA, 200826Sinha S N, Frahm J M, Pollefeys M, Genc Y. Feature track-ing and matching in video using programmable graphics hardware. Machine Vision and Applications , 2011, 22(1):207−21727Wu C. SiftGPU:A GPU implementation of scale invariant

feature transform (SIFT)[Online],available:http://cs.unc.edu/∼ccwu/siftgpu,March 19, 201328Wu C C, Agarwal S, Curless B, Seitz S M. Multicore bun-dle adjustment. In:Proceedings of the 2011IEEE Confer-ence on Computer Vision and Pattern Recognition (CVPR).Providence, RI:IEEE, 2011. 3057−306429Google Earth:A virtual globe, map and geographical in-formation program [Online],available:http://earth.google.com, March 19, 201330ASTER GDEM database. A mirror website that supplies

ASTER GDEM database [Online],available:http://data-mirror.csdb.cn/dem/files/pd1.jsp,March 19, 201331INPHO:An end-to-end photogrammetric systems supplier

[Online],available:http://www.inpho.de,March 19, 2013

郭复胜中国科学院自动化研究所博士研究生, 分别于2004年和2008年获解放军信息工程大学摄影测量学士学位和硕士学位. 主要研究方向为三维重建和摄影测量. 本文通信作者. E-mail:[email protected](GUO Fu-Sheng Ph. D. candidate at the Institute of Automation, Chinese

Academy of Sciences. He received his bachelor degree in 2004and master degree in 2008from the PLA Information Engineering University. His research interest covers 3D re-construction and photogrammetry. Corresponding author of this paper.)

高伟中国科学院自动化研究所副研究员. 于2008年获中国科学院自动化研究所博士学位. 主要研究方向为计算机视觉和三维重建.

E-mail:[email protected](GAO Wei Associate professor at the Institute of Automation, Chinese Academy of Sciences. He received his

Ph. D. degree from the Institute of Automation, Chinese Academy of Sciences at 2008. His research interest covers computer vision and 3D reconstruction.)