浅谈基于无人机图像视觉识别的单目测距技术陈铭

陈铭曾湘隆沈红莲罗乐胡御宇

（国网重庆市电力公司检修分公司重庆市400039）

摘要：近年来特高压输电工程的逐步建成，对无人机巡检作业提出了更高的安全要求。尤其是在输电线路巡检中复杂电磁环境下，无人机抗干扰问题已成为无人机研究的重点方向之一。文中首先从理论层面介绍了基于无人机图像视觉识别的单目测距安全距离保障技术，然后在介绍了具体的实施方案，最终保障了输电线路无人机巡检的安全距离。

关键词：无人机；图像视觉识别；单目测距

1.引言

现今用于输电线路巡检的无人机的作业区域主要为跨江河、湖泊、山川、树木、高低速、线路等复杂区域，若在跨线路环境中进行无人机巡检作业，极易受到各线路间产生的强电磁场、通信基站无线电信号等无形的干扰。在这种强干扰环境下，无人机巡检作业风险极大，极易造成无人机故障坠毁，甚至危及人身安全，进而引发电网事故。因此，本文研究的无人机图像视觉识别的单目测距安全距离保障技术具有很高的现实意义和研究价值。

2.研究基于无人机图像视觉识别的单目测距安全距离保障技术理论依据

2.1单目视觉三维场景构建

单目三维场景构建（StructurefromMotion）能够通过大量照片重建三维模型。一个完整的三维重建系统通常包含图像获取、摄像机标定、特征点提取、立体匹配、深度确定和后处理等6大部分。

摄像机的标定

摄像机的标定重中之重，它被用来确立外界三维场景中的特征点坐标与其在图像平面上的对应像点坐标之间的映射关系，从而获得有效的摄像机模型。

特征点提取

特征提取的目的是获得后期进行匹配所需的特征点，现阶段由于缺少一种普遍适用的特征提取方法，因此造成了目前立体匹配中特征选择的多样性。总体上来说，大尺度特征拥有较为多样的图像信息，在图像中的数目较少，有利于快速匹配，但其定位精度差，特征提取与描述困难。而小尺度特征含有图像信息少，在图像中的数目较多，所以在匹配时需要较强的约束准则和匹配策略，从而克服歧义匹配和提高运算效率。特征的选取原则是所选特征应具有可区分性、唯一性、不变性以及较强的解决误匹配的能力。

特征点立体匹配

特征点匹配是依据所选特征计算，建立特征之间的对应关系，即将同一个空间物理点在不同图像中的映像点对应起来。选择一种合适的匹配算法至关重要。按照约束方式，匹配算法分为两种，局部匹配方法和全局匹配方法。

基于局部约束的匹配算法，是将兴趣点周围的局部信息进行计算，所含信息量少，因此计算复杂度低，大多数实时性平台都参考此算法。但它对噪声较敏感，对无纹理区域、视差不连续区域和遮挡区域匹配效果较差。局部算法主要可以分为3类：区域匹配算法、特征匹配算法和相位匹配算法区域匹配算法。

基于全局约束的算法是将对应扫描线或整个图像数据信息进行计算，有针对性的解决图像中不确定区域的匹配问题，能实现全局最优解。全局匹配包括动态规划法，置信度传播法，图切法，非线性融合法等。

三维信息计算

深度计算是将前述步骤所匹配到的点，根据公式来计算该点的三维信息，计算结果会受到摄像机本身量化误差、摄像机标定误差、特征提取方式以及匹配精度等多方面的影响。且经过这一步骤，也只能得到外界物体的离散点，所以还应采用插值的方法来近似还原外界物体的整体表面信息。常用的插值方法有最近邻插值、样条插值、双线性插值等。

3.研究基于无人机图像视觉识别的单目测距安全距离保障技术实施方案

3.1无人机巡检图像的设备识别算法

研究基于几何特征的计算机视觉中典型设备特点，首先应获取图像信息，即把电力设备的图像经过成像设备和传输设备转换成电信号输入到计算机中以备后续处理。然后是信息的特征提取，换句话说是对得到的电力设备图像的数据材料进行加工、整理、分析、归纳以及去伪存真，抽出能反映电力设备本质的特征。最后是判决识别，类似于人从感性认识上升到理性认识而做出结论，识别出电力设备类型的过程，此过程与特征提取的方式密切相关。

防振锤在输电线路图像中是属于形变目标，相对来说数量较多而目标较小，不易直接采用形状特征描述，而应在检测定位时要考虑到旋转、缩放、平移的特性，进而根据深度学习的设备影响特征提取和训练进行设备识别，基于深度神经网络的图像识别系统不需要人为选定图像特征，而是基于多分类器损失函数反向传播误差训练基于卷积神经网络的特征表示。基于深度神经网络的输电设备识别框图如图1所示。

图1基于深度神经网络的输电设备识别框图

研究直接利用全局特征预测每个位置可能的设备目标，不断进行迭代回归调整，得到最终的识别结果。研究通过定义回归方式，网络以及模型，将原始识别结果进行再一次回归之后，再进行识别，提升效果。

研究图像特征提取和识别的多种算法，针对不同的电力设备图像提取了不同的特征，如颜色、纹理、形状特征、高等语义特征。运用不同识别方法进行实验。综合运用电力设备提取的特征和识别方法，有效的提高识别的正确率和识别的速度。

3.1.1鸟巢隐患识别方法研究

由于无人机拍摄的巡检图像拍摄角度多种多样，拍摄时的光照、气候等环境影响也各有不同，再加上输电线路的野外复杂背景，需要对图像进行一系列复杂运算。本算法主要采用形状特征识别和颜色特征识别，首先对输电线路杆塔进行识别，再识别鸟巢，由此判断是杆塔上的鸟巢还是背景中相似图像。具体流程如2所示：

图2鸟巢隐患识别流程图

1.图像灰度化处理

由于无人机巡检产生的照片都是彩色图像，都是采用RGB颜色模式，处理图像的时候，要分别对RGB三种分量进行处理，实际上RGB并不能反映图像的形态特征，只是从光学的原理上进行颜色的调配。

2.LSD直线检测

LSD直线检测的目的在于检测图像中局部的直的轮廓。LSD算法首先是要根据上一步对图像处理获得的灰度图，输出则是一系列的直线分割结果。

LSD算法的第一步是将输入图像缩小为原来的80%，缩小的目的在于减弱甚至消除很多图像中出现的锯齿效应。然后进行梯度计算，灰度图上的像素点的灰度值可表示为下图。

然后对计算获得的梯度计算值进行排序，主要在0好图像最大梯度幅值之间等间隔的均匀的设置1024个序列。像素则根据起对应的梯度幅值分类到1024个序列当中。将最大梯度的像素作为种子点，进行排序。

根据梯度计算值排序可以看出梯度幅值变化，较小变化意味着平台区域或梯度变化缓慢的区域，由于像素值量化的问题，可能在计算梯度时有错误的值，需要设定一个梯度阀值将小于该阀值的点忽略。

以排序列表中一个未使用的像素作为种子点进行递归以进行区域增长。最后进行矩形估计，完成LSD算法直线检测。

3.Harris角点检测

Harris角点算法的流程是首先计算图像在X，Y两个方向上的梯度，然后计算图像两个方向梯度的乘积。用高斯函数对乘积进行高斯加权形成矩阵元素。

计算每个像素的Harris响应值，并对小于阀值的计算结果进行忽略。

在邻域内进行最大值抑制，局部最大值即为图像中的角点。

4.形态学闭运算

形态学闭运算用来消除小物体、在纤细点处分离物体、平滑较大物体的边界的同时并不明显改变其面积。

5.HOG特征提取算法

图3HOG特征提取算法

首先确定杆塔位置，通过对图像的一系列算法处理，可以将图像中的特征提取出来，再通过杆塔特征再次检验。然后对疑似鸟巢的关键区域进行粗提取，并提取HOG特征，再通过SVM分类器进行精确提取，实现输电线路巡检鸟巢识别并标记。

3.1.2绝缘子破损闪络识别方法研究

输电线路绝缘子具有较明显的形状、颜色特征，并且重复出现。人工识别时这种特征会使人产生视觉疲劳、惯性，从而忽略关键点。而识别算法则能够根据这一特征快速找出异常情况。通过对绝缘子形状、颜色特征的识别，实现绝缘子破损和闪络的检测。具体流程如4所示：

图4绝缘子识别方法流程图

3.2无人机巡检图像的预处理算法

电网设备图像采集受环境和气候等因素的影响，视频图像不可避免会发生降质问题，影响特征提取及处理分析等环节的效果。图像预处理，如：图像去燥、去抖、去雾、避障等可以在很大程度上排除降质现象，研究图像处理算法定位并截出感兴趣区域，在感兴趣区域基础上，根据具体任务要求，继续分割提取出相关结构，要对采集到的以保证电力设备及其运行状态识别和分析的准确性。为以后的特征提取和识别处理做好必要的准备工作，以保证电力设备及其运行状态识别和分析的准确性。

A图像去雾

雾天图像复原是研究雾天图像降质的物理过程，并建立雾天退化模型，补偿退化过程造成的失真，以便获得未经干扰退化的无雾图像或无雾图像的最优估计值，从而改善雾天图像质量；研究图像去雾方法重要组成部分：一是对有雾图像进行特征提取；二是基于提取后的特征，利用多层神经网络进行场景深度的估计。如图5给出了该方法的流程。

图5图像去雾方法框图

B视频图像去抖

成像设备部署于飞机和汽车上或是手持时，不可避免会发生颠簸移位，表现在视频图像是图像全面模糊，辨识性与可处理性下降。常用的视频图像抖动消除系统包括安装云台，从而引入光学防抖、陀螺仪补偿防抖等，这类方法属于基于硬件的防抖技术，受到风力、运动速度、外部环境等因素影响，应用环境有限。因此在本文中我们拟采用基于软件的视频图像去抖方法。

基于软件的图像抖动消除系统一般包括全局运动参数估计和运动补偿两个模块。本文拟研究通过特征跟踪的方法来处理抖动图像方法和基于区域分割的图像去抖。具体视频图像去抖方法框架如图6所示。

图6视频图像去抖方法框架

3.3精准拍摄

当无人机巡检线路进行拍照时，采用单目测距技术，进行实时测算距离，当角度符合后，获得的巡检图像就符合对关键设备结构点故障缺陷图像识别的要求，如金具变形、移位、绝缘子闪络、导线散股等。安全距离巡检如图7所示。

图7安全距离巡检图

4.结语

单目测距实现电磁干扰距离外安全作业。通过人工智能识别关键设备，根据已知设备实际大小和变焦倍数，结合设备成像尺寸实时测算距离，保障安全作业距离。

参考文献：

[1]马传焱.无人机测控系统抗干扰技术与应用分析[J].飞航导弹，2006（11）：9-11.[2]徐靖涛，陆钰，王金根.无人机通信链路抗干扰手段探析[J].桂林航天工业高等专科学校学报，2007，12（4）：1-3.

[2]曹雪虹.信息论与编码[M].北京：清华大学出版社，2009.

[3]王永寿.无人机的通信技术[J].飞航导弹，2005（2）：20-22.

[4]王辉.浅谈高压绝缘子的维护与检修技术[J].中国科技纵横，2011（8）：89.

[5]孙斌，徐威，杨汝清.高压绝缘子清扫机器人的动力学建模及分析[J].上海交通大学学报，2004，38（8）：1304-1306.