关键词:
图像融合
无人机
目标识别
双光融合
摘要:
随着无人机产业快速发展,无人机对地目标检测系统在军事、民用和商业领域应用广泛,在无人机上搭载的图像识别也得到了广泛的应用。可见光图像具有丰富的纹理和高空间分辨率,但恶劣条件下成像质量会下降,相比之下,红外图像不受光照条件的影响,适合全天候工作,但图像本身缺乏细节,无法充分反映场景信息。因此,仅依靠一种图像类型执行视觉任务存在很大的局限,尤其对于依赖视觉信息的无人机任务而言,将红外图像与可见光图像进行有效的配准和融合,既可以保留了可见光图像的色彩、纹理和边缘信息,也突出了红外目标相对于背景的亮度,从而显著提高无人机目标检测的识别能力。
本研究旨在通过采用先进的红外与可见光图像融合技术,结合改进的目标检测网络,设计一种复杂环境下无人机对地目标检测系统。本文的主要工作内容如下:
图像采集与图像预处理:首先搭建双源图像采集平台,然后对图像预处理的理论基础进行了解释说明,对红外和可见光图像进行图像预处理,其次分别介绍了Laplace算法的实现步骤以及公式,最后对预处理效果图展示及目标识别性能对比。
基于边缘特征的改进ORB算法:提出了一种创新的配准方法,即利用ORB和Canny边缘检测相结合的融合配准方法,完成对可见光图像和红外图像的配准,通过提取边缘图像上的特征点进行图像匹配,从而提高了匹配的精度。
基于双对抗学习的双光融合生成对抗网络(Tar DAL):将Tar DAL在双光融合中的进行应用,通过对融合前后进行主观客观评估,并进行融合算法图像评价对比试验,从而验证了融合图像的质量得到了显著提升,为目标识别任务提供了更好的准备条件。
基于改进YOLOv5s的图像识别方法:研究改进了一种YOLOv5s-GN-CB图像识别方法,该方法可以提高无人机对地等多类目标识别效率的目的。本文对YOLOv5s的主要改进包括以下三个方面:将Ghost引入到YOLOv5s主干网络中,并将NWD loss损失函数融入至Ghost中;添加注意力机制CA;添加加权双向特征金字塔Bi FPN。经实验验证,改进的YOLOv5s-GN-CB检测模型分别对融合可见光图像、红外图像和融合图像进行测试,数据集下目标识别平均精度均值(m AP@0.5)分别达到、93.38%、94.85%、95.1%,FPS提高至75.188帧/s。相较于YOLOv5原始模型对融合图像的平均精度均值(90.9%)和FPS分别提高了4.2%和12.02%。这一显著提升证明了我们提出的红外-可见光融合技术在目标检测任务中的有效性。
系统设计与效果验证:主要针对复杂环境下无人机对地目标检测对速度和性能要求较高的需求,采用基于边缘特征的ORB算法、基于Tar DAL的红外与可见光图像融合算法、改进的YOLOv5s-GN-CB目标检测算法,构建了一套基于红外-可见光图像融合的目标检测系统。首先,阐述了一下系统总体方案,包括系统组成和系统工作原理。然后对系统所需硬件进行选型,并展示无人机整体构造,选型包括:红外相机、可见光相机、无人机、机载电脑、地面工作站。其次,针对本文算法开发系统软件,设计软件的功能和模块。最后,通过可视化软件进行图像融合及目标检测实验,并展示系统运行结果。实验结果表明,基于红外与可见光图像融合技术的无人机对地目标检测系统能够满足的复杂环境下无人机对地目标检测需求。