关键词:
图像融合
火灾隐患检测
GAN
注意力机制
密集连接
嵌入式平台
摘要:
在危害人类安全的各类灾害中,火灾是最常见的一种。火灾发生频率高并且会带来无法估计的损失,对于人民的生活影响巨大。目前市面上主要是通过可见光摄像头检测火灾初期产生的烟雾与火焰的颜色、轮廓、纹理或者通过传感器检测温度变化。火灾初期阶段从烟雾出现到火势蔓延间隔时间极短,且仅通过上述方法识别烟雾与火焰,无法在未发生火灾但存在火灾隐患时发出预警,并且在夜间大雾等极端环境下可见光特征大量丢失。为解决传统火灾检测在夜间等极端天气下效果不佳、受限于复杂环境以及在尚未出现烟雾与火焰但存在火灾隐患的情况下无法预警等问题,设计了一种双分支GAN红外与可见光图像融合的火灾隐患检测算法,并将其搭载到嵌入式移动平台Jetson Xavier NX上,提出了一种热红外与可见光图像融合算法,既保留了热红外的温度信息又补充了可见光的纹理、轮廓信息,通过对融合图像进行处理,判断是否存在火灾隐患并进行预警。实验证明本文提出的改进红外与可见光图像融合算法用于检测火灾隐患具有较好的鲁棒性与稳定性。本文的主要研究内容可以总结为以下四个方面:
1.针对传统火灾检测在夜间大雾等极端天气下误判率高,受限于背景环境检测效果不佳等问题,提出一种双分支GAN红外与可见光图像融合算法,在生成器中设计并提出一种双分支结构,生成器的上分支为密集残差子网,该分支通过引入密集连接块与残差网络提取到了更多鲁棒的特征信息,解决了光晕伪影与梯度爆炸问题;生成器的下分支为注意力子网,在该分支中提出一种双注意力模块(ECCAB,Efficient Coordinate ChannelAttention Block),该分支串联了大量的ECCAB模块,弥补了空间信息的缺失,提高了融合图像与源图像的结构相似度、亮度及对比度。通过改进GAN图像融合算法保留了温度特征同时补充了纹理与轮廓特征。
2.针对红外与可见光源图像的浅层特征未充分利用甚至丢失、深层与浅层特征无法充分结合、融合特征单一以及没有标准融合图像作为参考等问题,提出一种调节损失函数,并设计调节图像,引入加权平均操作,对红外与可见光图像进行加权平均,并将结果作为调节图像,调节图像中包含了大量红外与可见光图像特征,与源图像有较强的相关性,通过调节图像模拟源图像达到调节融合结果的目的,丰富了融合特征的多样性。相较于传统GAN图像融合算法得到了有效提高。
3.针对传统火灾检测仅能检测烟雾或火焰,无法检测到存在火灾隐患但尚未出现烟雾或火焰的异常物体,提出一种阈值分割算法(S-TS,Single Shot MultiBox Detector-Threshold Segmentation),该算法与本文提出 的改进双分支 GAN 图像融合算法共同组成火灾隐患检测算法,通过热红外与可见光摄像头采集源图像,对采集到的红外与可见光源图进行图像融合,对融合图像进行标注,标记出图像中无火灾隐患的物体,进行训练得到模型,通过SSD目标检测识别出预先标记好的无隐患的物体,对其进行零值填充与二值化操作,对相邻两帧的结果分别使用本文提出的改进三帧差分法进行阈值分割,最后计算平均像素值并进行阈值比较,判断是否具有火灾隐患,改进图像融合的火灾隐患检测算法可以根据不同的场景调整阈值,在实验场景下具有较高的鲁棒性与稳定性。
4.本文针对火灾隐患检测需求现状进行了分析,最终开发了一套火灾隐患巡检系统。针对火灾隐患检测实时自动巡检功能,选用思岚A1激光雷达并使用Hector SLAM算法构建场所的地图模型;对得到的地图模型使用A*路径规划算法,规划出最优巡检路线;设计了巡检智能车的电机驱动模块与电源供电模块;通过PID算法结合地图模型实现巡检智能车的调速与避障,最后将火灾隐患检测算法搭载到上述巡检智能车上,实现安防火灾巡检。