基于粒子群优化灰度曲线匹配的图像配准融合方法和系统与流程-欧宝娱乐网址下载_欧宝娱乐官网在线_欧宝游戏手机

文档序号:34131600发布日期:2023-06-01阅读:489来源:国知局


1.本发明涉及图像处理技术领域,基于具体是粒群流程基于粒子群优化灰度曲线匹配的图像配准融合方法和系统。


背景技术:

2.红外热成像与可见光成像作为两种重要的优化成像手段,在电力巡检领域有着重要的灰度合方应用。可见光图像是曲线利用目标的反射光成像,成像分辨率高,可以提供丰富清晰的匹配纹理信息,含有的像配系统信息量大,有利于模型对场景和目标的准融认知。但是法和,可见光相机在光线较差(如夜间或浓雾),基于或者有视线遮挡的粒群流程情况时,可见光传感器难以清晰捕获到关键目标的优化特征。
3.由于不同类型传感器获取信息的灰度合方成像机理和应用场景不同,因此具有天然的曲线信息互补性。红外图像可以根据辐射差异将目标与背景区分开来,匹配这在全天候和全天/整夜的情况下效果很好。但是由于硬件条件和应用环境,红外图像中外观特征在红外图像中丢失严重,图像模糊,分辨率低。相反,可见图像与人类视觉系统一致的方式可以提供具有高空间分辨率和清晰度的纹理细节。因此可以将两种图像融合在一起,既可以丰富图像信息,提高图像分辨率,弥补单一传感器对特定场景表达的不全面。而实现图像融合的前提是使处于不同状态下的图像达到一致状态,也即图像配准。
4.双光相机根据结构上差异可被分为同光轴相机和分光轴相机,但共光轴系统存在结构设计难度大,远距离探测能量损失严重等问题。相较于共光轴系统,分光轴系统中的红外镜头和可见光镜头有独立的镜头和焦平面阵列,可以有效避免共光轴产生的远距离探测能量损失严重的问题。但是由于分光轴系统中的双光镜头之间存在中心距,导致拍摄得到的红外图像与可见光图像中存在视差,并且视差随着场景的变化而变化,当被拍摄的场景距离相机越近,视差越大,因此我们并不能使用一组参数来消除由视差引起的配准误差。
5.现有的大部分方法是基于特征匹配的方式来解决红外与可见光图像配准问题。但是由于硬件条件和应用环境的限制,红外图像经常出现细节模糊、噪声大,目标的外观特征丢失较严重。由于可见光图像和红外图像成像的差异性,导致两幅图像的特征存在较大的差异性。基于特征匹配的方式很难找到可以匹配的关键点对,从而导致红外图像与可见光图像的配准的精度较低。


技术实现要素:

6.为解决现有图像配准方法中红外图像与可见光图像的配准精度较低的问题,本发明提供一种基于粒子群优化灰度曲线匹配的图像配准融合方法和系统,它能实现在便于计算的同时提高配准精度。
7.本发明为实现上述目的,通过以下技术方案实现:基于粒子群优化灰度曲线匹配的图像配准融合方法,包括以下步骤:s1:采集图像;s2:对采集到的图像进行光轴矫正以及对可见光图像、红外图像尺度对齐;
s3:对采集到的图像进行基于粒子群优化灰度曲线匹配完成图像像素对齐;s4:对采集到的图像进行双光图像融合并输出最终图像。
8.优选的,所述采集图像具体为:使用垂直分光轴双光设备拍摄目标物的红外图像以及对应的可见光图像。
9.优选的,对采集到的图像进行光轴矫正以及对可见光图像、红外图像尺度对齐具体包括以下步骤:s21:通过对垂直分光轴双光设备中的红外相机与可见光相机做单目相机标定获取红外相机内参和可见光相机内参;s22:通过对垂直分光轴双光设备中的红外相机与可见光相机进行联合标定,以纠正由生产工艺产生的红外相机光轴与可见光相机光轴的水平偏差;s23:利用步骤s21得到红外相机和可见光相机的相机内参分别计算红外相机与可见光相机的视场角;s24:利用步骤s23获取到的红外图像相机的视场角和可见光相机的视场角来确定红外图像与可见光图像在水平方向和垂直方向上的缩放比例;s25:完成红外图像与可见光图像配准过程中的尺度对齐。
10.优选的,所述相机的视场角是由相机的焦距和相机的传感器决定的,所述相机的视场角计算方式如下:水平方向:垂直方向:其中,和分别表示传感器的宽和高,表示相机的焦距。
11.优选的,所述水平方向和垂直方向上的缩放比例分别为:和,具体为:其中,为红外相机在水平方向上的视场角;为红外相机在垂直方向上的视场角;为可见光相机在水平方向上的视场角;为可见光相机在垂直方向上的视场角。
12.优选的,所述对采集到的图像进行基于粒子群优化灰度曲线匹配完成图像像素对齐具体包括以下步骤:s31:使用高斯模糊算子对可见光图像做模糊处理,然后使用canny算子对红外图像与可见光图像做边缘提取,分别生成高频红外轮廓图像和可见光轮廓图像;s32:对红外轮廓图像和可见光轮廓图像按列进行等分,对每一个节点处提取个像素,构成一个红外图像灰度值数组和可见光灰度值数组;s33:对红外轮廓图像和可见光轮廓图像每一个等分节点处的和向量求平均值,在每一个等分节点处获得一个的红外图像灰度分布列向量以及的
可见光图像灰度分布列向量;s34:对红外轮廓图像与可见光轮廓图像在每一个等分节点处红外轮廓图像灰度分布列向量和可见光轮廓图像灰度分布列向量做多项式拟合,使用多项式拟合后的数据代替原有的红外轮廓图像灰度分布列向量和可见光轮廓图像灰度分布列向量;s35:对步骤s34所述可见光轮廓图像灰度分布列向量和红外轮廓图像灰度分布列向量进行灰度分布列向量曲线匹配,匹配函数构建如下:其中,为红外轮廓图像,为可见光轮廓图像,表示红外轮廓图像与可见光轮廓图像铁架的图像;s36:通过粒子群优化求解步骤s35所述函数最小值的最优解。
13.优选的,所述对采集到的图像进行双光图像融合并输出最终图像具体为:根据步骤s3获得红外图像与可见光图像完成像素对齐的变换参数对红外图像与可见光图像进行加权融合,输出异源融合图像。
14.一种基于粒子群优化灰度曲线匹配的图像配准融合系统,包括图像采集模块、图像处理模块和图像输出模块,所述图像采集模块与图像处理模块数据连接,所述图像处理模块与图像输出模块数据连接。
15.优选的,所述图像采集模块用于:采集图像;所述图像处理模块用于:对采集到的图像进行光轴矫正以及对可见光图像、红外图像尺度对齐,对采集到的图像进行基于粒子群优化灰度曲线匹配完成图像像素对齐;所述图像输出模块用于:对采集到的图像进行双光图像融合并输出最终图像。
16.对比现有技术,本发明的有益效果在于:1、基于一维向量做灰度分布匹配,计算复杂度低。
17.2、使用多项式拟合数据优化数据,缓解异源成像带来的特征差异,提升配准效果。
18.3、基于后验信息构建适应性函数有效约束配准过程,缩小解的查找空间,更快更容易收敛到最优解。
19.4、基于粒子群优化寻找最优配准参数,计算量低,实现简单。
附图说明
20.图1是本发明的方法流程图。
21.图2是本发明的配准融合结果图。
具体实施方式
22.下面结合具体实施例,进一步阐述本发明。应理解,这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解,在阅读了本发明讲授的内容之后,本领域技术人员可以对本发明作各种改动或修改,这些等价形式同样落于本技术所限定的范围。
23.实施例:基于粒子群优化灰度曲线匹配的图像配准融合方法和系统如图1所示,一种基于粒子群优化灰度曲线匹配的图像配准融合方法,包括以下步骤:
s1:采集图像;s2:对采集到的图像进行光轴矫正以及对可见光图像、红外图像尺度对齐;s3:对采集到的图像进行基于粒子群优化灰度曲线匹配完成图像像素对齐;s4:对采集到的图像进行双光图像融合并输出最终图像。
24.在本实施例中,步骤s1具体为:使用垂直分光轴双光设备拍摄10米以内的近距离输电通道电力设备的红外图像(图像大小为)与对应的可见光图像(图像大小为)。
25.步骤s2具体包括:s21:通过对垂直分光轴双光设备中的红外相机与可见光相机做单目相机标定获取红外相机内参和可见光相机内参;s22:通过对垂直分光轴双光设备中的红外相机与可见光相机进行联合标定,以纠正由生产工艺产生的红外相机光轴与可见光相机光轴的水平偏差;s23:利用步骤s21得到红外相机和可见光相机的相机内参分别计算红外相机与可见光相机的视场角,相机的视场角是由相机的焦距和相机的传感器决定的,相机的视场角的计算方式:水平方向:垂直方向:其中,和分别表示传感器的宽和高,表示相机的焦距;s24:利用步骤s23获取到的红外图像相机的视场角和可见光相机的视场角来确定红外图像与可见光图像在水平方向和垂直方向上的缩放比例和,具体为:其中,为红外相机在水平方向上的视场角;为红外相机在垂直方向上的视场角;为可见光相机在水平方向上的视场角;为可见光相机在垂直方向上的视场角;s25:完成红外图像与可见光图像配准过程中的尺度对齐。
26.步骤s3具体包括:s31:使用高斯模糊算子对可见光图像做模糊处理,然后使用canny算子对红外图像与可见光图像做边缘提取,分别生成高频红外轮廓图像和可见光轮廓图像;s32:对红外轮廓图像和可见光轮廓图像按列进行等分,对每一个节点处提取个像素,构成一个红外图像灰度值数组和可见光灰度值数组;s33:对红外轮廓图像和可见光轮廓图像每一个等分节点处的和向量求平均值,在每一个等分节点处获得一个的红外图像灰度分布列向量以及的可见光图像灰度分布列向量;
s34:对红外轮廓图像与可见光轮廓图像在每一个等分节点处红外轮廓图像灰度分布列向量和可见光轮廓图像灰度分布列向量做多项式拟合,使用多项式拟合后的数据代替原有的红外轮廓图像灰度分布列向量和可见光轮廓图像灰度分布列向量;s35:对步骤s34所述可见光轮廓图像灰度分布列向量和红外轮廓图像灰度分布列向量进行灰度分布列向量曲线匹配,匹配函数构建如下:其中,为红外轮廓图像,为可见光轮廓图像,表示红外轮廓图像与可见光轮廓图像铁架的图像;s36:通过粒子群优化求解步骤s35所述函数最小值的最优解,在粒子群算法中,算法的主要参数有:d维空间,n个粒子,k次迭代,每个粒子代表一个解,则有:第个粒子的位置为:第个粒子的速度为(粒子的移动大小和方向):第个粒子搜索到的最优位置(个体最优解):群体搜索到的最优位置(群体最优解):第个粒子搜索到的最优位置适应值为;第次迭代寻找的群体搜索的最优位置的适应值为;第个粒子下一步迭代移动的距离和方向的更新公式为:其中,为惯性权重,为个体学习因子,为群体学习因子;第个粒子下一步的位置更新公式为:当群体历史最优适应值达到收敛时停止迭代,输出最优解,即红外图像与可见光图像完成像素对齐的平移变换参数;所述步骤s4具体为根据步骤s3获得红外图像与可见光图像完成像素对齐的变换参数对红外图像与可见光图像进行加权融合,获得异源融合图像(如图 2所示)。
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1
技术分类