NSST domain sonar image fusion combining PCNN and local energy

结合PCNN和局部能量的NSST域声呐图像融合 NSST domain sonar image fusion combining PCNN and local energy 1 first-author 曾志勇，男，广东清远人，从事声呐图像处理研究，zengzhiyong3636@163.com。 曾志勇，男，广东清远人，从事声呐图像处理研究，zengzhiyong3636@163.com。 zengzhiyong3636@163.com 1 corresp 刘光宇，男，黑龙江哈尔滨人，副研究员，博士，从事声呐图像处理研究，1835023849@qq.com。 刘光宇，男，黑龙江哈尔滨人，副研究员，博士，从事声呐图像处理研究，1835023849@qq.com。 1835023849@qq.com 1 2 3 大理大学　工程学院，云南　大理　671003 大理大学　工程学院，云南　大理　671003 School of Engineering, Dali University, Dali 671003, China School of Engineering, Dali University, Dali 671003, China 哈尔滨工程大学　物理与光电工程学院，黑龙江　哈尔滨　150001 哈尔滨工程大学　物理与光电工程学院，黑龙江　哈尔滨　150001 College of Physics and Optoelectronic Engineering, Harbin Engineering University, Harbin 150001, China College of Physics and Optoelectronic Engineering, Harbin Engineering University, Harbin 150001, China 云南民族大学　电气信息工程学院，云南　昆明　650031 云南民族大学　电气信息工程学院，云南　昆明　650031 School of Electrical Information Engineering, Yunnan Nationalities University, Kunming 650031, China School of Electrical Information Engineering, Yunnan Nationalities University, Kunming 650031, China 李静 针对声呐图像局部特征模糊和边缘信息丢失的问题，提出一种结合参数自适应脉冲耦合神经网络和改进的局部能量融合规则的非下采样剪切波域声呐图像融合方法。利用非下采样剪切波变换将多幅源图像分解为高频系数和低频系数，采用参数自适应脉冲耦合神经网络对高频系数进行处理，整合图像边缘信息；对传统局部能量融合规则进行改进，并应用在低频系数的处理中，保留图像的大部分原始能量。最后，将处理后的高频系数和低频系数进行重构，实现声呐图像的融合。仿真结果表明，该方法可将源图像中的边缘信息和特征信息有效传递到融合图像中，使声呐图像质量得到较大提升。 Aiming at the problems of local feature blur and edge information loss of sonar image, a sonar image fusion method in non-subsampled shearlet domain is proposed, which combines parameter adaptive pulse coupled neural network and improved local energy fusion rules. The non-subsampled shearlet transform is used to decompose multiple source images into high-frequency coefficients and low-frequency coefficients, and the parameter adaptive pulse coupled neural network is used to process the high-frequency coefficients to integrate image edge information. The traditional local energy fusion rule is improved and applied to the processing of low-frequency coefficients to retain most of the original energy of the image. Finally, the processed high-frequency coefficients and low-frequency coefficients are reconstructed by the inverse transformation of non-subsampled shearlet to realize the fusion of sonar images. The simulation results show that this method can transfer the edge information and feature information in the source image to the fused image, and greatly improve the sonar image quality. 声呐图像融合 非下采样剪切波变换 脉冲耦合神经网络 局部能量 sonar image fusion non-subsampled shearlet pulse coupled neural network local energy 水声技术作为水下信息探测、定位和通信的有效手段，已广泛应用于海洋探测与开发领域。其中，成像声呐以直观的信息获取方式成为水下声探测技术的研究热点之一。由于受水温、水深、风速、海洋内部的不均匀性、海底地形的不规则性以及成像设备性能等诸多因素的影响，所获取的各幅声呐图像通常存在局部特征模糊和局部边缘丢失的现象，导致图像信息缺失，制约了利用图像信息进行水下目标探测与识别作业。图像融合技术可以将多幅声呐图像的显著特征进行互补，得到更加准确和完整的目标图像，为后续声呐图像目标识别和目标跟踪等提供重要保障。 根据对图像表述层面的不同，可将图像融合方法分为特征级、决策级和像素级融合法 [ 1 1 ] 。其中，像素级融合法因其可以保留更多的源图像细节信息，在图像融合领域中得到广泛应用。根据处理方式的差异，可将其进一步分为空间域融合法和变换域融合法 [ 2 2 ] 。由于空间域融合法采用较简单的叠加规则对源图像进行融合处理，虽然运算速率快，但却无法突显源图像的优势信息，降低图像的融合质量。 变换域融合法利用相关数学变换将图像从空间域转换到变换域，对不同频率的信号进行相应处理，具有更好的细节描述能力。1985年，Burt P等人首次利用拉普拉斯金字塔对多焦点图像进行分解和重构，并且以最大选择规则获得融合图像 [ 3 3 ] ；2006年，阳凡林等人根据多波束声呐和侧扫声呐特点的不同，采用二进小波方法对两者的回波图像进行融合，得到了特征信息更为丰富的声呐图像 [ 4 4 ] ；2013年，赵建虎等人对多波束与侧扫声呐图像的区块信息融合方法进行了研究，验证了拉普拉斯金字塔法和小波变换法在声呐图像融合中的有效性 [ 5 5 ] ；同年，Zhang等人在小波变换框架上实现多聚焦图像的融合 [ 6 6 ] ；2015年，王达等人根据水下声图像的特点，构建局部邻域的显著性量测和匹配性量测，提出了一种基于梯度金字塔的图像融合方法，使融合后的声呐图像更符合视觉要求 [ 7 7 ] ；2016年，Bhateja等人提出了一种轮廓波域医学图像融合方法，该方法使用非线性增强函数和改进的主成分分析算法对轮廓波变换后的高低频系数进行处理，将相位一致性融合规则应用在低频系数中，将定向对比度和归一化香农熵应用在高频系数中，最后实现医学图像的融合 [ 8 8 ] ；2017年，张健等人对前视声呐图像的融合方法展开研究，提出了一种非下采样轮廓波域图像融合方法，该方法采用Gabor能量和区域一致性校验准则对非下采样轮廓波变换的子带进行处理，通过非下采样轮廓波逆变换得到清晰度较高的前视声呐融合图像 [ 9 9 ] 。 与轮廓波变换一样，剪切波变换也可以高质量地获得图像的多尺度和多方向表示，并且由于剪切波变换将定向滤波器替换为剪切滤波器，因此，相比轮廓波变换，剪切波变换对分向数量的获取没有了限制，使计算效率得到了提高 [ 10 10 ] 。2017年，Miao等人将剪切波变换应用在遥感图像融合中，并且利用遗传算法对融合规则中的加权因子进行了优化，可得到融合质量较好的遥感图像 [ 11 11 ] 。2021年，Diwakar等人提出了一种非下采样剪切波域融合方法，避免了图像处理中的下采样操作，促进了变换域融合方法的发展 [ 12 12 ] 。 在此基础上，本文以非下采样剪切波变换为基本框架，根据声呐图像的特点，结合参数自适应脉冲耦合神经网络和改进的局部能量融合规则，提出一种声呐图像融合方法。利用该方法实现声呐图像的信息互补，使融合后的图像可以更加准确、可靠和全面地描述一个场景或事物。 基本理论 1 非下采样剪切波变换 2 剪切波是合成小波的一个特例，合成小波是Guo等人利用经典仿射系统构建的数学模型 [ 13 13 ] 。当维数 n =2， ψ ∈ L 2 （ R 2 ）时，仿射系统可描述为 http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42984525&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42984520&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42984532&type= L 2 为平方可积的函数空间，当 A AB （ ψ ）满足Parseval框架，即 http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42984534&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42984536&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42984555&type= 则 ψ 为合成小波。式（1）中的 A 、 B 为二维可逆矩阵，|det B |=1， j 、 l 、 k 分别为尺度参数、几何参数和平移参数，式（2）满足条件∀ h ∈ L 2 （ R 2 ）。当 A = http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42984544&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42984562&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42984546&type= ， http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42984551&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42984572&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42984566&type= 时，合成小波被称为剪切波。 在剪切波频域离散化实现中，对于一幅图像 f http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42984574&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42984590&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42984586&type= ，其二维离散Fourier变换 http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42984594&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42984601&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42984581&type= 和Fourier变换 http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42984602&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42984620&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42984604&type= 的计算公式为 http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42984622&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42984626&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42984643&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42984631&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42984646&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42984636&type= 因此，可以看作 http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42984639&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42984653&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42984642&type= 是对 http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42984661&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42984666&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42984662&type= 的采样，即 http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42984674&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42984681&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42984676&type= 。 接着在离散域计算 http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42984671&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42984692&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42984689&type= ，在时域尺度 j 上应用拉普拉斯金字塔算法将 f http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42984694&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42984708&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42984698&type= 分解为 http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42984718&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42984716&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42984720&type= 和 http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42984723&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42984737&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42984735&type= ，其中， http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42984732&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42984743&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42984740&type= 为高频系数， http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42984757&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42984766&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42984747&type= 为低频系数，0≤ n 1 ， n 2 ≤ N j -1 ，滤波后图像大小为2 -2 j N ×2 -2 j N ，即存在 http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42984779&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42984783&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42984772&type= 其次，在方向局部化构成中需要定义伪极向坐标（ u ， v ），即 http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42984774&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42984776&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42984789&type= 式中： D 0 表示水平锥， D 1 表示垂直锥。随即可得到 http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42984792&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42984796&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42984794&type= ， g 为 f 在伪极向网格的离散傅立叶变换值。另外，当1-2 j ≤ l ≤2 j -1时，存在 http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42984798&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42984800&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42984803&type= 式中： V 为剪切波的多尺度剖分窗函数； W 为剪切波的方向局部剖分窗函数。通过式（7）可知，不同方向的剪切波系数可由窗函数 W 进行简单平移获得。离散剪切变换示意图见 图1 图1 。 在剪切波变换（shearlet transform，ST）基础上，非下采样剪切波变换（non-subsampled shearlet transform，NSST）利用非下采样金字塔滤波器（non-subsampled pyramid filter，NSPF）进行多尺度剖分，将剪切滤波器（shearing filter，SF）从伪极坐标系映射到笛卡尔坐标系进行方向局部化。NSST继承了ST的优点，又解决了ST的下采样操作，缓解频谱混叠现象。NSST变换后得到的一系列子带图像的大小与原始图像相同，其变换过程如 图2 图2 所示。 根据 图2 图2 ，NSST具体变换过程可总结为以下3步： 1）利用NSPF对输入图像进行分解，得到一个高频子带图像和一个低频子带图像； 2）利用映射到笛卡尔坐标系的SF对高频子带图像进行方向局部化，得到方向子带； 3）将获取的方向子带进行Fourier逆变换，得到NSST系数。 脉冲耦合神经网络 2 脉冲耦合神经网络（pulse-coupled neural networks, PCNN） [ 14 14 ] 是一种具有生物学特性的神经元模型，被称为第3代人工神经网络。PCNN具有无需学习和训练等优点，但其存在模型复杂、参数设置的主观随意性较强等问题。为此，学者们对其进行了改进，文献[ 15 15 ]构建了一种可以自动设置参数的简化PCNN模型，文献[ 16 16 ]将其应用在医学图像融合中，并根据参数设置特点，将其命名为PAPCNN（parameter adaptive PCNN），其模型如 图3 图3 所示。 PAPCNN模型可通过以下数学表达式进行描述， http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42984854&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42984856&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42984859&type= 式中： F 为反馈输入； S ij 为输入图像； L 为链接输入； U 为内部活动项； Y 为输出； θ 为阈值； α θ 和 V θ 分别是指数衰减系数和 θ ij （ n ）的幅值； W ijkl 为耦合链接域的权值矩阵， http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42984871&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42984862&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42984865&type= 在神经元迭代过程中， F ij （ n ）是固定的， L ij （ n ）通过矩阵 W ij 与邻域神经元相关联。参数 V L 是链接输入的幅度。内部活动项 U ij （ n ）包括e- α F U ij （ n -1）和 F ij （ n ）（1+ βL ij （ n ））2项。 Y ij （ n ）=1和 Y ij （ n ）=0是输出 Y ij （ n ）的2个状态，当 U ij （ n ） > θ ij （ n ）时， Y ij （ n ）=1，神经元处于点火状态，否则 Y ij （ n ）=0，处于未点火状态。 PAPCNN模型中的 α F 、 β 、 V L 、 α θ 和 V θ 为5个自由参数。其中，由于 β 和 V L 是 http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42984878&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42984885&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42984879&type= 的权重，可将两者视为一个整体，令 λ = βV L ，则PAPCNN模型中仅有4个自由参数，这些参数可通过公式（10）至（13）进行自适应计算， http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42984882&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42984899&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42984901&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42984902&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42984893&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42984905&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42984909&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42984911&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42984897&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42984917&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42984931&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42984935&type= 式中： σ （ S ）为输入图像 S 的标准差，其范围在[0，1]区间内； S ′和 S max 分别表示输入图像的Otsu阈值和最大的强度值。 改进的局部能量融合规则 2 传统局部能量融合规则在图像处理领域中具有广泛的应用，但由于其未能充分考虑图像的固有属性，影响了图像的质量。本文利用Tan等人提出的加权公式 [ 17 17 ] 对传统局部能量融合规则进行改进，将其应用在图像局部能量的判别中，提出一种改进的局部能量融合规则，具体步骤如下。 1）分别计算低频子带 L A 和 L B 的局部能量， http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42984922&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42984938&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42984941&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42984927&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42984944&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42984945&type= 式（14）和式（15）中的 W （ m ， n ）为区域窗口，其大小为（2 M +1）×（2 N +1）。 2）计算低频局部能量的属性值 P A 和 P B ， http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42984962&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42984965&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42984967&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42984950&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42984972&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42984973&type= 式（16）和式（17）中的 α 为调制参数， μ A 、 μ B 分别为低频局部能量 E A （ i ， j ）和 E B （ i ， j ）的平均值。 3）计算指数算子 R A （ x ， y ）和 R B （ x ， y ）， http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42984976&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42984989&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42984992&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42984980&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42984994&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42984996&type= 式（18）和式（19）中的 β 为调制参数， L A （ x ， y ）和 L B （ x ， y ）分别为源图像 A 和 B 的低频子带。 4）通过式（20）的加权公式可得到融合后的低频系数 L F （ x ， y ）， http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42984997&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42984985&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42984986&type= 图像融合评价指标 2 主观评价和客观评价对图像融合质量的判断都具有重要意义。一种优秀的融合算法应该充分保留源图像中目标物体的边缘信息和特征信息，并且在直观视觉效果上符合人类的视觉感官机制。因此，选择边缘保持度（edge retention， Q AB/F[ 18 18 ] 、特征互信息（feature mutual imformation，FMI） [ 19 19 ] 和信息保真度准则（information fidelity criterion，IFC） [ 20 20 ] 作为本文融合算法的客观评价标准。 1）边缘保持度（ Q AB/F ）是反映融合图像保留源图像边缘信息的一个指标，该指标以源图像中的边缘信息应该保留在融合图像中为假设，可定义为 http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42984987&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42984999&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42985004&type= 式中： http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42985005&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42985007&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42985001&type= ； http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42985008&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42985019&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42985009&type= 和 http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42985020&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42985013&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42985012&type= 和 http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42985015&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42985027&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42985025&type= 分别表示源图像 A 和图像 B 在像素位置（ i,j ）处的边缘强度和方向值； ω A （ i,j ）和 ω B （ i,j ）为权值。 Q AB/F 越大，表示越多的边缘信息被传送到融合图像中。 2）特征互信息（FMI）是对源图像传输到融合图像的特征信息进行测量的一个指标，因此，用该指标判断融合后图像的质量是合理的。FMI（式中简记 I FMI） 的定义为 http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42985028&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42985029&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42985031&type= 式中：M是单幅源图像与融合图像的特征度量函数； A ′和 B ′为两幅源图像的特征图； F ′为融合图像的特征图。FMI值越大，表明从源图像传输到融合图像中的特征信息越多。 3）信息保真度准则（IFC）是一种基于信息论基础的图像融合指标，其利用自然场景统计模型计算信息保真度。该指标拓展了图像与人眼之间的联系，通过衡量融合图像和源图像之间的共同信息量来评价图像质量，IFC越大，融合图像的质量越好，IFC（式中简记 C IFC ）的计算公式为 http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42985033&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42985016&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42985048&type= 式中，subbands为小波分解的子带范围， http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42985034&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42985035&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42985037&type= 式中： h （ X ）为连续随机变量 X 的微分熵， X 分布为 N （ μ ， σ 2 ）， h （ X ）=1/2log 2 2πe σ 2 ； C 为参考图像的小波系数； D 为测试图像的小波系数； S 为小波分解的子带； C N ， D N 和 S N 分别表示 C 、 D 和 S 相应的 N 个元素。 融合实验结果与分析 1 声呐图像融合过程如 图4 图4 所示，具体步骤如下。 1）利用NSST将源图像 A 和源图像 B 分解为高低频系数，高频系数包含图像丰富的边缘信息，低频系数为图像的主要能量。 2）采用PAPCNN对两幅源图像的高频系数进行融合。PAPCNN通过接收外部刺激与内部刺激使神经元产生内部活动并进行阈值比较，对每幅源图像中有用的边缘信息进行整合和处理，使融合后图像的边缘信息得到有效补充。 3）将改进后的局部能量融合规则应用在低频系数的融合中。通过计算低频系数中的局部能量并通过加权公式对低频信息进行选取，考虑了图像的固有属性，使融合后图像的低频能量和特征得到有效恢复。 4）利用NSST逆变换实现声呐图像高低频系数的重构，得到融合后的图像。 实验1 　采用一种基于KAZE算法的配准方法 [ 21 21 ] 对 图5（a） 图5（a） 和 图5（b） 图5（b） 2幅具有互补信息的井盖声呐图像进行配准实验，得到 图5（c） 图5（c） 和 图5（d） 图5（d） 2幅源图像。 以小波变换（wavelet transform, WT）、脊波变换（ridgelet transform, RT）、轮廓波变换（contourlet transform, CT）、剪切波变换和非下采样剪切波变换为基本框架，运用常见的绝对值取大法和平均融合法分别作为高频系数和低频系数的融合规则，并与本文所提方法进行对比，得到的实验结果如 图6 图6 所示。 利用WT、RT、CT、ST、NSST和本文方法对配准后的井盖图像进行融合后，可以看出，6种方法都可以对2幅源图像的信息进行互补。通过 图6（a） 图6（a） 的图像可以发现，WT方法融合后，图像整体出现了模糊，尤其图像中的井盖边缘更为严重，影响了直观视觉效果；RT、CT处理后，源图像中的边缘特征无法得到完全体现；ST和NSST方法处理后，两幅源图像连接处的灰度值变化程度大，图像的直观融合效果不理想。由于本文方法的低频分量是根据图像局部能量的大小选择信息，因此，对于未能完全配准的图像也具有较好的融合效果，不会产生伪影现象。通过统计融合图像的边缘保持度（ Q AB/F ）、特征互信息（FMI）和信息保真度准则（IFC）判断融合图像的质量，统计结果如 表1 表1 所示。 1 1 融合方法 1 1 Q AB/F 1 1 FMI 1 1 IFC 1 1 WT 1 1 0.384 9 1 1 0.956 6 1 1 1.932 9 1 1 RT 1 1 0.441 2 1 1 0.943 7 1 1 1.827 6 1 1 CT 1 1 0.397 3 1 1 0.924 5 1 1 1.473 1 1 1 ST 1 1 0.455 9 1 1 0.939 9 1 1 2.033 8 1 1 NSST 1 1 0.459 4 1 1 0.940 2 1 1 2.065 7 1 1 本文方法 1 1 0.710 2 1 1 0.960 7 1 1 6.333 7 表1 表1 中的 Q AB/F 、FMI和IFC分别反映了图像的边缘信息、特征信息和视觉效果，数值越大，图像恢复效果越好。本文方法的 Q AB/F 为0.710 2、FMI为0.960 7、IFC为6.333 7，各项数据均优于WT、RT、CT、ST和NSST 5种方法，表明该方法可以保留源图像中更多的边缘信息和特征信息，与源图像的信息相关性更高。 实验2 　为了更加明显地看出图像融合效果，对 图7（a） 图7（a） 中的原始声呐图像进行灰度变换和均值滤波处理，得到特征差异明显的声呐图像。通过特征差异明显的声呐图像模拟声呐设备在不同工作条件下获取的图像数据，最后将处理后的图像运用VSM-WLS [ 22 22 ] 、IFE-VIP [ 23 23 ] 、LP-PCNN [ 24 24 ] 、LRD [ 25 25 ] 、PC-LLE [ 26 26 ] 和本文方法进行融合处理。 图7（a） 图7（a） 中的飞机残骸图像经过特殊处理后，得到 图7（b） 图7（b） 和 图7（c） 图7（c） 两幅图像。从 图7 图7 可以看出， 图7（b） 图7（b） 和 图7（c） 图7（c） 分别展现了原始图像丰富的细节特征和大部分的低频能量，拥有各自的优势信息，有助于融合算法的研究。 利用文献[ 22 22 ]中的VSM-WLS方法融合后， 图7（d） 图7（d） 中无法明显体现源图像 B 中的优势信息； 图7（e） 图7（e） 中的融合图像对源图像 A 的信息提取也不够充分； 图7（f） 图7（f） 引入了源图像 A 和源图像 B 之外的信息，影响了图像质量； 图7（g）、7（h）和7（i） 图7（g）、7（h）和7（i） 3幅图像可有效将源图像 A 和源图像 B 中的有用信息进行整合，得到目标物体更为突出的声呐图像。融合性能评价结果如 表2 表2 所示。 1 1 融合方法 1 1 Q AB/F 1 1 FMI 1 1 IFC 1 1 VSM-WLS 1 1 0.634 5 1 1 0.886 0 1 1 3.053 4 1 1 IFE-VIP 1 1 0.418 7 1 1 0.869 1 1 1 4.214 8 1 1 LP-PCNN 1 1 0.612 1 1 1 0.885 1 1 1 2.127 4 1 1 LRD 1 1 0.596 3 1 1 0.867 4 1 1 3.428 4 1 1 PC-LLE 1 1 0.602 1 1 1 0.882 9 1 1 4.347 3 1 1 本文方法 1 1 0.652 6 1 1 0.889 7 1 1 4.353 0 图7（g）、7（h）和7（i） 图7（g）、7（h）和7（i） 3种方法可通过 表2 表2 中的数据进行比较。从 表2 表2 可以看出，本文方法的 Q AB/F 、FMI和IFC值分别为0.652 6、0.889 7和4.353 0，3项指标均高于VSM-WLS、IFE-VIP、LP-PCNN、LRD和PC-LLE融合方法。证明了本文方法可以实现更为有效的图像融合，使图像质量得到提升。 结语 1 本文对声呐图像融合方法进行研究，提出了一种结合参数自适应脉冲耦合神经网络和改进的局部能量融合规则的非下采样剪切波域图像融合方法，该研究可总结为以下3点。 1）利用非下采样剪切波变换的局部化特性、方向敏感性、最优稀疏表示特性和平移不变性等特点对声呐图像的细节特征进行捕获，缓解伪吉布斯现象。 2）利用参数自适应脉冲耦合神经网络自适应选择多幅源图像之间的显著特征，提升图像的边缘和细节保持能力。 3）利用改进的局部能量融合规则可有效保留源图像的能量信息，提升融合后的图像质量。 4）通过仿真实验表明该方法在保留源图像边缘信息、特征信息和提升视觉效果上优于传统变换域方法和文献[ 22 22 - 26 26 22-26 ]中的融合方法，证明了该方法适合应用在声呐图像融合中。 参考文献 LI B , XIAN Y , ZHANG D , et al . Multi-sensor image fusion: A survey of the state of the art [J]. Journal of Computer and Communications , 2021 , 9 ( 6 ): 73 - 108 . Multi-sensor image fusion: A survey of the state of the art 张丽霞 . 多源图像像素级快速融合方法研究 [D]. 北京 : 北京科技大学 , 2020 . 多源图像像素级快速融合方法研究 BURT P , ADELSON E . The Laplacian pyramid as a compact image code [J]. IEEE Transactions on Communications , 1983 , 31 ( 4 ): 532 - 540 . The Laplacian pyramid as a compact image code 阳凡林 , 吴自银 , 独知行 , 等 . 多波束声纳和侧扫声纳数字信息的配准及融合 [J]. 武汉大学学报(信息科学版) , 2006 , 31 ( 8 ): 740 - 743 . 多波束声纳和侧扫声纳数字信息的配准及融合 YANG F L , WU Z Y , DU Z X , et al . Co-registering and fusion of digital information of multi-beam sonar and side-scan sonar [J]. Geomatics and Information Science of Wuhan University , 2006 , 31 ( 8 ): 740 - 743 . Co-registering and fusion of digital information of multi-beam sonar and side-scan sonar 赵建虎 , 王爱学 , 郭军 . 多波束与侧扫声呐图像区块信息融合方法研究 [J]. 武汉大学学报(信息科学版) , 2013 , 38 ( 3 ): 287 - 290 . 多波束与侧扫声呐图像区块信息融合方法研究 ZHAO J H , WANG A X , GUO J . Study on fusion method of the block image of MBS and SSS [J]. Geomatics and Information Science of Wuhan University , 2013 , 38 ( 3 ): 287 - 290 . Study on fusion method of the block image of MBS and SSS ZHANG P , TANG Y X , LIANG Y H , et al . Multi-focus image fusion based on wavelet transformation [J]. Journal of Harbin Institute of Technology , 2013 ( 2 ): 124 - 128 . Multi-focus image fusion based on wavelet transformation 王达 , 卞红雨 . 水下声图像多分辨率融合研究 [J]. 武汉大学学报(信息科学版) , 2015 , 40 ( 1 ): 77 - 82 . 水下声图像多分辨率融合研究 WANG D , BIAN H Y . Underwater acoustic lmage multi-resolution fusion research [J]. Geomatics and Information Science of Wuhan University , 2015 , 40 ( 1 ): 77 - 82 . Underwater acoustic lmage multi-resolution fusion research BHATEJA V , MOIN A , SRIVASTAVA A , et al . Multispectral medical image fusion in Contourlet domain for computer based diagnosis of Alzheimer′s disease [J]. The Review of Scientific Instruments , 2016 , 87 ( 7 ): 074303 . Multispectral medical image fusion in Contourlet domain for computer based diagnosis of Alzheimer′s disease 张健 , 卞红雨 . 非下采样轮廓波变换的前视声呐图像融合 [J]. 哈尔滨工程大学学报 , 2017 , 38 ( 9 ): 1373 - 1379 . 非下采样轮廓波变换的前视声呐图像融合 ZHANG J , BIAN H Y . Forward-looking sonar image fusion based on non-subsampled contourlet transform [J]. Journal of Harbin Engineering University , 2017 , 38 ( 9 ): 1373 - 1379 . Forward-looking sonar image fusion based on non-subsampled contourlet transform 盖迪 . 基于多尺度变换与神经网络的多源图像融合算法研究 [D]. 长春 : 吉林大学 , 2021 . 基于多尺度变换与神经网络的多源图像融合算法研究 MIAO Q G , LIU R Y , QUAN Y N , et al . Remote sensing image fusion based on shearlet and genetic algorithm [J]. International Journal of Bio-Inspired Computation , 2017 , 9 ( 4 ): 240 - 250 . Remote sensing image fusion based on shearlet and genetic algorithm DIWAKAR M , SINGH P , SHANKAR A . Multi-modal medical image fusion framework using co-occurrence filter and local extrema in NSST domain [J]. Biomedical Signal Processing and Control , 2021 , 68 ( 12 ): 102788 . Multi-modal medical image fusion framework using co-occurrence filter and local extrema in NSST domain GUO K H , D LABATE D , LIM W Q , et al . Wavelets with composite dilations and their MRA properties [J]. Applied and Computational Harmonic Analysis , 2006 , 20 ( 2 ): 202 - 236 . Wavelets with composite dilations and their MRA properties JIANG L , ZHANG D , CHE L . Texture analysis-based multi-focus image fusion using a modified Pulse-Coupled Neural Network (PCNN) [J]. Signal Processing: Image Communication , 2021 , 91 : 116068 . Texture analysis-based multi-focus image fusion using a modified Pulse-Coupled Neural Network (PCNN) CHEN Y L , PARK S K , MA Y D , et al . A new automatic parameter setting method of a simplified PCNN for image segmentation [J]. IEEE Transactions on Neural Networks , 2011 , 22 ( 6 ): 880 - 892 . A new automatic parameter setting method of a simplified PCNN for image segmentation YIN M , LIU X , LIU Y , et al . Medical image fusion with parameter-adaptive pulse coupled neural network in nonsubsampled shearlet transform domain [J]. IEEE Transactions on Instrumentation and Measurement , 2019 , 68 ( 1 ): 49 - 64 . Medical image fusion with parameter-adaptive pulse coupled neural network in nonsubsampled shearlet transform domain TAN W , TIWARI P , PANDEY H M , et al . Multimodal medical image fusion algorithm in the era of big data [J]. Neural Computing and Applications , 2020 : 1 - 21 . Multimodal medical image fusion algorithm in the era of big data CAO Y , MA S W , lIU J J , et al . Fusion of medical images based on salient features extraction by PSO optimized fuzzy logic in NSST domain [J]. Biomedical Signal Processing and Control , 2021 , 69 : 102852 . Fusion of medical images based on salient features extraction by PSO optimized fuzzy logic in NSST domain SHEIKH H R , BOVIK A C , DE VECIANA G . An information fidelity criterion for image quality assessment using natural scene statistics [J]. IEEE Transactions on Image Processing , 2005 , 14 ( 12 ): 2117 - 2128 . An information fidelity criterion for image quality assessment using natural scene statistics DINH P H . Combining Gabor energy with equilibrium optimizer algorithm for multi-modality medical image fusion [J]. Biomedical Signal Processing and Control , 2021 , 68 : 102696 . Combining Gabor energy with equilibrium optimizer algorithm for multi-modality medical image fusion POURFARD M , HOSSEINIAN T , SAEIDI R , et al . KAZE-SAR: SAR image registration using KAZE detector and modified SURF descriptor for tackling speckle noise [J]. IEEE Transactions on Geoscience and Remote Sensing , 2022 , 60 : 1 - 12 . KAZE-SAR: SAR image registration using KAZE detector and modified SURF descriptor for tackling speckle noise MA J L , ZHOU Z Q , WANG B , et al . Infrared and visible image fusion based on visual saliency map and weighted least square optimization [J]. Infrared Physics & Technology , 2017 , 82 : 8 - 17 . Infrared and visible image fusion based on visual saliency map and weighted least square optimization ZHANG Y , ZHANG L J , BAI X Z , et al . Infrared and visual image fusion through infrared feature extraction and visual information preservation [J]. Infrared Physics & Technology , 2017 , 83 : 227 - 237 . Infrared and visual image fusion through infrared feature extraction and visual information preservation CAI M R , YANG J Y , CAI G H . Multi-focus image fusion algorithm using LP transformation and PCNN [C]// 2015 6th IEEE International Conference on Software Engineering and Service Science (ICSESS) . Beijing : IEEE , 2015 : 237 - 241 . Multi-focus image fusion algorithm using LP transformation and PCNN LI X X , GUO X P , HAN P F , et al . Laplacian redecomposition for multimodal medical image fusion [J]. IEEE Transactions on Instrumentation and Measurement , 2020 , 69 ( 9 ): 6880 - 6890 . Laplacian redecomposition for multimodal medical image fusion ZHU Z Q , ZHENG M Y , QI G Q , et al . A phase congruency and local Laplacian energy based multi-modality medical image fusion method in NSCT domain [J]. IEEE Access , 2019 , 7 : 20811 - 20824 . A phase congruency and local Laplacian energy based multi-modality medical image fusion method in NSCT domain 10.16152/j.cnki.xdxbzr.2023-02-010 TP391 国家自然科学基金（61761048）；云南省地方本科高校基础研究联合专项资金项目[2019FH001（-066）]；黑龙江省自然科学基金（LC2018026） 2022-04-25 2023-04-25 2023-05-04 2023 36792804 西北大学学报（自然科学版） 2 53