【文档说明】多模态医学影像配准和融合技术的研究培训课件.ppt，共(46)页，1.818 MB，由小橙橙上传

转载请保留链接：https://www.ichengzhen.cn/view-247345.html

以下为本文档部分文字说明：

多模态医学影像配准和融合技术的研究东北大学信息科学与工程学院主要内容基于PCNN的图像融合算法总结与展望基于小波变换的图像融合算法基于BP的特征级图像融合算法医学图像配准算法课题背景2多模态医学影像配准和融合技术的研究东北大学信息科学与工程学院一、课题背景由于

医学图像仪器的成像机理的不同，使得不同模态的医学图像反映人体信息不同，从单一源图像是无法对病人进行全面诊断。图像配准和融合能将多模态的图像信息进行互补，融合成一幅新的影像。目前医学图像融合技术还处于起步阶段，故本文针对

多模态医学图像的融合方法及配准算法方面展开研究。3多模态医学影像配准和融合技术的研究东北大学信息科学与工程学院二、医学图像配准算法❖医学图像配准的定义：是寻求两幅图像间的几何变换关系，通过这一几何变换，使两幅医学图像上的对应点达到空间上的一致，这种

一致是指人体上的同一解剖点在两张匹配图像上具有相同的空间位置。4多模态医学影像配准和融合技术的研究东北大学信息科学与工程学院❖最大互信息配准方法的基本思想在多模医学图像配准中，基于两幅图像中的相同目标在空间上对齐时相关性最强，对应像素灰

度的互信息达到最大，从而可以根据最大互信息的位置找到最佳配准。❖缺点：由于互信息函数不是分布良好的凸函数，从而导致误配准，同时计算量较大，耗时较长。5多模态医学影像配准和融合技术的研究东北大学信息科学与工程学院输入图像提取图像的边缘特征信息计算特征点集合的互信息归一化处理配准提

取的特征图像优化搜索根据配准参数配准原图像采用基于Canny算子和小波提升变换的边缘检测方法采用归一化互信息为测度采用改进的鲍威尔算法，寻找最大归一化互信息的位置改进算法的流程图6多模态医学影像配准和融合技术的研究东北大学信息科学与工程学院❖

仿真实验(a)CT图像(b)MRI图像(c)最大的互信息配准法(d)所提方法7多模态医学影像配准和融合技术的研究东北大学信息科学与工程学院CT/MRI图像各配准方法的配准参数及性能比较传统的互信息配准方法所提方法RMSE19.4315.32R0.92160

.9812水平和垂直偏移量（9.028.52）（9.939.56）角度偏移量9.5979.9608多模态医学影像配准和融合技术的研究东北大学信息科学与工程学院三、基于小波变换的图像融合算法小波变换具有良好的时频局域化特性及多尺度分析能力,非常适合于图像处理。基于

小波变换的影像融合算法被广泛应用于图像融合处理中，其性能优于传统的图像融合方法。9多模态医学影像配准和融合技术的研究东北大学信息科学与工程学院（一）基于可分离小波变换的图像融合算法具体步骤：⚫对待融合的医学源图像分别进行小波变换分解；⚫对于尺度系数，使用下式合并医学源图像对应的尺

度系数；112=+2FLωωLL(3.1)10多模态医学影像配准和融合技术的研究东北大学信息科学与工程学院⚫对于小波系数，首先使用下式确定医学源图像高频分量的边缘点和非边缘点，保护边缘点对应的小波系数；12=+iiEEE2()()=iim,nwEPm,n(3.2)(3

.3))()(1BfBfMG−=(3.4)11多模态医学影像配准和融合技术的研究东北大学信息科学与工程学院⚫对非边缘点用式(3.5)进行小波系数融合。然后用式(3.6)获得融合图像的小波系数。),(),(),(2212121

1jiDjiDjiDHF+++=(3.5)=====2max1max2max1max22max1max12max1max21,),(,),(,),()),(),,(max(),(hhhhjiDhhhhjiDhhhhjiDhh

hjiDjiDjiDHFF(3.6)12多模态医学影像配准和融合技术的研究东北大学信息科学与工程学院⚫将融合图像的小波系数和尺度系数进行小波逆变换，即可得到重构后的医学融合图像。❖仿真实验(a)CT图像(

b)MRI图像(c)拉普拉斯金字塔融合算法13多模态医学影像配准和融合技术的研究东北大学信息科学与工程学院(d)梯度金字塔融合(e)形态学金字塔融合(f)小波变换融合算法算法算法(g)所提算法14多模态医学影像配准和

融合技术的研究东北大学信息科学与工程学院CT/MRI实验结果的质量评价拉普拉斯金字塔融合算法梯度金字塔融合算法形态学金字塔融合算法小波变换融合算法所提算法信息熵10.911212.678512.835214.264617.5947平均交叉熵7.83255.37265.

14624.52163.2514平均梯度31.589233.012335.542837.256739.5492相关系数0.598450.60520.616430.640300.706715多模态医学影像配准和融合技术

的研究东北大学信息科学与工程学院低频分量的融合规则MRIFMRICTCTMRICTMRI=+++fCTfffffHHLLLHHHH==−=MiNjijijfPPH112log11(,)/(,)===MNijijPIijIij(3.7)(3.8)(3.9

)（二）基于不可分离小波变换的图像融合算法16多模态医学影像配准和融合技术的研究东北大学信息科学与工程学院⚫高频分量的融合规则➢亮度信息➢细节信息==+−++−+=MmNnNnjMmifNMjiI11)21,21(1),(1111111(,)(,)2211(,)22====++=+−

+−+++−+−MNMNmnmnMNDijfimjnMNfimjn)211,211(+−+++−++−NnjMmif(3.10)(3.11)17多模态医学影像配准和融合技术的研究东北大学信息科学与工程学院

MRIMRICTCTCTFMRIMRIMRICTCT(,)(,),(,)(,)(,)(,j),(,)(,)=HIijIijDijDijHHIijIiDijDijMRIMRICTCT(,)(,),(,)(,)

IijIijDijDij或MRIMRICTCT(,)(,),(,)(,)IijIijDijDij当FMRIMRICT1CT2()=+−−HHKHHKH)),(),(/(),(1jiKjiKjiKKDII+=其中，，调节CT/MR

I图像的占优比例1K2K(3.12)(3.13)(3.14)18多模态医学影像配准和融合技术的研究东北大学信息科学与工程学院MRIMRICTCTMRIMRICTCT(,)/(,)(,)(,)(,)/(,)(,)

(,)=DDijDijDijDijKDijDijDijDij因子调节图像的亮度MRIMRICTCTCTMRIMRIMRICTCT(,)/((,)(,))(,)(,)(,)/((,)(,))(,)(,)+=+IijI

ijIijIijIijIijIijIijIijIij(3.17)(3.18)MRIMRICTCTMRIMRICTCT(,)/(,)(,)(,)(,)/(,)(,)(,)=IIijIijIijIijKI

ijIijIijIij(3.16)2(,)/((,)(,))=+DIDKKijKijKij(3.15)19多模态医学影像配准和融合技术的研究东北大学信息科学与工程学院通过调整这些因子可以消减模糊边缘，突出细节并调节图像的亮度对比度。在临床应用中，为了得到强调不同特征信息

的图像，医生既可以根据上面公式计算它们，也可以根据经验手动设定这些参数。因子决定图像的边缘MRIMRICTCTCTMRIMRIMRICTCT(,)/((,)(,))(,)(,)(,)/((,)(,)(,)(,)+=+DijDijDijDij

DijDijDijDij)DijDij(3.19)20多模态医学影像配准和融合技术的研究东北大学信息科学与工程学院❖仿真实验(a)CT图像(b)MRI图像(c)对比度金字塔融合算法(d)基于像素融合算法(e)基于区域融合算法(f)所提算法21多模态医学影像配准和融合技术的研

究东北大学信息科学与工程学院CT/MRI实验结果的质量评价对比度金字塔融合算法基于像素融合算法基于区域融合算法所提算法平均交叉熵6.34236.02653.46242.0598标准差12.89655.37265.146219.9356平均梯度41.67524

2.125645.326948.5486相关系数0.48410.51660.61230.796422多模态医学影像配准和融合技术的研究东北大学信息科学与工程学院⚫基于区域模糊熵和区域亮度细节占优的融合算法设计112F212()()()()=KKKK

LHxHxLLHxHx1()((x))2=nijijKiMjNHxSMNln(3.20)(3.21)23多模态医学影像配准和融合技术的研究东北大学信息科学与工程学院❖仿真实验(a)CT图像(

b)MRI图像(c)对比度金字塔融合算法(d)基于像素融合算法24多模态医学影像配准和融合技术的研究东北大学信息科学与工程学院(g)所提算法(e)基于区域融合算法(f)模糊集和小波变换融合算法25多模态医学影像配准和融合技术的研究东北大学信息科学与工程学院CT/MRI实验结果的质量评价对比度金

字塔融合算法基于像素融合算法基于区域融合算法模糊集和小波变换融合算法所提算法平均交叉熵9.01438.23266.45785.02313.4956标准差26.312428.657130.98744.521635

.2587平均梯度36.234538.562140.897237.256745.1789相关系数0.47580.49320.52340.640300.767126多模态医学影像配准和融合技术的研究东北大学信息科学与工程学院四、基于PCNN的图像融合算

法小波变换方法针对性都很强，根据不同情况采用不同的融合规则。基于神经网络方法对输入不同类型的图像得到的融合结果不会有很大差别，且其融合规则往往简单易行，故基于神经网络的融合算法适应性要更好一些。因此将具有生物学背景的PCNN神经网络应用到医学图像融合中。27多模态医学影像配准和融合技术的研究东北

大学信息科学与工程学院具体融合步骤：1、对每一幅医学图像分别进行两层小波提升分解，提取图像的近似细节、水平、垂直、对角方向的小波系数矩阵。2、对低频和高频子图像分别采用改进的PCNN网络，PCNN网络大小与相应子图像大小相同

，每个PCNN内的所有神经元均采用8邻域连接方式。3、将来自医学图像A和B的子图像分别输入相应的PCNN网络，并按照如下步骤进行融合处理：28多模态医学影像配准和融合技术的研究东北大学信息科学与工程学院(1)初始化。设和分别表示第k

对子图像中像素(i,j)的灰度值，将其归一化到0～1范围内，令内部链接输入矩阵、内部行为矩阵和阈值矩阵的初值分别为:，，此时，所有神经元都处于熄火状态:，Nmax为最大迭代次数，点火时刻记录矩阵；(2)根据下式计算，，和；,kAijI,kBijI(0)(0)0kkijijLU==(0

)1kij=(0)0kijY=(0)0kijT=()kijLn()kijUn()kijn()kijYn29多模态医学影像配准和融合技术的研究东北大学信息科学与工程学院()()(1)()()*(1()),:()()()0,()exp()(1)()

==−=+==−−+kkijijkijijklklk,lkkkijijijkkijijijkijkkkijijijFnILnMYnUnFnLnifUnnYnotherwisen

nVYn[1,1]aii−+[1,1]bjj−+其中：=ijIK*=ijIK或(4.1)30多模态医学影像配准和融合技术的研究东北大学信息科学与工程学院(3)累计网络每次迭代运行的输出:(4)重复步骤(2)和(3)直到，此时网络迭代运行停止；(5)根据下式选择融合图像的

小波系数:()(1)()kkkijijijTnTnYn=−+,,,max,max,,,max,max,max,max,,max,max,max(,)(,),()()2(,)(,),()(),()()(,),()(),()+−=−−kCTkMRIkkijCTijMR

IkkkkkFkCTijCTijMRIijCTijMRIkkkkMRIijCTijMRIijCTiDijDijTNTNDijDijTNTNTNTNDijTNTNTNT且且,max()kjMRIN(4.2)(4

.3)31多模态医学影像配准和融合技术的研究东北大学信息科学与工程学院东北大学信息科学与工程学院❖仿真实验(a)CT图像(b)MRI图像(c)梯度金字塔融合算法(d)基于区域融合算法(e)PCNN(f)所提算法0.7=33多模态医学影像配准和融合技术的研究东北大学信息

科学与工程学院(a)CT图像(b)MRI图像(c)梯度金字塔(d)基于区域融合融合算法算法34多模态医学影像配准和融合技术的研究东北大学信息科学与工程学院(g)所提算法(e)模糊集和小波(f)PCNN变换融合算法0.7=35多模态医学影像配准和融合技术的研究

东北大学信息科学与工程学院CT1/MRI1实验结果的质量评价梯度金字塔融合算法基于区域融合算法PCNN所提方法平均交叉熵5.90132.94565.25482.3487标准差31.332444.948934.567245.1435平均梯度8

.638918.257810.237818.5678相关系数0.60810.84230.65870.84520.7=36多模态医学影像配准和融合技术的研究东北大学信息科学与工程学院梯度金字塔融合算法基于区域融合算法模糊集和小波变换融合算法PCNN所提方法平均交叉熵9.83769.45765

.59255.14733.8271标准差29.264530.167433.980734.768439.5867平均梯度18.974520.867524.987325.635429.3526相关系数0.43870.48620.60710.61820.7646CT2/MRI2实

验结果的质量评价=0.7β37多模态医学影像配准和融合技术的研究东北大学信息科学与工程学院基于像素级的医学图像融合可以使融合后的图像包含更全面、更精确的信息，但是所要处理的图像数据量大，故融合速度慢，同时对配准精度的要求非常高。基于特征级的医学图像融合由于对多模医

学图像提取的特征信息进行融合，故可以大大加快融合速度，且对图像配准的要求没有像素级严格，但其融合精度比像素级融合差。五、基于BP的特征级图像融合算法38多模态医学影像配准和融合技术的研究东北大学信息科学与工程学院将像素级和特征级融

合方法有效地结合起来，利用BP神经网络的优点，提出了基于BP神经网络的特征级图像融合方法。具体步骤：1、将两幅图像进行图像分割得到一组分割区域，用Ai和Bi分别表示第i个区域对。2、根据灰度共生矩阵，从每个区域抽取五个反映图像纹理的特征。Ai和Bi的特征矢量分别表示为

()和()。12345,,,,iiiiiAAAAA51234,,,,iiiiiBBBBB39多模态医学影像配准和融合技术的研究东北大学信息科学与工程学院3、训练一个用于判断分析Ai和B

i区域纹理特征的神经网络。神经网络的输入是差异矢量()，网络的输出如下式：4、用训练好的神经网络在所有分割区域（第一步得到的）上进行检测、判断。融合图像的第i个区域按下式构建：5112233445,,,,−−−−−iiiiiiiiiiBABABABABA1arg0=

iiiifthetextureofAisbetterthanthatofBtetotherwise0.5iiiiAifoutZBotherwise=(5.1)(5.2)40多模态医学影像配准

和融合技术的研究东北大学信息科学与工程学院5、采用一致性检测来校验步骤(4)得到的结果。如果神经网络判定某一区域来自于图像1而它周围的区域来自图像2，则将这个区域用图像2中的对应区域像素替换。这样，保证在构成合成系数时，邻域内系数的选择基于相同的规则。41多模态医学影像配准和融合技术

的研究东北大学信息科学与工程学院❖仿真实验(a)CT图像(b)MRI图像(c)基于像素融合算法(d)小波变换融合算法(e)基于区域融合算法(f)所提算法42多模态医学影像配准和融合技术的研究东北大学信息科学与工程学院CT

/MRI实验结果的质量评价基于像素融合算法小波变换融合算法基于区域融合算法所提算法平均交叉熵15.352614.589414.08945.4983标准差14.856713.996516.527628.5257平均梯度18.566218.965822.217

527.2782相关系数0.45410.48760.50280.714743多模态医学影像配准和融合技术的研究东北大学信息科学与工程学院总结1、提出了一种基于边缘特征点的互信息配准方法;2、提出了一种基于

可分离小波变换的像素级医学图像融合算法;3、提出了基于不可分离小波变换的医学图像融合方法;4、提出了一种基于对比度自适应链接强度PCNN的医学图像融合算法。5、提出了基于BP神经网络的特征级图像融合方法。44多模态医学影像配准和融合技术的研究东北大学信息科

学与工程学院1、在三维甚至是四维空间上进行医学图像配准的研究。2、围绕如何减少基于不可分离小波变换的医学图像融合方法的计算量，加快融合速度等方面开展研究工作。3、真正从仿生的角度研究基于脉冲耦合神经网络的医学图像融合方法。展望45多模态医学影像配准和融合技术的研究东北大学信息科学与工程学院46多模

态医学影像配准和融合技术的研究