基于生成对抗网络的乳腺MRI图像生成 Breast MRI image generation method based on generative adversarial network 1 2 3 first-author 王红玉，女，河北沧州人，副教授，从事机器学习、医学图像处理等研究，hywang@xupt.edu.cn。 王红玉，女，河北沧州人，副教授，从事机器学习、医学图像处理等研究，hywang@xupt.edu.cn。 hywang@xupt.edu.cn 1 4 1 2 3 5 5 西安邮电大学　计算机学院，陕西　西安　710121 西安邮电大学　计算机学院，陕西　西安　710121 School of Computer Science and Technology, Xi'an University of Posts and Telecommunications, Xi'an 710121, China School of Computer Science and Technology, Xi'an University of Posts and Telecommunications, Xi'an 710121, China 西安邮电大学　陕西省网络数据分析与智能处理重点实验室，陕西　西安　710121 西安邮电大学　陕西省网络数据分析与智能处理重点实验室，陕西　西安　710121 Shaanxi Key Laboratory of Network Data Analysis and Intelligent Processing, Xi'an University of Post & Telecommunications, Xi'an 710121, China Shaanxi Key Laboratory of Network Data Analysis and Intelligent Processing, Xi'an University of Post & Telecommunications, Xi'an 710121, China 西安市大数据与智能计算重点实验室，陕西　西安　710121 西安市大数据与智能计算重点实验室，陕西　西安　710121 Xi'an Key Laboratory of Big Data and Intelligent Computing, Xi'an 710121, China Xi'an Key Laboratory of Big Data and Intelligent Computing, Xi'an 710121, China 西北大学　信息科学与技术学院，陕西　西安　710127 西北大学　信息科学与技术学院，陕西　西安　710127 School of Information Science and Technology, Northwest University, Xi'an 710127, China School of Information Science and Technology, Northwest University, Xi'an 710127, China 西安国际医学中心　医院影像诊疗中心，陕西　西安　710110 西安国际医学中心　医院影像诊疗中心，陕西　西安　710110 Imaging Diagnosis and Treatment Center, Xi'an International Medical Center Hospital, Xi'an 710110, China Imaging Diagnosis and Treatment Center, Xi'an International Medical Center Hospital, Xi'an 710110, China 李静 乳腺癌磁共振成像（nuclear magnetic resonance imaging，MRI）数据由于不同医院采集方式不同、设备不同或病人等自身原因，会存在同一病人不同序列缺失的问题。目前主流的图像生成对抗网络Pix2Pix和Cycle-consistency是医学图像生成的两种主要模式，这类方法要求不同MRI序列数据配对出现，难以处理存在缺失的数据，此外，该类方法往往关注整幅图像的生成质量，缺少对疾病诊断更有价值的病灶区域的生成质量的监控。针对以上问题，该文受配准网络（RegGAN）自适应对准图像空间分布的启发，设计了一种新的基于特征增强的双注意力配准生成对抗网络DA-RegGAN。该网络在生成器中引入卷积注意力模块，使网络更注重病灶的学习；在判别器中添加梯度正则化约束，主要解决网络训练不稳定容易出现模式崩溃的现象，使网络生成包含更清晰的病灶细节全局图。该文在1 697幅乳腺数据上开展消融实验、不同图像生成算法间的对比实验、肿瘤分类实验，进一步验证了方法的有效性。与原始RegGAN比，全局图像生成质量和局部病灶图像生成质量均得到提升，局部图像质量较原始PSNR提升了0.518，SSIM提升了0.021；全局图像质量较原始PSNR提升了0.584，SSIM提升了0.020。 Breast cancer MRI data often have the problem of different sequences missing from the same patient due to different acquisition methods, different equipment or patients and other self-inflicted reasons in different hospitals. These methods often require different MRI sequences to appear in pairs, making it difficult to handle missing data. In addition, these methods tend to focus on the quality of the entire image, and lack the ability to monitor the quality of the focal area, which is more valuable for disease diagnosis. In this paper, we design a new feature-enhanced dual-attention aligned generative adversarial network, DA-RegGAN, inspired by the adaptive alignment of image spatial distribution in RegGAN. The gradient normalization constraint is added to the discriminator, which mainly solves the phenomenon that the network is unstable and prone to pattern running, and enables the network to generate a global map containing clearer lesion details. In this paper, ablation experiments, comparison experiments between different image generation algorithms and tumour classification experiments are carried out on 1 697 breast case data to further validate the effectiveness of the method in this paper. Compared with the original RegGAN, the global image generation quality and local lesion image generation quality were both improved, with the local image quality improved by 0.518 and SSIM improved by 0.021 compared with the original PSNR; the global image quality improved by 0.584 and SSIM improved by 0.020 compared with the original PSNR. 生成对抗网络 乳腺MRI图像生成 注意力机制 梯度正则化 generative adversarial network breast MRI image generation attention mechanism gradient normalisation 医学影像在各种疾病的诊断和治疗中起着至关重要的作用。通常不止一种成像模式涉及临床决策，因为不同的模式会提供互补的见解 [ 1 1 ] 。例如计算机X线摄影(computed radiography, CR)、计算机断层扫描(computed tomography, CT)、磁共振成像(nuclear magnetic resonance imaging, MRI)等多种成像方式 [ 2 2 ] 。其中，MRI对软组织有很好的对比，MRI按扫描方式可以分为常规扫描和功能扫描，常规扫描包括T1加权、T2加权成像等；功能成像包括弥散加权成像(diffusion weighted imaging, DWI)、灌注加权成像(perfusion weighted imaging, PWI)等，这些成像序列可以从不同方面反映人体组织的不同信息，构成多序列MRI。与CT相比，MRI也更安全，不涉及任何辐射，但它最大的缺点是原始数据是在包含空间频率信息的k空间中连续采集的，采集时间长 [ 3 3 ] 。这种缓慢的成像速度会引起患者的不适 [ 3 3 ] ，容易造成多序列MRI数据缺失的情况，使得严格依赖多序列MRI输入的诊断无法进行。研究表明，融合多序列特征对于乳腺癌诊断至关重要 [ 4 4 ] ，但由于设备、医院、病人自身等原因，采集到的乳腺MRI数据有时会存在序列数据缺失的情况。 随着人工智能的发展，传统机器学习方法已无法满足日益复杂的医学应用场景，因此，深度学习技术逐渐被引入。利用深度学习进行缺失数据生成，可以缓解由数据缺失所引起的联合诊断精度不高的问题，准确的生成结果可以为医生对病情的定量分析提供精确测量数据，进一步提高医生的工作效率。在医学图像处理方面，由于设备损坏、不正确使用、病人对造影剂过敏等情况，导致部分采集的多序列图像存在缺失、伪影等问题，使得严格依赖于多序列的诊断工作无法顺利进行，因此，需要引入生成模型进行医学数据扩充或增强等数据预处理操作，进而开展下一步工作。目前，医学图像常用的深度学习生成模型主要是以生成对抗网络(generative adversarial networks, GAN)为基础的变体，GAN主要分为两个模块：生成器和判别器，两个模块通过互相博弈学习产生结果。生成器输入一般为随机噪声，噪声进入生成器得到一个输出，判别器输入为原始数据和生成数据，用来判断输入的样本是原始数据还是生成数据，通过损失来不断调节整个网络训练，直到判别器无法判断，即无论对于生成数据还是真实数据，判别器输出结果概率都是0.5。其中，Pix2Pix [ 5 5 ] 和Cycle-consistency [ 6 6 ] 是医学图像相互转换生成的两种主要模式。然而这两种模式在处理多序列MRI的生成中都不是理想的。Pix2Pix虽然具有优异的性能，但对训练数据要求较严，需要成对的和像素对齐的图像，这不一定总能实现。而Cycle-consistency虽然对训练数据要求不像Pix2Pix那么严格，它可以接受源域和目标域有未配准的误差，但没有对这种误差进行处理，导致生成效果也没有达到最优，并且训练也非常不稳定。 针对以上问题，本研究以RegGAN [ 7 7 ] 作为基础网络，根据医学图像具有目标区域局部化这一特性，在生成器部分引入通道注意力和空间注意力机制，利用全局最大池化和平均池化使网络更加关注图像中感兴趣区域(region of interest, ROI)，以获得较大的感受野和空间信息，使生成图片包含尽量完备且丰富的信息，进而改善生成性能。针对生成对抗网络训练不稳定出现模式崩溃的情况，从而影响肿瘤生成效果的问题，本文在判别器中加入梯度正则化模块，提高网络训练的稳定性，进一步提高生成性能。通过实验验证本文方法与目前主流的医学图像生成方法相比性能有效提升。 相关工作 1 医学图像生成从最初基于传统学习的方法到近年来基于深度学习的方法，都进行了许多实验并取得了相应进展。传统算法的关键是提取有效的特征构建映射关系 [ 8 8 ] ，但与自然图像相比，不同模态的医学图像信息特征要复杂得多。近年来，机器学习在计算机视觉领域取得了重大进展，并逐渐成为医学影像的一个重要研究领域。机器学习极大拓展了医学影像领域的研究方向和各种临床应用，促进了放疗和放射医学影像学的发展 [ 8 8 ] 。在医学影像生成领域，基于机器学习的模型也提高了不同医学模态图像之间的相互转换生成能力。这里所指的医学模态转换生成既包括不同医学成像技术的图像转换生成，如MR-CT、PET-CT图像转换生成，也包括相同成像技术但不同扫描参数的医学图像的相互转换，如MR的T1加权图像和MR的T2加权图像之间的相互转换生成等。由此可预见，医学模式转换生成技术的进步可能会日益扩大临床应用 [ 9 9 ] 。 基于深度学习的方法比传统的医学图像生成方法更灵活。通用的网络结构可以以最小的成本迅速适应其他任务，例如，通过调整参数，从而增加了在临床所需的不同成像模式之间生成快速扩展的可能性 [ 8 8 ] 。另一方面，基于深度学习的方法性能主要取决于训练数据集的质量和数量。虽然事先需要花费很多精力来收集和处理训练数据，但一旦模型训练完成，图像预测在较短的时间即可完成。在临床环境中可以获得大量回溯性的各种模态的图像数据，这一点很适合数据驱动型的深度学习方法。 深度学习在逆问题上的巨大成功促使其在医学成像领域迅速得到应用 [ 10 10 - 11 11 10-11 ] 。该领域的早期研究提出了基于斑块级处理的局部网络 [ 12 12 - 14 14 12-14 ] ，虽然局部网络比传统方法更有优势，但它们对整个图像中更广泛的背景表现出有限的敏感性 [ 15 15 ] 。后来的研究采用了深度CNN进行图像级的处理，随着大型成像数据库的可用性不断增加，基于CNN的生成已经在各种应用中得到成功证明，包括跨MR扫描仪的生成 [ 16 16 - 17 17 16-17 ] 、多对比度MR生成 [ 18 18 - 20 20 18-20 ] 和CT生成 [ 2 2 , 21 21 - 22 22 21-22 ] 。尽管它们能带来重大的改进，但用像素级损失训练的CNN往往会遭受不理想的细节结构的损失 [ 23 23 ] 。 为了改善对结构细节的捕捉，研究人员提出GANs来学习以源模态为条件的目标模态分布 [ 24 24 ] 。对抗性损失使GANs能够为恢复高空间分辨率的信息捕获更好的先验 [ 23 23 ] 。近年来，基于GANs的方法被证明在许多生成任务中具有最先进的性能，包括数据增强以及多模态生成 [ 25 25 - 26 26 25-26 ] 。GANs模型的重要应用包括CT转PET [ 27 27 ] 、MR转CT [ 2 2 ] 、无配对的跨模式 [ 28 28 ] 、3T转7T [ 29 29 ] 和多对比度MRI生成 [ 23 23 , 30 30 ] 等。Liu等人提出将密集块整合到周期生成对抗网络中，有效捕获CT和MRI之间的关系以进行CT生成 [ 2 2 ] 。Modanwal等人在训练过程中引入相互信息损失，并提出了一种改进的判别器架构，利用更小的视野来确保乳房组织中更精细的细节的保存 [ 31 31 ] 。Fernandez等人提出了brainSPADE模型，该模型结合了基于生成扩散的标签生成器和语义图像生成器，将生成数据用来训练分割模型，并通过实验证明其性能与用真实数据训练的模型相当 [ 32 32 ] 。 总体来说，使用深度学习的方法在一定程度上可以实现不同模态医学影像转换生成，目前GANs已经应用于大量图像到图像的转换生成任务中 [ 33 33 ] 。GANs成功的关键是对抗损失 [ 33 33 ] 的思想，它使生成的图像在原则上与真实图像难以区分。虽然GANs模型已经成为医学影像生成一种主流方法，但上述研究并非没有局限性，比如，目前大量的研究都是将对齐数据进行转换生成，或是忽略医生更关注局部信息这一特性，直接对全局进行生成。除此之外，许多研究人员在利用GANs模型对医学影像进行生成时，忽略了GANs本身训练不稳定这一情况。因此，针对这些问题，本文提出一种基于特征增强的双注意力配准生成对抗网络(feature-enhanced dual-attentive registration-based generative adversarial networks, DA-RegGAN)，分别对生成器和判别器部分进行改进，以此来提高网络的生成质量。 乳腺MRI图像生成网络 1 算法整体框架 2 本文提出的基于特征增强的双注意力配准生成对抗网络DA-RegGAN结构如 图1 图1 所示。网络输入原始的乳腺DCE图像，进入生成器得到生成的DWI图像，生成器引入卷积注意力机制(convolutional block attention module, CBAM)，用于获得更大的感受野，以获得更全面的病灶信息。对于配准网络 R ，假设输入 x 是A病人的DCE图像，经过生成器 G 得到A病人的DWI图像 G ( x )。 y 是B病人真实的DWI， G ( x )和 y 进入到配准网络 R 中进行配准，得到配准图像 R ( G ( x )， y )，即让网络认为A病人生成的DWI图像 G ( x )是B病人得到的，属于同一病人的数据。判别器 D 用于判断生成图像真假，为了网络获得更稳定的一个训练，在判别器之后结合梯度正则化进一步提高网络的生成质量，通过校正损失和对抗损失不断调节网络训练。引入的卷积注意力和梯度正则化这两个模块既改善了医学图像生成过程中由于存在病灶过小而生成效果不够精确的问题，又改善了由于GANs网络本身训练不稳定而引起的结果不准确的问题，使得生成数据和真实数据相比具有更高的相似性。 基于卷积注意力的生成配准模块 2 由于乳腺肿瘤图像数据量少且肿瘤病变形态、大小差异大，以致对乳腺肿瘤良恶性进行诊断具有一定的难度，而生成更清晰的病灶并对缺失数据进行补充生成有助于提高乳腺肿瘤良恶性诊断的准确性。因此，设计一个既能关注病灶区域的生成，又能使生成结果更接近原始图像的生成网络至关重要。针对上述问题，本文首先对生成器进行设计，引入CBAM模块。生成器结构如 图2 图2 所示。将原始DCE图像输入生成器中，生成器先对图片边界进行填充，经过4个特征提取层，每个特征提取层包含1个卷积层以及对应的归一化层、ReLU层。然后，经过以残差结构为基础的下采样，提取深层特征。在残差的基础上引入CBAM模块，最后，对提取到的特征进行上采样，输出层使用Tanh激活函数，得到最终的DWI生成结果。CBAM结合通道注意力和空间注意力的生成器结构用于获得更大的感受野，输入的特征图分别通过全局最大池化和全局平均池化使网络更关注感兴趣区域，通过这两个模块分别对输入特征图在通道和空间进行自适应特征选择和增强，突出主要特征，抑制无关特征，使网络更加关注需要生成目标的内容信息和位置信息，以提高网络的生成精度。生成器生成的DWI输入如 图1 图1 所示的配准网络 R ，以此减少未严格对齐的数据引起的生成误差。 基于梯度正则化的判别器模块 2 判别器通过判断生成的DWI是否为真实数据来促进生成器的训练，本文判别器包含5个步长为2的卷积层、4个LeakyReLU层以及3个归一化层，通过池化和展平操作得到输出真实数据的概率。利用生成对抗网络对乳腺肿瘤图像进行生成任务时，网络的稳定性对于图像生成质量有一定的影响。虽然生成对抗网络现在为医学图像生成的主流方法，但由于乳腺MRI图像数据集较小，使用层数过深的网络会使参数过多，容易导致梯度消失或过拟合问题，且生成对抗网络本身就存在模式容易崩溃不够稳定的情况。因此，在判别器之后添加梯度正则化，即Lipschitz限制，以获得更稳定的训练，生成更接近真实的乳腺MRI图像。本文采用的梯度正则化主要是选择Lipschitz约束的一个充分条件(通常是网络对输入的梯度)，并在目标函数中添加相关的惩罚项，对参数进行裁剪和频谱归一化约束，以确保网络每层的Lipschitz常数受到约束，从而使整体的Lipschitz常数也受到约束。而梯度惩罚则是留意到‖ D ‖ Lipschitz ≤1的一个充分条件是‖▽ x D ( x )‖≤1，所以就通过惩罚项(‖▽ x D ( x )‖－1) 2 来施加“软约束”。虽严格限制梯度范数，但却可以保持较高的鉴别能力。利用梯度将 D ( x )变换为 http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=44884200&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=44884207&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=44884192&type= ( x )，使其自动满足 http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=44884197&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=44884229&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=44884215&type= 。具体来说，网络通常使用ReLU或LeakyReLU作为激活函数，在这些激活函数之下， D ( x )实际上是一个“分段线性函数”，这就意味着，除了边界之外， D ( x )在局部的连续区域内都是一个线性函数，相应地， http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=44884221&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=44884226&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=44884232&type= 就是一个常向量。 于是梯度正则化令 http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=44884239&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=44884242&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=44884246&type= ，这样就有式(1)， http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=44884251&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=44884253&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=44884265&type= 而这样可能存在除0错误，所以将| D ( x )|也加到了分母中，以此保证函数的有界性，如式(2)， http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=44884268&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=44884276&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=44884278&type= 损失函数 2 本文模型主要通过对抗损失和校正损失不断调节网络训练。在对抗训练的过程中，GAN的生成器和判别器交替训练以最小化它们的损失，定义如式(3)， http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=44884290&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=44884282&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=44884294&type= 对抗损失计算在判别器 D 输出处产生，训练一般是先固定生成器 G ，训练判别器 D ， D 训练的目标是能够将真实的乳腺DWI样本准确识别，所以期望 D ( y )越趋近1，也就是越大越好，因此，有max D 。然后保持 D 不变，训练 G ，生成器希望尽可能生成接近真实样本，即第2项越小越好，这就是min G 。通过判别器产生的误差不断更新生成器，提高网络的生成质量。对于校正损失，主要是将未严格配对的乳腺图像看成有噪声的标签，而这个噪声主要是由于空间位置的不配对带来的，因此，以生成器 G 之后的配准网络 R 作为标签噪声模型来校正结果。 实验 1 实验设置 2 本文使用来自某医院采集的98位病人乳腺MRI数据作为研究数据，其包含医学专家对每个病灶图像病变区域的划分。如 表1 表1 所示，图像包含从良性病变到恶性病变的组织学分级，训练集图像包括647幅良性和1 050幅恶性，共1 697幅。测试集图像包括210幅良性和338幅恶性，共548幅。在测试集中，良性病变和恶性病变样例比例为105：169，比例较为均衡。 1 2 病变类型 3 1 图像数量/幅 1 1 训练集 1 1 测试集 1 1 总计 1 1 良性 1 1 　647 1 1 210 1 1 　857 1 1 恶性 1 1 1 050 1 1 338 1 1 1 388 1 1 总计 1 1 1 697 1 1 548 1 1 2 245 乳腺肿瘤良恶性病变样例如 图3 图3 所示。可以观察到，在T1序列、DCE序列以及DWI序列中，良性病变内皮细胞较为完整，肿瘤中心和周边无明显差异，而周边间质血管的分布明显高于肿瘤中心。对于恶性病变，肿瘤的生长需要大量的血液供应，所以肿瘤间质中微血管数目增多，内皮间隔较大，没有外膜。DWI通过捕捉水分子的运动状态来获得成像，观察 图3 图3 可得，良性病变的DWI图像肿瘤区域与周围细胞对比明显，肿瘤边缘明显，对于恶性病变，信号强度高于良性病变。 图3 图3 中T1为未注射造影剂前5～10 min内扫描的图像，DCE － 1为注射造影剂后2 min内拍摄的图像，DCE － 2为增强高峰图像，MASK为医生标注的病灶区域。不同序列的病灶区域部分分别用红色框和绿色框框出。 本实验使用PyTorch1.10库、python3.6平台进行代码编写，在12 GiB NVIDIA GTX 3060 Ti GPU的服务上进行实验。网络模型训练时，参数按随机梯度下降进行优化，学习率设置为0.000 1，优化器为Adam，训练迭代次数为80。 DA-RegGAN消融实验 2 为了验证引入的卷积注意力机制和梯度正则化对提高乳腺DCE在局部病灶及全局生成DWI图像精度的效果，进行了消融实验，结果如 表2 表2 所示。本文使用标准平均绝对误差(normalized mean absolute error, NMAE)、峰值信噪比(peak signal to noise ratio, PSNR)、结构相似性(structural similarity, SSIM)这3类评价指标对生成结果进行评估。基础网络使用的是加入配准模块的图像转换生成对抗网络，CBAM表示卷积注意力机制，GN表示梯度正则化。CBAM和GN两者之间的关系包括：①在整体框架中的位置不同，CBAM在生成器部分，GN在判别器部分；②作用方式不同，CBAM在生成器中加强有用的特征生成并抑制无用的特征，GN在判别器训练之后添加Lipschitz约束，这两个模块同时都可以提高模型的性能，只是作用的角度不同；③解决问题方向不同，CBAM主要用于增强网络感知力，使网络更关注并学习感兴趣区域，能够自适应地分配通道和空间级别的注意力以提高模型的性能，GN主要用于解决GAN训练过程中模式容易崩溃或消失等一系列不稳定问题，通过添加约束来提高模型训练速度和准确性。从 表2 表2 中可以看到，在不使用注意力模块，而只使用GN对网络进行训练时，GN对于图像全局生成质量有所提升，表明GN模块可以提高网络的生成性能。而仅加入CBAM模块，对于图像生成质量也有所提升，且对于病灶生成的PSNR指标相对最好，说明本文实验使用的CBAM模块有助于网络模型对于乳腺肿瘤病灶生成学习，提高乳腺肿瘤病灶区域图像生成质量。 1 2 方法 3 1 病灶生成 3 1 全局生成 1 1 NMAE 1 1 PSNR 1 1 SSIM 1 1 NMAE 1 1 PSNR 1 1 SSIM 1 1 基础网络 1 1 0.050 1 1 27.452 1 1 0.764 1 1 0.051 1 1 29.197 1 1 0.773 1 1 基础网络+GN 1 1 0.047 1 1 27.781 1 1 0.778 1 1 0.051 1 1 29.249 1 1 0.782 1 1 基础网络+CBAM 1 1 0.047 1 1 28.090 1 1 0.776 1 1 0.052 1 1 29.417 1 1 0.769 1 1 DA-RegGAN 1 1 0.047 1 1 27.970 1 1 0.785 1 1 0.049 1 1 29.781 1 1 0.793 可以看到，本文结合CBAM和GN模块的DA-RegGAN模型在NMAE、PSNR、SSIM指标上均有提升，说明本文方法有助于提升乳腺肿瘤图像转换生成学习，提高了乳腺肿瘤图像生成的相似度，生成效果如 图4 图4 所示，红色框位置为病灶区域。 图4 图4 从上往下第(1)、(2)、(3)行分别为3张不同的乳腺DWI图像及其不同模块的生成效果。 观察 表2 表2 数据可得，加入CBAM模块后全局生成效果的平均NMAE、SSIM指标虽较基础网络有降低，但在病灶生成部分有效提高，主要是因为通过CBAM学习到的特征是大感受野，具有更丰富的通道和空间特征，提高了模型对于不同形态乳腺肿瘤图像的学习生成能力，改善了乳腺肿瘤图像生成时病灶区域的生成质量。在CBAM的基础上进一步结合GN模块，保证病灶生成的效果，进一步提高全局图像生成效果。这说明GN模块在一定程度上可以进一步提升网络训练质量的情况，提高网络全局生成效果。 图像生成算法对比 2 为了进一步验证本文方法的有效性和先进性，将本文方法分别与多个图像转换主流方法进行对比，包括CycleGAN [ 6 6 ] 及其变体Munit [ 34 34 ] 、Unit [ 35 35 ] 、NiceGAN [ 36 36 ] 、Pix2Pix [ 5 5 ] 以及RegGAN [ 7 7 ] 等6种算法模型，进行全局生成和局部生成的比较，局部生成结果如 表3 表3 所示，全局生成结果如 表4 表4 所示。从 表3 表3 可以看出，在乳腺数据集上，本文方法得到局部生成的NMAE值、PSNR值、SSIM值结果均优于其他算法。从 表4 表4 可以看出，在乳腺数据集上，本文方法得到全局生成的NMAE值、PSNR值、SSIM值结果也均优于其他算法。综合 表3 表3 和 表4 表4 可以看出，不论是局部生成的结果还是全局生成的结果，评价指标均有所提升，这表明本文的方法对乳腺肿瘤图像转换的学习能力较好，在一定程度上提高了乳腺肿瘤生成的精度。为了使生成结果可视化效果更明显，将原始图与生成图相减，以热力图的形式可视化。以 图4 图4 中数据(1)为例，进行可视化展示，如 图5 图5 所示，第1行为不同方法的生成结果，第2行为生成结果与原始图像作差的结果，为了使作差可视化更明显，进行了色彩空间转换显示。由 图5 图5 可以看出，将本文方法生成图片与原始图片相减，图片差值较小，这表明提出的DA-RegGAN对于乳腺肿瘤全局和局部学习效果都较好。 1 1 方法 1 1 NMAE 1 1 PSNR 1 1 SSIM 1 1 CycleGAN 1 1 0.063 1 1 25.349 1 1 0.725 1 1 Pix2Pix 1 1 0.060 1 1 26.410 1 1 0.748 1 1 NiceGAN 1 1 0.065 1 1 25.672 1 1 0.739 1 1 Munit 1 1 0.091 1 1 21.549 1 1 0.703 1 1 Unit 1 1 0.068 1 1 24.441 1 1 0.723 1 1 RegGAN 1 1 0.050 1 1 27.452 1 1 0.764 1 1 DA-RegGAN 1 1 0.047 1 1 27.970 1 1 0.785 1 1 方法 1 1 NMAE 1 1 PSNR 1 1 SSIM 1 1 CycleGAN 1 1 0.065 1 1 27.174 1 1 0.736 1 1 Pix2Pix 1 1 0.060 1 1 28.242 1 1 0.761 1 1 NiceGAN 1 1 0.067 1 1 27.532 1 1 0.757 1 1 Munit 1 1 0.093 1 1 23.187 1 1 0.715 1 1 Unit 1 1 0.069 1 1 27.326 1 1 0.754 1 1 RegGAN 1 1 0.051 1 1 29.197 1 1 0.773 1 1 DA-RegGAN 1 1 0.049 1 1 29.781 1 1 0.793 对于全局生成，DA-RegGAN可以学习乳腺图像中的其他组织信息，并且对图像的边缘信息也可以学到相对不错的一个效果。对于局部生成，由于加入了CBAM模块，使模型更关注局部病灶信息的生成，因此，可以观察到 图5 图5 中病灶区域部分差值更小。通过 表3 表3 和 表4 表4 及可视化结果可以观察到，Munit模型效果与其他算法相比结果最差，这可能是由于Munit的解不是唯一的且忽略了数据未配准误差。与本文方法相当的是RegGAN，而本文DA-RegGAN则是在RegGAN解决未配准误差基础上引入注意力机制和梯度正则化，以实现更精确的生成效果，病灶区域较其他方法学到更多的细节，使生成图片整体更接近真实的DWI图像。 肿瘤良恶性诊断 2 为了进一步验证本文方法的有效性，将生成的图片用于分类网络中进行肿瘤良恶性分类。在保证网络计算量相同的前提下，本文方法在ResNet34、AlexNet、GoogLeNet分类网络上进行了实验，结果如 表5 表5 所示。其中，良性图为210张，恶性图338张。分类网络训练数据有6组，100%+0表示数据组成全为原始数据。50%+50%表示数据组一半为原始数据一半为生成数据。100%+10%表示数据组成在原始的所有数据上加入了10%的生成数据，即良性图为210张原始数据加上21张生成数据，总共231张良性图，恶性图为338张原始数据加上34张生成数据，总共372张恶性图。其余3组的数据划分方法也是类似。 1 1 分类网络 1 1 数据组成（原始+生成） 1 1 Accuracy 1 1 Precision 1 1 Recall 1 1 F1-score 1 6 ResNet34 1 1 100%+0 1 1 0.755 1 1 0.749 1 1 0.754 1 1 0.749 1 1 50%+50% 1 1 0.890 1 1 0.844 1 1 0.881 1 1 0.860 1 1 90%+10% 1 1 0.832 1 1 0.806 1 1 0.816 1 1 0.815 1 1 100%+10% 1 1 0.933 1 1 0.900 1 1 0.930 1 1 0.911 1 1 100%+50% 1 1 0.963 1 1 0.945 1 1 0.963 1 1 0.951 1 1 100%+100% 1 1 0.945 1 1 0.914 1 1 0.936 1 1 0.921 1 6 AlexNet 1 1 100%+0 1 1 0.778 1 1 0.698 1 1 0.714 1 1 0.639 1 1 50%+50% 1 1 0.889 1 1 0.836 1 1 0.875 1 1 0.842 1 1 90%+10% 1 1 0.796 1 1 0.696 1 1 0.741 1 1 0.711 1 1 100%+10% 1 1 0.900 1 1 0.850 1 1 0.900 1 1 0.864 1 1 100%+50% 1 1 0.926 1 1 0.891 1 1 0.917 1 1 0.895 1 1 100%+100% 1 1 0.917 1 1 0.871 1 1 0.911 1 1 0.883 1 6 GoogLeNet 1 1 100%+0 1 1 0.815 1 1 0.769 1 1 0.806 1 1 0.778 1 1 50%+50% 1 1 0.902 1 1 0.861 1 1 0.880 1 1 0.864 1 1 90%+10% 1 1 0.870 1 1 0.824 1 1 0.870 1 1 0.840 1 1 100%+10% 1 1 0.883 1 1 0.875 1 1 0.879 1 1 0.878 1 1 100%+50% 1 1 0.914 1 1 0.872 1 1 0.915 1 1 0.886 1 1 100%+100% 1 1 0.917 1 1 0.886 1 1 0.918 1 1 0.897 从 表5 表5 可以看出，在ResnNet34网络中，保持数据量相同的情况下，在50%的原始数据加入50%生成数据提升效果相对较好，F1值为0.860。对于数据扩充，在100%原始数据加入50%的生成数据结果最好，F1值为0.951，而在100%原始数据加入100%的生成数据与原始数据100%加入50%的生成数据相差不大甚至有所下降，这可能是由于存在重复的生成数据和一些生成效果不太好的数据，从而影响分类结果，但相比于原始100%的数据还是有所提升。在AlexNet、GoogLeNet分类网络上也进行了相同的实验中，除了GoogLeNet在数据组成为100%+100%仍有轻微提升，其余情况同ResNet类似，这是因为同前两个网络相比，GoogLeNet网络层数更少，更轻量化，鲁棒性更强。综合实验结果表明，本文方法均可以提升网络诊断的性能，进一步说明本文方法的有效性。 结语 1 本文针对乳腺肿瘤图像转换算法忽略局部病灶信息生成及由于训练不稳定导致生成效果不佳的问题，在生成对抗网络模型的基础上，引入注意力机制和梯度正则化模块，使网络更关注局部病灶信息的生成，并且网络训练更稳定。加入的注意力机制模块包含通道注意力和空间注意力，通过这两个注意力，网络可以获得更丰富的通道信息和空间信息，有效提高了生成网络对于局部病灶的学习能力。通过与当前主流的图像转换生成算法进行实验比较，结果表明本文算法取得了比当前主流算法更好的生成性能。然而，本文算法也存在不足，对于肿瘤边缘细节生成仍存在不够清晰的问题，这一方面还有待进一步的提升和改进。 参考文献 NIE D , TRULLO R , LIAN J , et al . Medical image synthesis with deep convolutional adversarial networks [J]. IEEE Transactions on Bio-Medical Engineering , 2018 , 65 ( 12 ): 2720 - 2730 . Medical image synthesis with deep convolutional adversarial networks LIU Y Z , LEI Y , WANG T H , et al . MRI-based treatment planning for liver stereotactic body radiotherapy: Validation of a deep learning-based synthetic CT generation method [J]. The British Journal of Radiology , 2019 , 92 ( 1100 ): 20190067 . MRI-based treatment planning for liver stereotactic body radiotherapy: Validation of a deep learning-based synthetic CT generation method DEORA P , VASUDEVA B , BHATTACHARYA S , et al . Structure preserving compressive sensing MRI reconstruction using generative adversarial networks [C]// 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops(CVPRW) . Seattle : IEEE , 2020 : 522 - 523 . Structure preserving compressive sensing MRI reconstruction using generative adversarial networks CHEN R J , LU M Y , WANG J W , et al . Pathomic fusion: An integrated framework for fusing histopathology and genomic features for cancer diagnosis and prognosis [J]. IEEE Transactions on Medical Imaging , 2022 , 41 ( 4 ): 757 - 770 . Pathomic fusion: An integrated framework for fusing histopathology and genomic features for cancer diagnosis and prognosis ISOLA P , ZHU J Y , ZHOU T H , et al . Image-to-image translation with conditional adversarial networks [C]// 2017 IEEE Conference on Computer Vision and Pattern Recognition . Honolulu : IEEE , 2017 : 5967 - 5976 . Image-to-image translation with conditional adversarial networks ZHU J Y , PARK T , ISOLA P , et al . Unpaired image-to-image translation using cycle-consistent adversarial networks [C]// 2017 IEEE International Conference on Computer Vision . Venice : IEEE , 2017 : 2242 - 2251 . Unpaired image-to-image translation using cycle-consistent adversarial networks KONG L K , LIAN C Y , HUANG D T , et al . Breaking the dilemma of medical image-to-image translation [EB/OL]. ( 2021-11-11 )[ 2023-01-10 ]. https://arxiv.org/abs/2110.06465 https://arxiv.org/abs/2110.06465 . Breaking the dilemma of medical image-to-image translation 李雅芬 . 基于机器学习的医学影像模态转换及其临床应用 [D]. 深圳 : 中国科学院大学(中国科学院深圳先进技术研究院) , 2021 . 基于机器学习的医学影像模态转换及其临床应用 WANG T H , LEI Y , MANOHAR N , et al . Dosimetric study on learning-based cone-beam CT correction in adaptive radiation therapy [J]. Medical Dosimetry , 2019 , 44 ( 4 ): e71 - e79 . Dosimetric study on learning-based cone-beam CT correction in adaptive radiation therapy YI X , WALIA E , BABYN P . Generative adversarial network in medical imaging: A review [J]. Medical Image Analysis , 2019 , 58 : 101552 . Generative adversarial network in medical imaging: A review ARMANIOUS K , JIANG C M , FISCHER M , et al . MedGAN: Medical image translation using GANs [J]. Computerized Medical Imaging and Graphics , 2020 , 79 : 101684 . MedGAN: Medical image translation using GANs VAN NGUYEN H , ZHOU K , VEMULAPALLI R . Cross-domain synthesis of medical images using efficient location-sensitive deep network [C]// International Conference on Medical Image Computing and Computer-Assisted Intervention . Cham : Springer , 2015 : 677 - 684 . Cross-domain synthesis of medical images using efficient location-sensitive deep network LI R J , ZHANG W L , SUK H I , et al . Deep learning based imaging data completion for improved brain disease diagnosis [C]// International Conference on Medical Image Computing and Computer-Assisted Intervention . Cham : Springer , 2014 : 305 - 312 . Deep learning based imaging data completion for improved brain disease diagnosis TORRADO-CARVAJAL A , HERRAIZ J L , ALCAIN E , et al . Fast patch-based pseudo-CT synthesis from T1-weighted MR images for PET/MR attenuation correction in brain studies [J]. Journal of Nuclear Medicine: Official Publication, Society of Nuclear Medicine , 2016 , 57 ( 1 ): 136 - 143 . Fast patch-based pseudo-CT synthesis from T1-weighted MR images for PET/MR attenuation correction in brain studies SEVETLIDIS V , GIUFFRIDA M V , TSAFTARIS S A . Whole image synthesis using a deep encoder-decoder network [C]// International Workshop on Simulation and Synthesis in Medical Imaging . Cham : Springer , 2016 : 127 - 137 . Whole image synthesis using a deep encoder-decoder network WOLTERINK J M , DINKLA A M , SAVENIJE M H F , et al . Deep MR to CT synthesis using unpaired data [M]// Simulation and Synthesis in Medical Imaging . Cham : Springer International Publishing , 2017 : 14 - 23 . Simulation and Synthesis in Medical Imaging ZHANG Y Q , YAP P T , QU L Q , et al . Dual-domain convolutional neural networks for improving structural information in 3 T MRI [J]. Magnetic Resonance Imaging , 2019 , 64 : 90 - 100 . Dual-domain convolutional neural networks for improving structural information in 3 T MRI CHARTSIAS A , JOYCE T , GIUFFRIDA M V , et al . Multimodal MR synthesis via modality-invariant latent representation [J]. IEEE Transactions on Medical Imaging , 2018 , 37 ( 3 ): 803 - 814 . Multimodal MR synthesis via modality-invariant latent representation JOYCE T , CHARTSIAS A , TSAFTARIS S A . Robust multi-modal MR image synthesis [C]// International Conference on Medical Image Computing and Computer-Assisted Intervention . Cham : Springer , 2017 : 347 - 355 . Robust multi-modal MR image synthesis WEI W , POIRION E , BODINI B , et al . Fluid-attenuated inversion recovery MRI synthesis from multisequence MRI using three-dimensional fully convolutional networks for multiple sclerosis [J]. Journal of Medical Imaging , 2019 , 6 ( 1 ): 014005 . Fluid-attenuated inversion recovery MRI synthesis from multisequence MRI using three-dimensional fully convolutional networks for multiple sclerosis LIU Y Z , LEI Y , WANG T H , et al . CBCT-based synthetic CT generation using deep-attention cycleGAN for pancreatic adaptive radiotherapy [J]. Medical Physics , 2020 , 47 ( 6 ): 2472 - 2483 . CBCT-based synthetic CT generation using deep-attention cycleGAN for pancreatic adaptive radiotherapy KLÄSER K , VARSAVSKY T , MARKIEWICZ P , et al . Improved MR to CT synthesis for PET/MR attenuation correction using imitation learning [C]// International Workshop on Simulation and Synthesis in Medical Imaging . Cham : Springer , 2019 : 13 - 21 . Improved MR to CT synthesis for PET/MR attenuation correction using imitation learning DAR S U , YURT M , KARACAN L , et al . Image synthesis in multi-contrast MRI with conditional generative adversarial networks [J]. IEEE Transactions on Medical Imaging , 2019 , 38 ( 10 ): 2375 - 2388 . Image synthesis in multi-contrast MRI with conditional generative adversarial networks MIRZA M , OSINDERO S . Conditional generative adversarial nets [EB/OL]. ( 2014-11-06 )[ 2023-01-10 ]. https://arxiv.org/abs/1411.1784 https://arxiv.org/abs/1411.1784 . Conditional generative adversarial nets LEE D , KIM J , MOON W J , et al . CollaGAN: Collaborative GAN for missing image data imputation [C]// 2019 of the IEEE/CVF Conference on Computer Vision and Pattern Recognition . Long Beach : IEEE , 2020 : 2482 - 2491 . CollaGAN: Collaborative GAN for missing image data imputation SANDFORT V , YAN K , PICKHARDT P J , et al . Data augmentation using generative adversarial networks (CycleGAN) to improve generalizability in CT segmentation tasks [J]. Scientific Reports , 2019 , 9 ( 1 ): 16884 . Data augmentation using generative adversarial networks (CycleGAN) to improve generalizability in CT segmentation tasks SANTINI G , FOURCADE C , MOREAU N , et al . Unpaired PET/CT image synthesis of liver region using CycleGAN [C]// 16th International Symposium on Medical Information Processing and Analysis . Lima : SPIE , 2020 , 11583 : 247 - 257 . Unpaired PET/CT image synthesis of liver region using CycleGAN DONG X , WANG T H , LEI Y , et al . Synthetic CT generation from non-attenuation corrected PET images for whole-body PET imaging [J]. Physics in Medicine and Biology , 2019 , 64 ( 21 ): 215016 . Synthetic CT generation from non-attenuation corrected PET images for whole-body PET imaging DO H , BOURDON P , HELBERT D , et al . 7T MRI super-resolution with Generative Adversarial Network [J]. Electronic Imaging , 2021 , 33 ( 18 ): 106 . 7T MRI super-resolution with Generative Adversarial Network YANG H , LU X , WANG S H , et al . Synthesizing multi-contrast MR images via novel 3D conditional variational auto-encoding GAN [J]. Mobile Networks and Applications , 2021 , 26 ( 1 ): 415 - 424 . Synthesizing multi-contrast MR images via novel 3D conditional variational auto-encoding GAN MODANWAL G , VELLAL A , MAZUROWSKI M A . Normalization of breast MRIs using cycle-consistent generative adversarial networks [J]. Computer Methods and Programs in Biomedicine , 2021 , 208 : 106225 . Normalization of breast MRIs using cycle-consistent generative adversarial networks FERNANDEZ V , PINAYA W H L , BORGES P , et al . Can segmentation models be trained with fully synthetically generated data? [C]// ZHAO C , SVOBODA D , WOLTERINK JM , et al . International Workshop on Simulation and Synthesis in Medical Imaging . Cham : Springer , 2022 : 79 - 90 . Can segmentation models be trained with fully synthetically generated data? GOODFELLOW I , POUGET-ABADIE J , MIRZA M , et al . Generative adversarial networks [J]. Communications of the ACM , 2020 , 63 ( 11 ): 139 - 144 . Generative adversarial networks HUANG X , LIU M Y , BELONGIE S , et al . Multimodal unsupervised image-to-image translation [C]// European Conference on Computer Vision (ECCV) . Cham : Springer , 2018 : 179 - 196 . Multimodal unsupervised image-to-image translation LIU M Y , BREUEL T , KAUTZ J . Unsupervised image-to-image translation networks [C]// Proceedings of the 31st International Conference on Neural Information Processing Systems . New York : ACM , 2017 : 30 . Unsupervised image-to-image translation networks CHEN R F , HUANG W B , HUANG B H , et al . Reusing discriminators for encoding: Towards unsupervised image-to-image translation [C]// 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition . Seattle : IEEE , 2020 : 8165 - 8174 . Reusing discriminators for encoding: Towards unsupervised image-to-image translation 10.16152/j.cnki.xdxbzr.2023-03-004 TP391.4 国家自然科学基金（62001380，62073260）；陕西省重点研发计划项目（2023-YBSF-493）；西安市卫生健康委员会面上培育项目（2023ms20）；西安邮电大学创新基金项目（CXJJZL2022026） 2023-02-23 2023-06-25 2023-06-26 2023 39049132 西北大学学报（自然科学版） 3 53