生成对抗网络在神经影像中的优异应用

神经影像学技术为评估大脑的结构、功能、神经化学过程以及交互作用提供了一个独特的机会，对理解神经系统疾病的病理机制具有重要作用^[1]。GAN在神经影像中的应用一般围绕2个方向：一个方向围绕G展开，学习神经影像的基础特征结构，并生成新图像；另一个方向围绕D展开，对神经影像中的差异进行判别。以下将从神经影像中的具体应用出发，就图像增广、跨模态生成、图像重建、图像分割、图像分类、目标检测等多个领域综述GAN的研究现状。

（一）图像增广

CNN的训练过程中往往需要对训练样本进行增广处理来丰富数据集，具体方法包括缩放、旋转、翻转、平移和弹性变形等。然而，这些变换所生成的图像局限于原有的影像模态，不能为特定病理位置的形状、位置和外观的变化提供足够变异性。GAN为神经影像的数据增广提供了一种新的解决方案。

贝穆德斯（Bermudez）等^[2]使用DCGAN，通过对528例二维轴向T1加权脑MRI切片中特征的学习，实现了T1影像的无监督生成。且生成图像具有较高的峰值信噪比，图像质量得分与真实MRI图像相当。

鲍尔斯（Bowles）等^[3]使用基于渐进增长训练的PGGAN（Progressive Growing of GANs）生成与脑CT图像近似的生成样本，有效地增广了CT训练数据。语义分割网络分割结果显示，基于PGGAN的数据增广能有效提高图像分割精度。

在图像增广过程中加入一定约束条件，可以更好地控制图像生成。莫克（Mok）等^[4]提出了基于CGAN的CBGAN（Coarse－to－fine Boundary－aware Generative adversarial Networks）。该模型的G分为粗生成器和细节生成器，粗生成器生成图像的基本形状和纹理，细节生成器生成图像的细节。整个模型由粗到精生成带有肿瘤的脑MRI图像。另外，在生成器框架中加入边界感知模块，使生成的图像中肿瘤边界更清晰。基于该模型增广后的数据集在脑肿瘤图像分割任务中Dice系数提高了3.5%。

（二）跨模态生成

神经影像包含多种影像模态，不同的影像模态有不同的医学或生物应用领域。跨模态生成（从一种影像模态到另一种影像模态）可以降低采集成本，促进多模态融合。在CycleGAN中，由于输入图像和生成图像之间缺乏直接的约束，无法保证结构上的一致性。韦兰德（Welander）等^[5]使用UNIT（Unsupervised Image－to－Image Translation）和CycleGAN 2个交叉模态合成框架，实现了脑MRI图像的T1加权与T2加权2种模态间的转换。通过对平均绝对误差、峰值信噪比、平均互信息等进行定量评估，发现这2种框架在T1加权和T2加权2种模态中的转换效果近似。该研究还发现具有更优视觉真实感的生成图像不一定具有更好的量化误差。

多模态神经影像融合可以弥补单模态影像中存在的信息不足等缺陷，提高疾病诊断准确率。高媛等^[6]提出了一种基于GAN的生成对抗残差网络（Residual Generative Adversarial Network，Res－GAN）用于脑部CT/MRI和MRI/SPECT图像的融合。残差网络（Residual Network，ResNet）通过在原始的卷积层上增加跳跃连接支路构成基本残差块，改善了网络深度带来的梯度消失和网络退化的问题。效果对比图和客观指标结果显示，该方法对CT/MRI和MRI/SPECT的融合结果较好地保留了原图像的轮廓以及细节信息。

（三）图像重建

由于临床环境的限制，如辐射剂量或患者的舒适度，很多时候医疗机构需要采集低分辨力、低放射剂量的图像。基于GAN的高分辨力或高放射剂量的图像重建为临床应用和定量分析提供了重要的信息。权（Quan）等^[7]提出RefineGAN，将全残差卷积自编码器和GAN结合，实现了脑部压缩感知的MRI图像的重建。在保证图像域数据保真度的同时，在MRI重建中使用原始k空间数据，保证了频域数据的保真度。RefineGAN在几个开源MRI数据库上的评估结果表明，在运行时间和重建图像质量方面都优于其他的压缩感知的MRI图像重建方法。

阿曼纽斯（Armanious）等^[8]提出了MedGAN（Medical Image Translation Using GANs），将对抗性框架与非对抗性损失结合，实现了去除脑MRI图像的运动伪影、PET图像去噪和脑PET－CT模态转换。MedGAN框架包括1个基于CasNet的G、1个D和1个预先训练好的特征提取器。其中特征提取器通过感知相似性损失和风格转换损失匹配G重建图像的风格、结构和内容。放射科医生的评价和定量分析表明，MedGAN的重建效果优于pix2pix等其他模型。

（四）图像分割

神经影像分割是神经影像分析中的一个重要领域，是诊断、监测和治疗的必要手段，其目标是对神经影像的内容进行类别划分。卡姆尼特斯（Kamnitsas）等^[9]提出了一种基于DCGAN的脑MRI图像分割框架，该框架通过对抗性网络学习到样本的域不变特征（不同的扫描仪、成像协议、分辨力、模态），其中分割器采用三维多尺度CNN对脑MRI图像中的创伤性脑损伤区域进行分割。实验结果表明，该算法在无监督的情况下可获得接近有监督的性能。

薛（Xue）等^[10]提出了SegAN用于脑MRI图像中的肿瘤分割。该模型包含2个子网络Segmentor和Critic，对应于传统GAN中的G和D。Segmentor输出分割图像，Critic通过反向梯度传播优化分割图像的生成。该模型通过最小化多尺度L1损失函数获取图像的全局/局部特征和不同区域的像素间的空间关系。采用多尺度损失的生成对抗模型相比于采用单一尺度损失和Softmax损失的生成对抗模型具有更高的分割精度和灵敏度。

（五）图像分类

当GAN的网络达到纳什平衡时，D就是一个很好的神经影像特征提取器，可进一步用于图像的分类。

卡西米（Ghassemi）等^[11]提出了一种基于DCGAN的MRI图像中脑肿瘤的分类算法。将CNN在不同的脑MRI图像数据集上作为GAN中的D进行预训练，替换全连接层。在GAN中加入了数据扩充和dropout技术，有效避免了过拟合现象。D中的最后一层采用SoftMax层，在不同的MRI图像数据集上区分3个脑肿瘤类别（脑膜瘤、胶质瘤、垂体瘤）。交叉验证结果表明，对D进行预训练可有效提高脑肿瘤分类的准确性。

科恩（Cohen）等^[12]将CycleGAN应用于健康与含病灶的脑图像之间的分类。实验结果显示，相比其他模型，GAN可以生成更高质量的图像，但是在健康/含病灶图像的分类任务上GAN的输出会存在一些错误，从而导致误诊。(www.xing528.com)

（六）目标检测

在神经影像数据中检测病变是诊断、治疗和预后的必要条件，传统的分割和分类方法主要是基于监督学习与良好配对的图像级或体素级标签。GAN中的D可以通过学习训练集中的正常病理图像的概率分布来检测病变等异常。

病灶检测往往采用有监督学习，利用大型注释的数据集进行训练。申（Chen）等^[13]基于GAN模型，通过学习健康大脑MRI图像的数据分布，实现无监督的情况下对病变区域的检测。该模型基于HCP（Human Connectome Project）数据集的T2加权不含病灶MRI图像进行训练。G分别采用变分自编码器（Variational Auto Encoder，VAE）和自适应算数编码器（Adaptive Arithmetic Encoder，AAE）生成不含病灶的图像，D检测图像中的病变区域。病灶检测结果中AUC达到了0.897（VAE）和0.923（AAE）。

【注释】

[1]田苗，林岚，张柏雯，等.深度学习在神经影像中的应用研究[J].中国医疗设备，2016，31（12）.

[2]BERMUDEZ C，PLASSARD A J，DAVISL T，etal.Learning implicitbrain MRImanifoldswith deep learning[J].Image Processing，2018（12）.

[3]BOWLESC，CHEN L，GUERRERO R，et al.GAN augmentation：augmenting training data using generative adversarial networks[EB/OL].[2020－04－06].https：//arxiv.org/abs/1810.10863.

[4]MOK TCW，CHUNGA CS.Learning data augmentation for brain tumor segmentation with coarse－tofine generative adversarial networks[C]//International MICCAI Brainlesion Workshop，September 16－23，2018，Granada，Spain.Berlin：Springer，2018：70－80.

[5]WELANDER P，KARLSSON S，EKLUND A.Generative adversarial networks for image－to－image translation on multicontrast MR images—a comparison of CycleGAN and UNIT[EB/OL].[2020－04－06].https：//arxiv.org/abs/1806.07777.

[6]高媛，刘志，秦品乐，等.基于深度残差生成对抗网络的医学影像超分辨率算法[J].计算机应用，2018，38（9）.

[7]QUAN T M，NGUYEN－DUC T，JEONG W K.Compressed sensing MRI reconstruction using a generative adversarial network with a cyclic loss[J].IEEE TransMed Imaging，2018，37（6）.

[8]ARMANIOUSK，JIANG C，FISCHER M，et al.MedGAN：medical image translation using GANs[J].Comput Med Imaging Graph，2020（79）.

[9]KAMNITSASK，BAUMGARTNER C，LEDIG C，et al.Unsupervised domain adaptation in brain lesion segmentation with adversarial networks[C]//International Conference on Information Processing in Medical Imaging，June 25－30，2017，Boone，United States.Berlin：Springer，2017：597－609.

[10]XUE Y，XU T，ZHANG H，et al.SegAN：adversarial network with multi－scale L1 loss formedical image segmentation[J].Neuroinformatics，2018（16）.

[11]GHASSEMIN，SHOEIBIA，ROUHANIM.Deep neural network with generative adversarial networks pre－training for brain tumor classification based on MR images[J].Biomed Signal Process Control，2020（57）.

[12]COHEN JP，LUCK M，HONARIS.Distribution matching losses can hallucinate features in medical image translation[EB/OL].[2020－04－06].https：//arxiv.org/abs/1805.08841.

[13]CHEN X，KONUKOGLU E.Unsupervised detection of lesions in brain MRI using constrained adversarial auto－encoders[EB/OL].[2020－04－06].https：//arxiv.org/abs/1806.04972.