面向多模态医学语料库的皮肤镜图像分类 Dermoscopic image classification for multi-modal medical corpus 1 first-author 韩泓丞，男，江西抚州人，博士研究生，从事机器学习和医学图像分析研究。 韩泓丞，男，江西抚州人，博士研究生，从事机器学习和医学图像分析研究。 2 corresp 林玉萍，女，黑龙江勃利人，教授，从事语料库和二语习得研究，linyouchen@ xjtu.edu.cn； 林玉萍，女，黑龙江勃利人，教授，从事语料库和二语习得研究，linyouchen@ xjtu.edu.cn； linyouchen@ xjtu.edu.cn 1 1 3 4 4 2 5 6 corresp 岳婕，女，陕西西安人，从事医学图像处理研究，jennie_yue@xjtu.edu.cn。 岳婕，女，陕西西安人，从事医学图像处理研究，jennie_yue@xjtu.edu.cn。 jennie_yue@xjtu.edu.cn 西安交通大学　人工智能学院，陕西　西安　710049 西安交通大学　人工智能学院，陕西　西安　710049 College of Artificial Intelligence, Xi'an Jiaotong University, Xi'an 710049, China College of Artificial Intelligence, Xi'an Jiaotong University, Xi'an 710049, China 西安交通大学　外国语学院，陕西　西安　710049 西安交通大学　外国语学院，陕西　西安　710049 School of Foreign Studies, Xi'an Jiaotong University, Xi'an 710049, China School of Foreign Studies, Xi'an Jiaotong University, Xi'an 710049, China 西安交通大学　自动化科学与工程学院，陕西　西安　710049 西安交通大学　自动化科学与工程学院，陕西　西安　710049 School of Automation Science and Technology, Xi'an Jiaotong University, Xi'an 710049, China School of Automation Science and Technology, Xi'an Jiaotong University, Xi'an 710049, China 西安交通大学第二附属医院　皮肤科，陕西　西安　7100049 西安交通大学第二附属医院　皮肤科，陕西　西安　7100049 Department of Dermatology, Second Afflicated Hospital of Xi'an Jiaotong University, Xi'an 710049, China Department of Dermatology, Second Afflicated Hospital of Xi'an Jiaotong University, Xi'an 710049, China 韩国全北国立大学　英语教育学系，韩国　全北　全州　560759 韩国全北国立大学　英语教育学系，韩国　全北　全州　560759 Department of English Education, Jeonbuk National University, Jeonju-si 560759, South Korea Department of English Education, Jeonbuk National University, Jeonju-si 560759, South Korea 西安交通大学第一附属医院　儿科，陕西　西安　710061 西安交通大学第一附属医院　儿科，陕西　西安　710061 Department of Pediatrics, First Affiliated Hospital of Xi'an Jiaotong University, Xi'an 710061, China Department of Pediatrics, First Affiliated Hospital of Xi'an Jiaotong University, Xi'an 710061, China 李静 多模态医学语料库是医学研究、临床诊断和教学的重要工具之一。然而，现有的医学语料库大多仅有文本数据，缺乏匹配的直观图像，信息不够充分。而大量医学图像缺少明确的语义标签，导致构建语料库困难。针对上述问题，该文提出一种面向多模态医学语料库的皮肤镜图像分类方法，通过对皮肤镜图像进行精确分类获取语义标签，并结合自然语言处理方法匹配相关文本信息，从而建立图像与文本相结合的多模态语料库。首先，针对传统机器学习图像分类方法对病灶特征提取较弱且易受背景噪声影响，导致病灶分类精度差的问题，该文构建双流网络，通过融合病灶的形状与纹理特征增强病灶特征提取能力。其次，为减少特征融合导致的信息冗余，引入了基于通道注意力机制的特征筛选方法，关注关键特征并抑制噪声影响。此外，针对皮肤镜图像良恶性样本数量不均衡导致的模型优化困难问题，引入非对称损失函数，提升模型对样本不均衡的鲁棒性。在ISIC皮肤镜图像数据集上的实验结果表明，该文所提方法能够快速准确地分类皮肤镜图像，并将图像与病历文本进行精准匹配以构建多模态医学语料库。 Multi-modal corpus is one of the important tools for medical research, clinical diagnosis and teaching. Most of the existing medical corpus only have text data, lacking matching images, which leads to inadequate information. Additionally, a large number of medical images don't have clear semantic labels, which makes them difficult to be used in corpus construction. To solve the above problems, a novel dermoscopic image classification method for multi-modal medical corpus construction is proposed. Through accurate classification of dermoscopic images, we obtained semantic labels, and then matching them with relevant text by natural language processing method. In this way, a multi-modal corpus with images and texts was established. First, traditional image classification methods based on machine learning are weak in feature extraction of lesions and susceptible to background noise, resulting in poor classification accuracy. Considering the above, in this paper, a two-stream network was constructed to enhance the feature representation by fusing lesions' shapes and texture features. Second, in order to reduce information redundancy caused by feature fusion, a feature selection method based on channel attention mechanism was introduced to focus on the key features and suppress the influence of noise. In addition, aiming at the problem of model optimization difficulty caused by the imbalance in the number of benign and malignant samples in dermatoscopic images, asymmetric loss function was introduced to improve the robustness of model. Experimental results on ISIC dermatoscopic image dataset proved that the proposed method can accurately and efficiently categorize dermatoscopic images and match images with corresponding medical records to construct a multi-modal medical corpus. 多模态语料库 皮肤镜图像 图像分类 卷积神经网络 自然语言处理 multi-modal corpus dermoscopic image image classification convolutional neural network natual language processing 医学语料库对临床辅助诊断和教学管理有重要理论指导和实践意义，是国内外的研究热点问题之一 [ 1 1 ] 。各类基于自然语言处理(nature language process，NLP)的医学语料库构建和应用方法也被不断提出。陈东华根据现有中英文电子病历特征建立基于N-Gram的医学文本语义模型，计算医学文本语义相似度，构建医学语料库 [ 2 2 ] 。谭晓风提出了基于医学语料库的中英文病历互译方法，使译文符合语言规范，提高可读性 [ 3 3 ] 。 随着现代医学技术的进步，仅含有文本信息的语料库难以满足实际应用需求，而构建包含文本、图像、视频等多源数据的多模态语料库逐渐受到关注 [ 4 4 ] 。孙旭等人构建关于老年群体言行的多模态语料库，探究异常言语和行为特征与阿尔兹海默病的关系，帮助研究老年痴呆的发病病因 [ 5 5 ] 。Porhet等人构建了关于医生向患者的通知及患者反馈的多模态语料库，用于培养医护人员与患者交流能力，对病情治疗过程提供帮助 [ 6 6 ] 。文献[ 7 7 - 8 8 7-8 ]人采用分割和分类的方法，结合病历文本构建了口腔和青光眼疾病的多模态语料库，用于医学教学和研究。相较于自然场景的文本及图像数据，医学数据临床价值高，但由于采集时间跨度长、来源多、采集设备和软件有差异、格式不统一等原因，医学数据有大量未明确标记的图像数据，对多模态语料库的构建与管理造成困难 [ 9 9 - 10 10 9-10 ] 。因此，对医学图像进行精确分类，有利于整理缺失标签的图像数据，提高数据利用率，对多模态医学语料库构建有重要意义。 近年来，深度学习在计算机视觉任务中展现出优秀的能力，基于深度卷积神经网络的医学图像分析技术也随之发展。Esteva等人基于卷积神经网络实现皮肤病灶图像分类，在黑素瘤与良性痣的分类中取得良好效果 [ 11 11 ] 。Rezvantalab等人用4种不同的卷积神经网络对8类皮肤镜图像进行分类，达到接近皮肤科医生的分类准确率 [ 12 12 ] 。Guo等人基于多模型融合与最大相关熵方法实现脂溢性角化与基底细胞癌皮肤图像的分类，达到较高精度 [ 13 13 ] 。钟昀辛等人融合多类别与多标签特点，实现了对黑素瘤等9种皮肤癌的检测 [ 14 14 ] 。 上述基于深度卷积神经网络的皮肤镜图像分类取得了较好的效果，但仍存在如下问题：首先，皮肤镜图像由于采集环境、采集设备、皮肤状态等因素的差异，存在不同的背景噪声，易对分类模型泛化性造成影响；其次，Geirhos等人 [ 15 15 ] 的研究表明，常用的ImageNet [ 16 16 ] 预训练的卷积神经网络偏向于识别纹理特征，对形状特征敏感度较低，而皮肤病灶的整体形态、边缘状态等形状特征对良恶性分辨有重要参考价值，因此，也需要对其进行综合分析。针对上述问题，通过引入分割模型来提取病灶区域，实现背景去除并获得形状特征，是解决问题的思路之一。Chang等人在基于Inception V3网络的分类模型前加入U-Net病灶分割模型，通过先分割后分类的方法，提高了黑色素瘤预测准确率 [ 17 17 ] 。此类将分割模型与分类模型串联的方法在一定程度上可以帮助模型关注形状特征，但依然存在如下问题：首先，皮肤病灶组织特征复杂，且常与背景无明显分界线，现有分割方法容易存在漏分割或误分割的情况，将分割结果作为分类模型的输入时，会造成信息丢失，不利于分类模型的工作；其次，对于类似FCN [ 18 18 ] 的编码－解码构型的分割模型，其机理是先通过编码器获得高阶特征表达，再由解码器对高阶特征进行解码，以获得与源图像相同尺寸的分割掩膜，当分割模型与分类模型串联时，图像被先编码后解码，再被编码。He等人的研究表明，重复的解码与编码操作无益于特征提取，且会造成预测时计算量的浪费，影响多模态语料库构建的工作效率 [ 19 19 ] 。 针对上述问题，本文提出了一种用于皮肤镜图像精确分类的双流网络架构，通过并行的两个分支分别提取形状和纹理特征，并进行特征融合，以增强网络特征表达能力。其中，纹理特征提取分支通过ImageNet预训练的网络模型构建，形状特征提取分支基于编码－解码构型的分割网络构建，并通过专家标注的病灶区域轮廓进行监督训练。为了解决特征融合引入的信息冗余问题，通过通道注意力机制实现特征筛选，关注重要特征并抑制噪声。此外，为了解决皮肤镜图像数据普遍存在的良恶性类别样本不均衡问题，引入非对称损失作为分类模型优化的目标函数。在ISIC皮肤镜图像数据集 [ 20 20 ] 上的实验表明，本文所提出的方法能够有效提高皮肤镜图像分类的准确性，为多模态医学语料库构建提供技术支持。 基于双流网络的皮肤镜图像分类方法 1 总体框架 2 基于深度学习的图像分类方法建模主要是用卷积神经网络对图像进行特征编码，再使用全连接网络等分类器输出分类结果，其一般模型可构建为 http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=44884473&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=44884476&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=44884480&type= 式中： x 是输入图像； f ec 表示特征编码网络； f cls 表示分类器； y 是输出的分类结果。 由于在空间维度共享卷积核参数，在训练样本数量有限时，网络模型易受到背景噪声的干扰，无法完全聚焦于病灶特征，容易引入噪声特征。由于采集设备、环境、皮肤状况等原因，皮肤镜图像病灶周围存在不同程度的背景噪声，造成提取的病灶特征描述不够的问题。此外，相关研究表明，有预训练的模型相比于无预训练的模型有更好的性能。因此，针对小数据集，常用大数据集的预训练模型参数作为初始参数，使模型获得更好的泛化能力，同时加快模型收敛速度。但是，常用的ImageNet预训练卷积神经网络模型偏向于纹理特征的识别，对形状特征的关注较低，而皮肤镜图像中病灶的总体形态、边缘光滑程度等形状特征是临床诊断的重要依据。因此，除对纹理特征提取外，还应关注形状特征的提取。针对上述问题，考虑将分割网络与分类网络串联，利用注意机制增强模型对病灶特征的学习，有效抑制噪声特征的干扰，并通过分割病灶区域提取形状特征，通过特征融合进一提升模型分类性能，其模型可表达为 http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=44884498&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=44884502&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=44884503&type= 式中： f ecc 表示分类编码网络； f ecs 表示分割编码网络； f dc 表示分割解码网络。 上述方法有助于让模型关注形状特征，但由于皮肤镜图像复杂的病灶特征和背景噪声，难以实现精确的病灶分割，因此，分割结果存在误检和漏检情况，输入分类模型时会造成信息的丢失。此外，将分割模型与分类模型串联会造成图像被重复编码和解码，不利于特征提取，且浪费计算资源，影响语料库构建效率。因此，本文提出一种基于双流网络的皮肤镜图像分类方法，通过两个分支分别提取纹理和形状特征，并进行特征融合，双流网络架构如 图1 图1 所示。首先，皮肤镜图像被输入纹理特征提取分支和形状特征提取分支，分别提取纹理特征和形状特征。其次，两个分支所得特征被融合，结合通道注意力机制进行特征筛选，加强对关键特征的关注，抑制噪声的影响。最后，通过分类器得到皮肤镜图像的良恶性分类语义标签。计算过程可表达为 http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=44884495&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=44884510&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=44884528&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=44884516&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=44884533&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=44884523&type= 式中： x 是输入图像； y 是输出的分类结果； f ec1 表示纹理特征编码网络； f ec2 表示形状特征编码网络； M mask 为分割掩膜； f att 表示基于通道注意力的特征筛选； f ds 在本文所提方法中为2层全连接神经；⊕表示通过拼接操作实现特征融合。 双流网络通过并行的两个分支提取纹理和形状特征，相比于将分割网络与分类网络串联，减小了由于分割网络的漏检和误检带来的影响，并防止了重复的编码解码计算，增强了网络的特征表达能力，提升了皮肤镜图像分类效果和推理速度。但特征融合也带来了信息冗余问题，为减小信息冗余的影响，抑制噪声干扰，本方法基于通道注意力构建特征筛选模块，对不同特征进行加权处理，筛选关键特征。此外，为解决良恶性样本不平衡问题，引入非对称损失进一步提升分类效果。 纹理特征与形状特征提取 2 1）纹理特征提取。预训练在图像分类任务中对提高分类精度和减少训练耗时方面有重要作用，Geirhos等人的研究表明常用的ImageNet预训练模型偏向于纹理特征的提取 [ 15 15 ] 。本文工作基于ImageNet预训练的ResNeXt-50 [ 21 21 ] 构建编码网络1，作为双流网络的纹理特征提取分支，编码网络1将224×224×3的图像编码为7×7×2 048的特征图。 2）形状特征提取。与编码－解码构型的分割网络类似，形状特征提取分支中的编码网络2将含细节信息较多的低阶特征转化为含语义信息较多的高阶特征；解码网络由卷积层和双线性插值上采样操作构成，将高阶特征解析为与输入图像分辨率相同的分割掩膜。由于解码网络用于生成分割掩膜的信息来自于编码网络所编码的特征，因此，该特征中包含较为丰富的病灶形状信息。为了减少额外增加的计算量，形状特征提取分支的编码和解码网络采用参数量较小的ResNet-18 [ 22 22 ] 网络结构进行构建，编码网络2将224×224×3的图像编码为7×7×512的特征图，解码网络将其解码为224×224×1的分割掩膜。由于在形状特征分支中，编码网络2和解码网络都以分割掩膜作为监督标签，其参数优化并不依赖于后端的分类损失。因此，如 图1 图1 所示，在编码网络2与后端分类过程之间仅设前向传播，而冻结其反向传播。另外，解码网络只在训练时参与计算，用于生成分割掩膜，以度量所提取形状特征的质量，并通过反向传播优化编码网络2的参数。因此，在推理时，形状特征提取分支中只有编码网络参与计算，输入图像不需要经过重复的解码和编码，提升了图像分类速度。 基于通道注意力的特征筛选 2 纹理与形状特征融合可以引入更丰富的信息，在增强特征表达的同时也会造成一定程度的特征冗余，影响模型的分类效果与泛化能力。针对信息冗余常用的Dropout方法 [ 23 23 ] ，通过在全连接层随机舍弃神经元，在训练过程中优化线性拟合，有效提高模型泛化能力，但其无法对特征重要性进行度量，无法聚焦于与良恶性分类关联性强的关键特征，因此，对提升模型分类性能作用有限。受SE-Net [ 24 24 ] 思路的启发，卷积神经网络中卷积核参数共享表现在空间维度，而在通道维度，不同的卷积核参数使得特征图的各通道能够表达不同的特征。本文引入基于通道注意力的特征筛选方法(见 图2 图2 )，能够对通道间的依赖关系进行编码，自适应地对双流网络融合的特征进行通道维度的加权，突出关键特征，抑制噪声影响。 如 图2(a) 图2(a) 所示，首先，输入 h × w × c 的特征图 X ，经过全局池化得到1×1× c 的特征向量 g ，再经过2次1×1卷积，得到1×1× c 的权重向量 w att ，权重向量各通道值代表原特征图对应通道的加权系数，将权重向量与输入特征图逐通道相乘，即得到加权后的特征图 Y ，具体计算过程如下。 首先，计算全局特征向量 g ，如式(5)所示， http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=44884571&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=44884556&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=44884588&type= 式中： x i,j,k 为输入特征图 X 中的元素， i 、 j 、 k 分别代表 h (高)、 w (宽)、 c （通道）维度的索引序号； g k 是全局特征向量 g 中的第 k 个元素， g 通过全局平均池化和全局最大池化相结合的方法得到。 然后，计算注意力权重向量，如式（6）所示， http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=44884578&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=44884580&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=44884598&type= 式中： w conv1 和 w conv2 分别为2次1×1卷积的卷积核参数； δ 为ReLU激活函数。 最后，根据权重向量对原特征图加权，如式（7）所示， http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=44884601&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=44884604&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=44884620&type= 式中： http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=44884621&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=44884613&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=44884610&type= 表示权重向量 w att 与输入特征图 X 逐通道相乘，得到输出特征图 Y 。输出的特征图 Y 经过1×1卷积和全局池化转化为特征向量，送入分类器中进行分类。 在学习注意力权重向量 w att 时，根据ReLU激活函数的特点，与皮肤镜图像分类相关性过低的通道权重被置为0，而其他通道则根据相关性高低分别被赋予不同的权值，实现了关键特征筛选，降低了由纹理与形状特征融合导致的信息冗余问题带来的影响。 特征筛选模块的具体构建如 图2（b） 图2（b） 所示，7×7×2 560 c 的特征图经注意力权重向量加权后，又经1×1卷积和全局池化被转化为1 024 c 特征向量。 非对称损失函数 2 皮肤镜图像数据由临床诊疗过程产生，无法像自然图像拥有大的样本数量，且黑色素瘤等恶性肿瘤仅发于少部分患者，这使得所采集的数据中，良性病灶图像远多于恶性病灶图像。此外，部分样本因为特征鲜明，容易分辨，而部分良性样本与恶性样本视觉特征相似度很高，分辨难度大。因此，良恶性样本不均衡问题和难易样本处理问题在皮肤镜图像分类中十分突出，在深度学习模型的训练中会对模型优化产生负面影响。针对上述问题，本文引入非对称损失函数。 交叉熵损失是机器学习中分类模型常用的损失函数，对于良恶性二分类问题，其表达式如式(8)所示， http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=44884617&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=44884628&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=44884629&type= 式中： L EC 代表交叉熵损失函数； n 为样本数量； y i 表示第 i 个样本的真实标签， y i =0为负样本， y i =1为正样本； http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=44884642&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=44884647&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=44884644&type= 表示模型预测样本类别为正的概率， http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=44884665&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=44884672&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=44884650&type= 。在样本不均衡的情况下，模型在优化过程中会侧重于样本数量多的类别，而相对忽略样本数量少的类别。因此，可以在损失函数中对正负类别的损失项分别赋予不同的权重，如式(9)所示， http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=44884673&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=44884674&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=44884676&type= 式中： L WEC 代表带有权重的交叉熵损失函数； α 为可调节的权重参数， α 值越大，则表示对正类样本分错的惩罚越大。通过合理地调节权重参数，可以在一定程度上解决样本不均衡的问题，但其无法控制易分类样本和难分类样本的权重，在保证损失函数最小的优化目标下，模型对难样本的分类能力会受到影响。要度量样本分类的难易程度，并对其进行加权，则需要构建基于预测概率 http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=44884680&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=44884695&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=44884681&type= 的权重系数，因此，引入Focal Loss非对称损失函数 [ 25 25 ] ，构建(1－ http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=44884684&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=44884700&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=44884697&type= ) λ 项作为度量样本难分程度的系数，非对称损失函数 L WFEC 如式(10)所示， http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=44884702&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=44884690&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=44884692&type= 式中： λ 为调制因子， λ 越大，则难样本对损失的影响越大。在本文的皮肤镜图像分类任务中，经过实验测试， α =0.7， λ =2时效果最佳。 非对称损失函数的引入能够使模型训练时克服各类样本数量不均衡问题，并挖掘处于分类界面附近的难样本，引导参数优化向更有利于提高分类准确率的方向进行。 皮肤镜图像分类实验 1 实验资源与评价指标 2 实验采用的数据来自ISIC皮肤镜数据集 [ 20 20 ] ，共包含25 331张由皮肤科专家标注的皮肤镜图像。其中，良性组织图像20 809张，恶性组织图像4 522张，每张图像附有对应的良恶性语义标签，用于分类任务的监督。此外，为监督形状特征提取分支的训练，对数据集中2 954张皮肤科医生认为较为典型的皮肤镜图像进行了病灶轮廓标注。ISIC数据集良恶性皮肤镜图像样本示例如 图3 图3 所示。 数据集按照6∶1∶3划分为训练集、验证集、测试集，如 表1 表1 所示。 1 1 类别 1 1 良性 1 1 恶性 1 1 总计 1 1 训练集 1 1 12 493 1 1 2 714 1 1 15 207 1 1 验证集 1 1 2 077 1 1 452 1 1 2 529 1 1 测试集 1 1 6 239 1 1 1 356 1 1 7 595 1 1 总计 1 1 20 809 1 1 4 522 1 1 25 331 实验基于python3.8.5+pytorch1.7.1，主要引用torchvision、numpy、sklearn、opencv-python函数库及其所依赖的库，在ubuntu16.04.7+RTX2080Ti-12 GiB平台进行。批量尺寸设为32，初始学习率设为0.001，权重衰减设为0.000 1，参数优化算法选用RMSprop，动量值设为0.9，迭代训练50轮，输入图像尺寸为224×224，为提升模型鲁棒性，对图像进行了随机旋转(0 < angle < 90°)、随机翻转( p =0.5)、随机缩放(0.8 < scale < 1.1)的数据增强。非对称损失函数中的 α 设为0.7， λ 设为2。 为准确评价皮肤镜图像分类效果，采用准确率(Accuray，简记 A )、召回率(Recall，简记 R )、精确率(Precision，简记 P )、F1分数(简记 F 1)作为评价指标，各指标计算方法如下。 http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=44884719&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=44884732&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=44884722&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=44884737&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=44884740&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=44884756&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=44884744&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=44884746&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=44884747&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=44884750&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=44884763&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=44884766&type= 式中： T P 代表预测正确的恶性样本； T N 代表预测正确的良性样本； F P 代表错误预测为恶性的样本； F N 代表错误预测为良性的样本；准确率衡量总体分类效果的优劣；召回率反应算法对恶性样本的查全率；精确率反应算法对恶性样本的查准率；F1分数是召回率和精确率的平衡表达。 实验结果 2 为验证本文方法对皮肤镜图像分类效果的作用，以在ImageNet数据集上预训练的ResNeXt-50网络作为基准模型，与本文所提双流网络(记作TS-ResNeXt-50)进行对比。此外，为验证双流网络架构的通用性，另补充2组实验，将双流网络中纹理特征提取分支的骨干网络分别替换为ResNet-50 [ 22 22 ] 和RepVGG-B3 [ 26 26 ] ，构建TS-ResNet-50和TS-RepVGG-B3网络，分别与基准模型进行对比。形状特征提取分支的编码网络和解码网络均采用ResNet-18结构。对比实验结果如 表2 表2 所示，从 表2 表2 可以看出，以ResNeXt-50、ResNet-50、RepVGG-B3作为基准模型时，采用本文提出的双流网络架构令模型的各个指标均有提升，其中，临床中较为关注的恶性样本召回率、精确率、 F 1分数提升较为明显，形状与纹理特征融合方法能够在皮肤镜图像分类任务中提高分类精度，证明了本文所提方法的有效性。 1 1 方法 1 1 准确率 1 1 召回率 1 1 精确率 1 1 F1分数 1 1 RepVGG-B3 1 1 0.895 3 1 1 0.737 5 1 1 0.694 9 1 1 0.715 6 1 1 TS-RepVGG-B3 1 1 0.903 2 1 1 0.744 8 1 1 0.721 9 1 1 0.733 2 1 1 ResNet-50 1 1 0.896 6 1 1 0.730 1 1 1 0.702 6 1 1 0.716 1 1 1 TS-ResNet-50 1 1 0.911 1 1 1 0.767 0 1 1 0.743 4 1 1 0.755 0 1 1 ResNeXt-50 1 1 0.903 2 1 1 0.748 5 1 1 0.720 4 1 1 0.734 2 1 1 TS-ResNeXt-50 1 1 0.919 0 1 1 0.796 5 1 1 0.761 1 1 1 0.778 4 为探究双流网络架构、基于通道注意力的特征筛选和非对称损失函数对提升网络分类性能的作用，采用ResNeXt-50作为基准模型进行消融实验，结果如 表3 表3 所示。其中，“基准”表示仅使用一个特征编码网络，“单流”表示将分割网络与分类网络串联，“双流”表示以本文方法进行网络构建。从实验结果可看出，将分割网络与分类网络串联，在同样引入特征筛选和非对称损失的情况下，相对基准模型性能提升有限，而本文提出的双流网络架构则表现出较为明显的性能提升，这表明双流网络结构在实现抑制背景噪声和增强特征表达能力方面有更好的效果。此外，在双流网络的基础上，分别引入基于通道注意力机制的特征筛选和非对称损失函数，都能带来性能的提升，其中，特征筛选的引入带来的增益较高，二者同时使用时能够实现更大程度的性能提升。 3 1 方法 1 2 准确率 1 2 召回率 1 2 精确率 1 2 F1分数 1 1 网络架构 1 1 特征筛选 1 1 非对称损失 1 1 基准 1 1 √ 1 1 √ 1 1 0.903 2 1 1 0.748 5 1 1 0.720 4 1 1 0.734 2 1 1 单流 1 1 √ 1 1 √ 1 1 0.904 5 1 1 0.752 2 1 1 0.723 9 1 1 0.737 8 1 1 双流 1 1   1 1   1 1 0.906 4 1 1 0.755 2 1 1 0.729 9 1 1 0.742 3 1 1 双流 1 1 √ 1 1   1 1 0.912 4 1 1 0.778 0 1 1 0.743 5 1 1 0.760 4 1 1 双流 1 1   1 1 √ 1 1 0.909 2 1 1 0.774 3 1 1 0.732 2 1 1 0.752 7 1 1 双流 1 1 √ 1 1 √ 1 1 0.919 0 1 1 0.796 5 1 1 0.761 1 1 1 0.778 4 双流网络与基准网络的特征可分性讨论 2 本文所提出的方法在皮肤镜图像分类任务中取得了较好的效果，因为所构建的双流网络融合了形状与纹理特征，并抑制了背景噪声影响，使得所提取的特征有更好的可分性。为了探究双流网络与基准网络所提取特征的可分性，将600个良性样本与600个恶性样本分别输入训练好的ResNeXt-50基准网络和TS-ResNeXt-50网络，对其所提取的1 024维特征向量用流形学习方法t-SNE [ 27 27 ] 降至2维，可视化结果如 图4 图4 所示。从 图4 图4 可以看出，相比于基准网络特征，双流网络特征在降维后可分性更强，说明双流网络拥有更强的特征表达能力。 皮肤镜图像分类在多模态医学语料库中的应用 1 本文提出的基于双流网络的分类方法能够在庞杂的数据中准确地为搜索到的各类皮肤镜图像赋予对应的语义标签，结合基于自然语言处理(NLP)的方法，就可以建立基于图像语义和病历文本关键词的皮肤病多模态语料库。 首先，针对采集到的皮肤镜图像，通过双流网络的方法对其进行自动分类，获取良恶性的语义标签。其次，针对良恶性的皮肤疾病，需要建立文本病历中的关键词，这将有利于医生的分析与诊断，关键词的构建可以通过NLP方法来实现。通过词向量嵌入方法获取自然语言的数学表达，再用神经网络提取特征，之后用分类模型将各种关键词根据常用的皮肤镜图像分类语义标签进行归类。例如语义标签“良性(benign)”可对应“皮内痣(intradermal nevus)”“交界痣(junction nevus)”“复合痣(compound nevus)”“色素痣(pigmented nevus)”“痣(nevus)”“脂溢性角化(seborrheic keratosis，SK)”“苔藓样角化(lichenoid keratosis，LK)”“雀斑(lentigo)”“日光性着色斑(solar lentigo)”“牛奶咖啡斑(cafe-au-lait macule，CALM)”等；语义标签“恶性(malignant)”可对应“皮肤癌(skin cancer)”“黑素瘤(melanoma)”“黑色素瘤(melanoma)”“恶性黑素瘤(malignant melanoma，MM)”“鳞状细胞癌(squamous-cell carcinoma，SC)”“基底细胞癌(basal cell carcinoma，BC)”“汗腺癌(Sweat gland carcinoma)”等。最后，为了建立信息更为丰富的皮肤病语料库，除了将关键词与“良性”“恶性”这种大类语义标签进行匹配外，还可以通过局部线性嵌入(locally linear embedding，LLE)方法 [ 28 28 ] 对关键词进行聚类，例如各类“痣(nevus)”可以归为同类，各类“角化(keratosis)”可以归为同类，“黑素瘤”“黑色素瘤”“恶性黑素瘤”可归为一类。聚类后的语义标签又可以指导皮肤镜图像分类模型的训练，进一步完善多模态语料库的构建。 本文提出的基于双流网络分类和NLP的皮肤病多模态语料库能够在医学研究、教学工作、临床诊断中发挥重要的作用。在医学研究中，对大量不同类别的数据进行对比分析是探究发病机理、设计诊疗方案的重要手段，本文方法可以对大量因为各种原因丢失语义标签的皮肤镜图像进行归类，提高了医学图像数据的利用率。结合被赋予语义标签的图像数据和文本数据，可以构建多模态特征提取模型进行统计分析，帮助发现数据中尚未被临床重视的隐藏特征信息，有利于推动相关医疗技术的发展。在教学方面，多模态语料库能够提供文本信息所对应的图像，为教学提供帮助。此外，基于本文方法，若在图像分类的推理阶段，将形状特征分支的解码器引入，则可以得到病灶轮廓，通过它可以在原始图像上实现病灶区域的标注，提供更为直观的多模态教学资料。在临床诊断中，多模态语料库可以辅助生成诊断报告，提高医院诊断效率。例如在获取皮肤镜图像后，对其进行自动分类，获得语义标签，并搜索与其相近的关键词作为候选词，再结合上下文信息，生成诊断文本，然后由医生确认和修正。此外，还可以通过关键词匹配实现对往期有类似情况的病历资料的自动调阅，为诊断和治疗方案的制定以及预后提供参考。 结语 1 本文提出一种基于双流网络的皮肤镜图像识别方法，通过构建包含纹理特征和形状特征提取分支的双流网络，引入基于通道注意力的特征筛选以及非对称损失函数，实现皮肤镜图像分类效果的提升。在图像分类的基础上，结合自然语言处理方法，提取病历文本里的关键词，可构建出基于图像和文本的皮肤病多模态语料库。在提高医学研究中的数据利用率，构建更为直观的教学资料，临床诊断中的诊断报告辅助生成等方面有重要的应用价值。在后续工作中，将尝试在皮肤镜图像分类中通过引入由粗到精的分类策略和先验知识引导来达到更高的分类精度，获取更丰富的子类语义标签。 参考文献 杨锦锋 , 于秋滨 , 关毅 , 等 . 电子病历命名实体识别和实体关系抽取研究综述 [J]. 自动化学报 , 2014 , 40 ( 8 ): 1537 - 1562 . 电子病历命名实体识别和实体关系抽取研究综述 YANG J F , YU Q B , GUAN Y , et al . An overview of research on electronic medical record oriented named entity recognition and entity relation extraction [J]. Acta Automatica Sinica , 2014 , 40 ( 8 ): 1537 - 1562 . An overview of research on electronic medical record oriented named entity recognition and entity relation extraction 陈东华 . 面向决策支持的医学文本语义分析方法研究 [D]. 北京 : 北京交通大学 , 2020 . 面向决策支持的医学文本语义分析方法研究 谭晓风 . 基于医学学术英语语料库的功能翻译研究 [J]. 医学教育管理 , 2020 , 6 ( 4 ): 366 - 372 . 基于医学学术英语语料库的功能翻译研究 TAN X F . A corpus-based translation study of academic articles on medical science with the functional approach [J]. Medical Education Management , 2020 , 6 ( 4 ): 366 - 372 . A corpus-based translation study of academic articles on medical science with the functional approach 简哲 , 李燕 . 电子病历自然语言处理测评发展 [J]. 医学信息学杂志 , 2016 , 37 ( 12 ): 10 - 13 . 电子病历自然语言处理测评发展 JIAN Z , LI Y . The development of EMR natural language processing evaluation [J]. Journal of Medical Informatics , 2016 , 37 ( 12 ): 10 - 13 . The development of EMR natural language processing evaluation 孙旭 , 刘剑 , 付紫瑶 , 等 . 基于多模态语料库的痴呆老人言语行为特征研究 [J]. 海外英语 , 2021 ( 20 ): 122 - 124 . 基于多模态语料库的痴呆老人言语行为特征研究 PORHET C , OCHS M , SAUBESTY J , et al . Mining a multimodal corpus of doctor′s training for virtual patient′s feedbacks [C]// Proceedings of the 19th ACM International Conference on Multimodal Interaction . New York : ACM , 2017 : 473 - 478 . Mining a multimodal corpus of doctor′s training for virtual patient′s feedbacks LIN Y P , CHI Y T , HAN H C , et al . Multimodal orthodontic corpus construction based on semantic tag classification method [J]. Neural Processing Letters , 2022 , 54 ( 4 ): 2817 - 2830 . Multimodal orthodontic corpus construction based on semantic tag classification method 林玉萍 , 郑尧月 , 郑好洁 , 等 . 基于医学影像分割方法的多模态语料库构建 [J]. 模式识别与人工智能 , 2021 , 34 ( 4 ): 353 - 360 . 基于医学影像分割方法的多模态语料库构建 LIN Y P , ZHENG Y Y , ZHENG H J , et al . Multimodal corpus construction based on medical image segmentation algorithm [J]. Pattern Recognition and Artificial Intelligence , 2021 , 34 ( 4 ): 353 - 360 . Multimodal corpus construction based on medical image segmentation algorithm OLGA C , OLGA K , OLENA Y , et al . Collection and processing of a medical corpus in Ukrainian [C]// 2020 Computational Linguistics and Intelligent Systems . Lviv : COLINS , 2020 : 272 - 282 . Collection and processing of a medical corpus in Ukrainian LUO Y F , SUN W Y , RUMSHISKY A . MCN: A comprehensive corpus for medical concept normalization [J]. Journal of Biomedical Informatics , 2019 , 92 : 103132 . MCN: A comprehensive corpus for medical concept normalization ESTEVA A , KUPREL B , NOVOA R A , et al . Dermatologist-level classification of skin cancer with deep neural networks [J]. Nature , 2017 , 542 ( 7639 ): 115 - 118 . Dermatologist-level classification of skin cancer with deep neural networks REZVANTALAB A , SAFIGHOLI H , KARIMIJESHNI S . Dermatologist level dermoscopy skin cancer classification using different deep learning convolutional neural networks algorithms [EB/OL]. ( 2018-10-21 )[ 2022-09-25 ]. https://arxiv.org/abs/1810.10348 https://arxiv.org/abs/1810.10348 . Dermatologist level dermoscopy skin cancer classification using different deep learning convolutional neural networks algorithms GUO L D , DU S R , CHI Y T , et al . A multi-model ensemble method using CNN and maximum correntropy criterion for basal cell carcinoma and seborrheic keratoses classification [C]// 2019 International Joint Conference on Neural Networks (IJCNN) . Budapest : IEEE , 2019 : 1 - 6 . A multi-model ensemble method using CNN and maximum correntropy criterion for basal cell carcinoma and seborrheic keratoses classification 钟昀辛 , 张朋艺 , 邓玉林 , 等 . MelaNet：用于皮肤镜图像中黑色素瘤检测的深度密集注意力网络 [J]. 生命科学仪器 , 2021 , 19 ( 2 ): 40 - 48 . MelaNet：用于皮肤镜图像中黑色素瘤检测的深度密集注意力网络 ZHONG Y X , ZHANG P Y , DENG Y L , et al . MelaNet: A deep dense attention network for melanoma detection in dermoscopy images [J]. Life Science Instruments , 2021 , 19 ( 2 ): 40 - 48 . MelaNet: A deep dense attention network for melanoma detection in dermoscopy images GEIRHOS R , RUBISCH P , MICHAELIS C , et al . ImageNet-trained CNNs are biased towards texture; increasing shape bias improves accuracy and robustness [EB/OL]. ( 2018-11-29 )[ 2022-09-25 ]. https//arxiv.org/abs/1811.12231 https//arxiv.org/abs/1811.12231 . ImageNet-trained CNNs are biased towards texture; increasing shape bias improves accuracy and robustness DENG J A , DONG W , SOCHER R , et al . ImageNet: A large-scale hierarchical image database [C]// 2009 IEEE Conference on Computer Vision and Pattern Recognition . Miami : IEEE , 2009 : 248 - 255 . ImageNet: A large-scale hierarchical image database CHANG H . Skin cancer reorganization and classification with deep neural network [EB/OL]. ( 2017-03-01 )[ 2022-09-25 ]. https://arxiv.org/abs/1703.00534 https://arxiv.org/abs/1703.00534 . Skin cancer reorganization and classification with deep neural network LONG J , SHELHAMER E , DARRELL T . Fully convolutional networks for semantic segmentation [C]// 2015 IEEE Conference on Computer Vision and Pattern Recognition(CVPR) . Boston : IEEE , 2015 : 3431 - 3440 . Fully convolutional networks for semantic segmentation HE K M , GKIOXARI G , DOLLÁR P , et al . Mask R-CNN [C]// 2017 IEEE International Conference on Computer Vision(ICCV) . Venice : IEEE , 2017 : 2961 - 2969 . Mask R-CNN ROTEMBERG V , KURTANSKY N , BETZ-STABLEIN B , et al . A patient-centric dataset of images and metadata for identifying melanomas using clinical context [J]. Scientific Data , 2021 , 8 ( 1 ): 34 . A patient-centric dataset of images and metadata for identifying melanomas using clinical context XIE S W , GIRSHICK R , DOLLÁR P , et al . Aggregated residual transformations for deep neural networks [C]// 2017 IEEE Conference on Computer Vision and Pattern Recognition(CVPR) . Honolulu : IEEE , 2017 : 1492 - 1500 . Aggregated residual transformations for deep neural networks HE K M , ZHANG X Y , REN S Q , et al . Deep residual learning for image recognition [C]// 2016 IEEE Conference on Computer Vision and Pattern Recognition(CVPR) . Las Vegas : IEEE , 2016 : 770 - 778 . Deep residual learning for image recognition KRIZHEVSKY A , SUTSKEVER I , HINTON G E . ImageNet classification with deep convolutional neural networks [J]. Communications of the ACM , 2017 , 60 ( 6 ): 84 - 90 . ImageNet classification with deep convolutional neural networks HU J E , SHEN L , SUN G . Squeeze-and-excitation networks [C]// 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition . Salt Lake City : IEEE , 2018 : 7132 - 7141 . Squeeze-and-excitation networks LIN T Y , GOYAL P , GIRSHICK R , et al . Focal loss for dense object detection [C]// 2017 IEEE International Conference on Computer Vision(ICCV) . Venice : IEEE , 2017 : 2980 - 2988 . Focal loss for dense object detection DING X H , ZHANG X Y , MA N N , et al . RepVGG: Making VGG-style ConvNets great again [C]// 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition(CVPR) . Nashville : IEEE , 2021 : 13733 - 13742 . RepVGG: Making VGG-style ConvNets great again VAN DER MAATEN L , HINTON G . Visualizing data using t-SNE [J]. Journal of Machine Learning Research , 2008 , 9 ( 2605 ): 2579 - 2605 . Visualizing data using t-SNE ROWEIS S T , SAUL L K . Nonlinear dimensionality reduction by locally linear embedding [J]. Science , 2000 , 290 ( 5500 ): 2323 - 2326 . Nonlinear dimensionality reduction by locally linear embedding 10.16152/j.cnki.xdxbzr.2023-03-007 TP181 陕西省自然科学基础研究计划面上项目（2022JM-324）；陕西省社会科学基金项目（2021K014） 2022-11-15 2023-06-25 2023-06-26 2023 39049225 西北大学学报（自然科学版） 3 53