面向AS-OCT的两阶段巩膜突自动定位算法 A two-stage scleral spur automatic localization algorithm facing AS-OCT 1 first-author 张汝雪，女，河南郑州人，从事机器学习算法及其应用研究，zhangruxue@stumail.nwu.edu.cn。 张汝雪，女，河南郑州人，从事机器学习算法及其应用研究，zhangruxue@stumail.nwu.edu.cn。 zhangruxue@stumail.nwu.edu.cn 1 corresp 张敏，女，陕西礼泉人，副教授，从事计算机辅助诊断和医学影像分析研究，dr.zhangmin@xjtu.edu.cn。 张敏，女，陕西礼泉人，副教授，从事计算机辅助诊断和医学影像分析研究，dr.zhangmin@xjtu.edu.cn。 dr.zhangmin@xjtu.edu.cn 2 2 西北大学　数学学院，陕西　西安　710127 西北大学　数学学院，陕西　西安　710127 School of Mathematics, Northwest University, Xi'an 710127, China School of Mathematics, Northwest University, Xi'an 710127, China 西安医学院　第二附属医院，陕西　西安　710005 西安医学院　第二附属医院，陕西　西安　710005 The Second Affiliated Hospital of Xi'an Medical College, Xi'an 710005, China The Second Affiliated Hospital of Xi'an Medical College, Xi'an 710005, China 邵煜 随着青光眼等前节疾病发病率的增加，眼前节图像的分析受到越来越多的关注。其中，巩膜突（scleral spur，SS）的精确定位对眼前节结构参数的测量和临床诊断具有重要意义。面向眼前节光学相干断层扫描图像提出了一种由“粗”到“细”的两阶段巩膜突自动定位网络。首先，通过一个ROI区域检测网络来识别以巩膜突为中心的ROI区域，在骨干网络中加入ACmix模块，提升了网络的特征提取能力。然后使用轻量级网络Lite-HRNet作为微调修正网络进一步提取ROI图像细节特征，基于热图回归得到更加精确的巩膜突位置。最后通过在两个数据集进行验证，分别将巩膜突定位平均误差降至11.74和9.82。实验证明该方法优于现有其他基于深度学习的方法，具有良好的定位效果。 With the increasing incidence of anterior segment diseases such as glaucoma, the analysis of anterior segment images has received more and more attention. Moreover, the precise localization of the scleral spur(SS) is of great significance for the measurement of anterior segment structural parameters and clinical diagnosis. It presents a two-stage localization network from " coarse" to " fine" for optical coherence tomography images of the anterior segment. First, a ROI region detection network was used to identify ROI regions centered on the scleral spur, and the feature extraction ability of the network was improved by adding the ACmix module to the backbone network. Afterwards, a lightweight network Lite-HRNet was used as a fine-tuning correction network to further extract image detail features, based on heatmap regression to obtain a more accurate scleral process location. Finally, we tested our method on two datasets, reaching an average error of 11.74 and 9.82 respectively. Many experiments show that our method is better than other existing deep learning-based methods and has good detection effect. 巩膜突定位 眼前节光学相干断层扫描 深度卷积网络 scleral spur localization anterior segment optical coherence tomography deep convolutional network 近年来，越来越多的人意识到眼部健康的重要性，定期进行眼部健康的检查变得尤为重要。眼部检查的方法，包括房角镜，超声生物显微镜(UBM)，眼前节相干光断层扫描(AS-OCT)等。其中AS-OCT是一种基于不同组织有不同光学散射性的特性，应用光干涉法进行眼前节成像和定量分析的新技术，因其具有快速、非接触性等优点在临床中得到了广泛应用 [ 1 1 - 4 4 1-4 ] ，但对于AS-OCT图像自动化分析的相关研究较少。 AS-OCT图像分析的一个重要内容是对眼前节结构性参数的定量分析，如前房深度(anterior chamber depth，ACD)，前房宽度(anterior chamber width，ACW)，晶状体拱高(lens vault，LV)等，其中一些参数是闭角疾病的危险因素，如原发性闭角型青光眼(PACG)等 [ 5 5 - 8 8 5-8 ] 。大多数眼前节结构性参数的测量与巩膜突自动定位密切相关。例如，前房宽度指两巩膜突间距离，前房深度指角膜下表面到晶状体前表面间的距离，该距离在测量时需要先找到两巩膜突连线的中垂线。此外，房角参数的测量更是离不开巩膜突，如房角开放距离是以巩膜突为圆心的圆与角膜内表面和虹膜交点间的距离。由此可知，巩膜突的自动定位精度直接影响了房角参数测量精度。故巩膜突的定位对眼前节结构性参数的测量具有重要意义 [ 9 9 ] 。 巩膜突是角膜与巩膜连接处的一个微小突起，从 图1 图1 中可以看出，巩膜突的位置相对隐蔽，形状特征不明显，即使在房角开放状态下也难以精准定位。当房角处于关闭状态时，虹膜与巩膜紧密贴合，巩膜突更加难以分辨。因此在临床上巩膜突的定位仍然依赖于人工评分员手动识别和标记，之后通过测量眼前节结构性参数的值来量化前房角状态 [ 9 9 ] 。这种做法既耗时又较为主观，而这种主观人为因素的引入已被证明导入了显著的观察者内和观察者间的变异性 [ 10 10 - 12 12 10-12 ] ，且该误差在一定程度上会为疾病诊断和治疗带来影响，如巩膜突的不一致标记会影响PACG诊断和治疗的有效性及疾病严重程度的监测 [ 10 10 ] 。因此，巩膜突的自动定位研究对于眼科学的发展具有重要的意义。 人工智能在医疗领域的应用越来越广泛，大大提升了医疗效率和治疗效果 [ 13 13 - 15 15 13-15 ] 。近年来，巩膜突的自动定位研究取得了较大的进展，但现有算法在精度上仍具有较大提升空间。基于此，面向AS-OCT图像提出了一种由“粗”到“细”的“两阶段”巩膜突自动定位算法，通过输入AS-OCT图像实现巩膜突的自动定位。该算法考虑到巩膜突在整张AS-OCT图像上占比较小、形状特征较为隐匿的特点，采取由“粗”到“细”的策略，先利用一个目标检测网络定位到巩膜突所在的感兴趣区域(region of interest，ROI)，然后在ROI图像上进一步提取图像细节信息最终得到巩膜突所在位置。在公开数据集和自建数据集进行的大量实验证明了所提方法的有效性和先进性。 研究现状 1 巩膜突的自动定位方法 2 关于巩膜突的定位研究算法大致可以分为两类：基于模型的方法和基于数据的方法。基于模型的方法主要是通过探究前房各个组织间的位置关系来进行定位。如Tian等人提出了一种基于施瓦尔布线(Schwalbe's line)检测高清晰度OCT(HD-OCT)参数计算方法 [ 16 16 ] ，该方法使用Schwalbe's line得到角膜下表面边缘线、晶状体上表面边缘线、虹膜上表面边缘线等，通过各个线的交点及位置关系得到巩膜突的位置；Fu等人提出了一种结合AS-OCT结构的分割、测量和定位的标签转移系统 [ 17 17 ] ，搜集大量的AS-OCT图像进行标注建立系统数据库，通过待定位图像与系统中图像的对比进行初步定位，然后通过微调得到各个结构的分割结果，进而得到巩膜突的位置。基于模型的方法得到的巩膜突位置不够精确，且过程较为复杂。 随着深度学习的发展，在许多领域的研究中都已经证明了基于数据的方法在性能和效率上都要远优于基于模型的方法，但基于数据的方法在前期训练时都需要大量的样本。然而，在早期的研究中，没有用于研究巩膜突定位的公开数据集，无法对不同方法进行性能的对比，因此相关研究较少。2019年中山大学中山眼科中心协办了闭角型青光眼评估(the angle closure glaucoma evaluation，AGE)挑战赛，该比赛提供了一个大型数据集用于闭角型青光眼的分类和巩膜突的定位，在比赛中涌现出3类巩膜突自动定位算法 [ 18 18 ] ，分别为基于值回归的方法、基于二值掩模分割的方法和基于热图预测的方法。其中，基于热图预测的方法结果普遍优于其他两种方法，这一点在关键点定位领域也得到了大量的验证 [ 19 19 - 21 21 19-21 ] 。由于比赛还需要进行图像分类任务，因此提出的方法大多在分类网络(例如，SE-Net [ 22 22 ] 、ResNet [ 23 23 ] 、U-Net [ 24 24 ] 或VGG [ 25 25 ] )的基础上直接加入回归分支或者预测分支进行巩膜突的定位。综上所述，目前基于数据的巩膜突自动定位算法较少，对于AS-OCT图像特征和巩膜突位置特征提取还有待提高。考虑将巩膜突定位问题抽象成为一个目标检测问题，使用目标检测网络提取图像的深层语义特征，从而提高巩膜突的定位精度。 目标检测 2 目标检测作为计算机视觉的基层任务之一，近年来得到了快速发展，其算法主要包括两阶段(two-stage)算法和单阶段(one-stage)算法。在实际临床应用中，巩膜突的定位需要满足即时性和高效性，且需要高精度的定位结果，否则会对之后眼前节参数测量结果及病情诊断产生影响；而两阶段检测 [ 26 26 - 28 28 26-28 ] 虽然精度较高，但是耗时长且算法复杂，因此选择在单阶段检测算法上进行改进。单阶段目标检测算法主要包括SSD [ 29 29 ] 及YOLO系列算法 [ 30 30 - 31 31 30-31 ] ，该类型算法直接利用卷积网络提取特征，从而实现物体定位和分类，在检测速度上有了大幅度的提升，且参数量较小，具有实时性和便捷性的特点，但其准确率较低。随之出现了一系列对于单阶段目标检测网络的改进和研究。目前单阶段的算法在保持较高的检测效率的同时，在性能上逐渐也可以与两阶段算法相媲美。 对于单阶段目标检测网络的改进策略，主要体现在特征提取网络，特征选择和融合方式及检测器3个方面。随着深度神经网络的发展，在特征提取网络的选择方面出现了一系列性能优越的网络模型，在分类任务上有着良好的性能，如DenseNet，MoblieNet，MoblieNetV2，ShuffleNet等。这些网络均可以直接作为骨干网络提取图像不同尺度和不同分辨率的特征，且参数量小。在特征融合方面，由于目标检测任务需要同时预测目标的位置和类别，因此需要将浅层网络中的几何信息和深层中的语义信息进行融合，融合方式主要有两类，一类是以YOLOv2 [ 31 31 ] 、YOLOv3 [ 32 32 ] 、RetinaNet [ 33 33 ] 、DSSD [ 34 34 ] 为代表的自顶向下的方法；一类是以FSSD [ 35 35 ] 为代表的自底向上的方法。在检测器的设计上，由于其作用是直接根据特征输出类别和结果，因此一般包含分类器和定位器两部分，其中分类器设计较为简单，所以对于该部分的改进主要是在定位器上。在定位器上主要关注的是锚(anchor)策略和预测机制，其中anchor策略主要分为两类，一类是以SSD、RPN [ 28 28 ] 为代表的人工选择的方式；一类是以DeepMultiBox [ 36 36 ] 为代表的通过聚类进行选择的方式。 考虑到巩膜突在定位过程中的实际困难，采取了两阶段的自动定位方法。与传统两阶段算法不同，上文所述的两阶段是一个从“粗”到“细”的定位策略。首先，在RetinaNet的网络基础上进行了改进，通过加入ACmix模块 [ 37 37 ] 使骨干网络具有更加良好的特征提取能力，通过检测器得到巩膜突所在的ROI区域，该区域中心点为巩膜突的“粗”定位。然后，使用Lite-HRNet [ 38 38 ] 在ROI区域上提取图像不同尺度的信息，对巩膜突位置进行微调修正，得到巩膜突的“细”定位。 研究方法 1 本文提出了一个面向AS-OCT的“两阶段”定位网络用于巩膜突的自动定位。巩膜突一般位于房角处，临床上专业医生一般通过角膜与巩膜交界处灰度值变化及虹膜的位置进行定位，即对于一张AS-OCT图像，医生一般先找到两个房角的位置观察房角处的状态，然后再进行巩膜突的进一步定位。文中所提出的自动定位算法基于这一观察规律，采用由“粗”到“细”的策略设计了一个两阶段定位网络进行巩膜突的逐步定位。第一阶段为ROI区域检测网络，第二阶段在此基础上进一步提取ROI区域图像的细节特征，得到巩膜突所在位置坐标。整体算法框架图如 图2 图2 所示。 对于该算法，输入AS-OCT图像 X ，最终输出巩膜突坐标 P ，计算过程如式(1)所示。 http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=44884180&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=44884185&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=44884188&type= 式中： P ={ p 1 ， p 2 }； p i =( x i ， y i )； f 1 和 f 2 分别表示ROI区域检测网络和巩膜突定位网络。 ROI区域检测 2 在第一阶段对RetinaNet网络 [ 33 33 ] 进行了改进，提出了ROI区域检测网络 f 1 。首先构造了检测目标为以巩膜突为中心、边长为224像素的矩形区域 P ROI ={ p 1 － ROI， p 2 － ROI}。对于该矩形区域尺寸的选择主要考虑以下两方面。首先，该尺寸能够包含巩膜突附近角膜、巩膜和虹膜部分，便于第二阶段根据各个组织之间的关系进一步获取巩膜突位置；其次，第二阶段的网络要求输入图像大小为224×224像素，因此该尺寸便于将检测到的ROI区域不经过填充、裁剪、放大或者缩小等图像增强操作，直接送入第二阶段，较好的保留了原图的细节特征。 输入原始AS-OCT图像 X ，通过一系列图像处理由公式(2)得到 P ROI 。 http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=44884203&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=44884205&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=44884208&type= 式中： ω 为特征提取操作； σ 为特征融合操作； ρ 为预测器。具体而言，先通过一个改进的ResNet网络作为骨干网络(backbone)提取图像不同尺度的特征，然后通过特征金字塔(feature pyramid network, FPN) [ 39 39 ] 进行特征融合，最终得到巩膜突所在的ROI区域。 在特征提取阶段，选用一个改进的ResNet网络作为骨干网络(backbone)，ResNet网络 [ 23 23 ] 作为基础网络在图像分类、图像分割、目标检测等计算机视觉底层任务中都获得了较好的性能。近年来也出现了许多该网络的变体，如ResNeXt [ 40 40 ] 、ResNeSt [ 41 41 ] 等，都是针对基础卷积块(basic block)进行的改进，主要目的是通过使用组卷积等方式引入分层注意力机制提取图像特征。随着视觉自注意力模型(vision transformer，ViT) [ 42 42 ] 的出现，基于自注意力的模块在许多视觉任务上取得了与卷积神经网络(convolutional neural networks，CNN)相当甚至更好的性能，其灵活性使模型能够自适应地关注不同区域，并捕获更多的信息特征。笔者所提出的改进也是在基础卷积块上进行的。如 图3 图3 所示，ResNet的基础卷积块是由两个1×1卷积和一个3×3卷积构成，文中使用ACmix模块 [ 37 37 ] 代替原始的3×3卷积。该模块通过重构卷积和自注意力两个模块，证明了两者在对输入特征进行映射时具有相同的计算开销和类似的分解过程，因此通过共享相同的重操作重新整合了这两个模块。该模块结合了卷积操作和自注意力模块的优点，具有更强的特征提取能力。 ACmix模块结构如 图4 图4 所示，首先经过并列的3个1×1卷积，然后分成两个支路：卷积支路和自注意力支路。在卷积支路，通过一个全连接层(fully connected layer)，之后根据核位置进行平移和聚合操作，得到该分支结果。在自注意力支路，将3个1×1卷积操作得到的结果分别看作查询(query)，键(key)和值(value)，通过注意力权重的计算和值矩阵的聚合，收集局部特征。 在特征融合阶段，使用FPN结构。选取backbone中第3，4，5层特征，通过上采样操作，自上向下的将相邻层特征图进行拼接来进行特征融合。此外将最高分辨率特征图进行两次下采样分别得到两组新的特征图。 由于已经获得了丰富的多尺度特征，因此预测器直接采用基于卷积的权重共享的两个相同分支分别进行分类和定位任务。如 图3 图3 所示，每个分支都由4个3×3的卷积和非线性层(rectified linear unit，ReLU)组成，然后分别再通过1个3×3的卷积得到预测结果，其中K代表类别数，A代表在每个特征层生成的anchor数，定位分支得到结果为预测框的中心点坐标( x ， y )预测框的长 h 及宽 w 。这两个分支在训练时共享参数。 公式(3)为本阶段损失函数，由分类损失 L f 和回归损失 L r 组成，式中 N 表示ROI区域总个数。使用focal loss [ 33 33 ] 损失函数来计算分类损失，具体如公式(4)所示。该损失函数通过加入平衡因子 α 和 γ ，解决了正负样本不均衡的问题，大大提高了单阶段检测器的检测精度。通过计算预测坐标和真实坐标间的平均误差即 L 1 损失来计算回归损失，该方法为常用的回归损失计算方法，具体如公式(5)所示，式中 y i 和 y ′ i 分别为真实向量和预测向量，均为4维向量，分别表示ROI检测框中心横坐标、纵坐标、锚框长和宽。 http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=44884243&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=44884248&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=44884250&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=44884261&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=44884254&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=44884273&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=44884274&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=44884272&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=44884279&type= 微调修正 2 由于上一阶段将巩膜突的位置设为ROI区域检测阶段检测框的中心点，因此所得到的ROI区域的中心可以看作是巩膜突的粗略定位。本节主要是对巩膜突位置的微调和修正，目的是达到更高精度的定位效果。 研究表明，基于热图(Heatmap)回归的关键点定位算法性能要优于基于坐标点回归的方法。笔者认为在ROI区域检测阶段中的边界框回归是基于回归的方法，因此在微调修正阶段考虑引入Heatmap损失。文中直接使用Lite-HRnet网络 [ 38 38 ] 作为微调修正网络，该网络是针对HRNet网络 [ 43 43 ] 的轻量化设计，将ShuffleNet [ 44 44 ] 中的高效置换卷积块加入到HRNet中，减少网络层数，简化网络结构的同时达到了较好的定位效果。 图6 图6 展示了Lite-HRNet的网络结构。输入ROI区域检测图像，首先经过stem层，其包含1个步长为2的卷积和1个Shufflt Block。接下来的3个stage中，每个stage均包含2个条件通道加权模块和1个多分辨率融合模块。此外，该网络还提出了跨分辨率权重计算和空间权重计算方法。最后，将stage3的4个分支的输出进行拼接，通过一个1×1卷积得到预测Heatmap图，选择Heatmap图中值最大的点作为巩膜突预测位置。 实验分析 1 数据集 2 使用以下两个数据集进行试验。第一个数据集为2019年举办的闭角型青光眼评估挑战赛(the angle closure glaucoma evaluation challenge，AGE-Challenge)中使用的比赛数据集，由中山大学中山眼科研究中心提供 [ 18 18 ] 。该数据集共包含4 200张AS-OCT图像，其中训练集中的1 600张图像带有标签，可用于定量分析。数据集图像类型丰富，其中30%为闭角状态的图像，其他为开角状态的图像。该数据集中AS-OCT图像成像设备为CASIA SS-1000 OCT(Tomey，名古屋，日本)，图像大小为998×2 130像素，共包含角度闭合分类和巩膜突定位两项任务，文中仅使用巩膜突定位坐标信息。 第二个AS-OCT数据集由西安医学院眼科学何教授团队提供，收集了2019年至2021年就诊于西安医学院及其下属26家合作医疗单位患者AS-OCT图像，共包含200张AS-OCT图像，成像设备为Casio(日本)，图像大小为969×1 623像素，巩膜突位置由西安医学院何教授团队的专业医生进行标注。图像包含有正常时期、PACG临床前期、PACG急性发作期3种类型，种类丰富。 实验设置 2 文中所提出的网络框架均在Python和Pytorch下运行实现，实验平台为NVIDIA GeForce RTX 3090 24 GiB显卡和英特尔XEON Siver 4110R CPU @ 2. 10 GHz处理器，操作系统为64位Windows 10。实验前将所用数据集进行划分，随机选择其中80%作为训练集，剩下的20%作为测试集。实验过程中设置其权重衰减为5×10 －4 ，初始学习率为5×10 －5 。使用Adam优化器进行训练，网络共训练了50个epoch。实验中ROI区域检测阶段骨干网络均使用ImageNet数据集 [ 45 45 ] 上预先训练的相应模型进行初始化，其余的随机初始化，微调修正阶段使用在COCO数据集上预训练的模型进行初始化。 评价指标 2 本实验中所采用的评价指标为平均欧几里得距离(the average of Euclidean distance，AED)，具体计算公式(式中简记 d AED )见公式(6)。 http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=44884313&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=44884316&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=44884324&type= 式中：( http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=44884336&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=44884332&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=44884330&type= i ， http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=44884344&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=44884347&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=44884353&type= )为巩膜突真实位置(ground truth)；( x i ， y i )为巩膜突预测位置； N 为样本数量。 与其他网络对比 2 本节对比了现有的几种性能较好的巩膜突定位算法U-Net [ 46 46 ] 、ResUNet，UNet++ [ 47 47 ] 、Yuan et al [ 48 48 ] ，这几种算法都是基于深度学习的算法，在2019年AGE挑战赛中表现优异。 表1 表1 展示了在两个数据集上的实验结果对比，第二列为AGE-Challenge数据集(Ⅰ)上实验结果，第三列为自有数据集(Ⅱ)上的实验结果，其他几种方法也都采用相同的数据集及划分策略进行实验。由此可知，文中所提出的方法相较于其他方法表现出更好的性能，AED最低。其次，数据集(Ⅱ)上的性能较数据集(Ⅰ)更优越，一方面可能是由于数据集(Ⅱ)样本较少，因此能够使模型更好的提取深层特征；另一方面是由于数据集(Ⅱ)中AS-OCT图像成像更为清晰，相较于数据集(Ⅰ)噪声点更少，故巩膜突更加容易被定位。 1 1 方法 1 1 （Ⅰ） 1 1 （Ⅱ） 1 1 U-Net 1 1 13.93 1 1 13.17 1 1 ResUNet 1 1 13.15 1 1 12.39 1 1 UNet++ 1 1 12.50 1 1 12.43 1 1 Yuan et al [ 48 48 ] 1 1 12.00 1 1 10.67 1 1 本文方法 1 1 11.74 1 1 9.82 图7 图7 展示了在两个数据集上的可视化结果。可以发现，整体上文中所采用的两阶段巩膜突自动定位算法所定位的巩膜突更加接近真实位置，闭角状态下的AS-OCT图像更加难以定位到巩膜突位置。 消融实验 2 本节对网络中的一些改进措施进行了消融实验，测试了所用方法的有效性。首先验证了ROI区域检测网络中所用骨干网络的优越性，其次通过实验证明了加入微调修正网络对巩膜突预测结果进行修正的有效性。 骨干网络的选择 3 文中所使用的骨干网络为在ResNet网络中加入ACmix模块，这一小节中通过实验对比了几种不同的backbone用作ROI区域检测网络中的特征提取网络的实验效果，分别为ResNet50 [ 23 23 ] 、ResNeXt50 [ 40 40 ] 、ResNeSt50 [ 41 41 ] 和ConvNeXt [ 49 49 ] 。其中ResNet50、ResNeXt50是对ResNet中基础卷积块所作的改进，具体如 图8 图8 所示。ConvNeXt是使用Transformer网络 [ 50 50 ] 的一些先进思想在实验策略以及卷积层设置上进行了一系列调整和改进，结合了Transformer和CNN这两种网络的优势。实验中都使用在ImageNet上预训练的权重进行实验，实验结果如 表2 表2 所示。 表2 表2 显示，与直接使用ResNet50相比，加入ACmix模块后模型性能有了大幅度提升，在两个数据集上的平均误差分别下降了1.52和3.16。相较于其他基于ResNet50网络的改进，文中所提出的两阶段巩膜突自动定位算法仍具有优越性，定位性能达到最优。 1 1 方法 1 1 （Ⅰ） 1 1 （Ⅱ） 1 1 ResNet-50 1 1 13.26 1 1 12.98 1 1 ResNeXt-50 1 1 12.03 1 1 10.87 1 1 ResNeSt-50 1 1 11.94 1 1 10.47 1 1 ConvNeXt 1 1 12.26 1 1 10.56 1 1 本文方法 1 1 11.74 1 1 9.82 微调修正模块的作用 3 为了验证微调修正模块的效果。在两个数据集上分别进行消融实验。 表3 表3 和 表4 表4 分别列出了在两个数据集上加入微调修正模块前后实验结果。其中，当不加入微调修正模块时，将ROI区域检测网络得到的边界框中心作为巩膜突预测位置。为了验证其性能的泛化性，在5种backbone上都进行了实验，通过对比发现，加入微调修正模块后模型整体性能都有所提高。 1 1 微调修正模块 1 1 ResNet-50 1 1 ResNeXt-50 1 1 ResNeSt-50 1 1 ConvNeXt 1 1 本文方法 1 1 － 1 1 13.93 1 1 12.54 1 1 12.07 1 1 12.45 1 1 12.03 1 1 √ 1 1 13.26 1 1 12.03 1 1 11.94 1 1 12.26 1 1 11.74 1 1 微调修正模块 1 1 ResNet-50 1 1 ResNeXt-50 1 1 ResNeSt-50 1 1 ConvNeXt 1 1 本文方法 1 1 － 1 1 13.65 1 1 11.13 1 1 10.69 1 1 10.59 1 1 10.00 1 1 √ 1 1 12.98 1 1 10.87 1 1 10.47 1 1 10.56 1 1 9.82 结语 1 本文提出了一个面向AS-OCT的巩膜突自动定位算法。由于巩膜突在整张图像上占比较小，形状特征不明显，因此结合人类视觉感知过程，采用从“粗”到“细”的策略，设计了一个两阶段算法逐步进行巩膜突的定位。通过加入ACmix模块提高了ROI区域检测阶段特征提取能力，通过加入微调修正网络进一步提取图像细节特征，最终得到巩膜突所在位置。该方法在公开数据集和自有数据集上进行了大量实验，实验结果均优于现有算法。 未来将从以下两方面对文中相关工作进行扩展和改进。 1）AS-OCT图像中巩膜突的定位精度会直接影响到对眼前节结构的定量分析，从而对疾病的诊断和治疗产生影响。虽然文中所提出的两阶段巩膜突自动定位方法获得了较为精准的结果，但仍有较大的提升空间，对于一些由于房角关闭而导致巩膜突难以定位的图像仍会出现偏差较大的情况，因此需要根据其位置特征进一步优化网络。 2）目前对于眼科图像的研究大多集中在眼底图像，对于眼前节图像的研究较少。因此可考虑利用巩膜突的自动定位结果进行眼前节结构参数的测量，从而实现一些眼部疾病，如青光眼等的辅助诊断，助力眼科医学事业的智能化发展。 参考文献 IZATT J A , HEE M R , SWANSON E A , et al . Micrometer-scale resolution imaging of the anterior eye in vivo with optical coherence tomography [J]. Archives of Ophthalmology , (Chicago, I11: 1960) 1994 , 112 ( 12 ): 1584 - 1589 . Micrometer-scale resolution imaging of the anterior eye in vivo with optical coherence tomography ANG M , BASKARAN M , WERKMEISTER R M , et al . Anterior segment optical coherence tomography [J]. Progress in Retinal and Eye Research , 2018 , 66 : 132 - 156 . Anterior segment optical coherence tomography 柴永琦 , 关立南 , 高维奇 . 原发性闭角型青光眼前房角影像学研究进展 [J]. 医学综述 , 2021 , 27 ( 16 ): 3268 - 3273 . 原发性闭角型青光眼前房角影像学研究进展 CHAI Y Q , GUAN L N , GAO W Q . Research progresses of anterior chamber angle imaging in primary angle closure glaucoma [J]. Medical Recapitulate , 2021 , 27 ( 16 ): 3268 - 3273 . Research progresses of anterior chamber angle imaging in primary angle closure glaucoma SHAN J , DEBOER C , XU B Y . Anterior segment optical coherence tomography: Applications for clinical care and scientific research [J]. Asia-Pacific Journal of Ophthalmology (Philadelphia, Pa.) , 2019 : 146 - 157 . Anterior segment optical coherence tomography: Applications for clinical care and scientific research NONGPIUR M E , HE M , AMERASINGHE M , et al . Lens vault, thickness, and position in Chinese subjects with angle closure [J]. Ophthalmology , 2011 , 118 ( 3 ): 474 - 479 . Lens vault, thickness, and position in Chinese subjects with angle closure OZAKI M , NONGPIUR M E , AUNG T , et al . Increased lens vault as a risk factor for angle closure: Confirmation in a Japanese population [J]. Graefe's Archive for Clinical and Experimental Ophthalmology , 2012 , 250 ( 12 ): 1863 - 1868 . Increased lens vault as a risk factor for angle closure: Confirmation in a Japanese population WANG B S , SAKATA L M , FRIEDMAN D S , et al . Quantitative iris parameters and association with narrow angles [J]. Ophthalmology , 2010 , 117 ( 1 ): 11 - 17 . Quantitative iris parameters and association with narrow angles WANG B S , NARAYANASWAMY A , AMERASINGHE N , et al . Increased iris thickness and association with primary angle closure glaucoma [J]. The British Journal of Ophthalmology , 2011 , 95 ( 1 ): 46 - 50 . Increased iris thickness and association with primary angle closure glaucoma 赵栋栋 , 翟玉喜 , 路豪豪 , 等 . 青光眼患者睫状突位置测量及其临床意义 [J]. 山东大学耳鼻喉眼学报 , 2020 , 34 ( 6 ): 112 - 117 . 青光眼患者睫状突位置测量及其临床意义 ZHAO D D , ZHAI Y X , LU H H , et al . The position of ciliary processes in glaucoma patients and their clinicalsignificance [J]. Journal of Otolaryngology and Ophthalmology of Shandong University , 2020 , 34 ( 6 ): 112 - 417 . The position of ciliary processes in glaucoma patients and their clinicalsignificance CUMBA R J , RADHAKRISHNAN S , BELL N P , et al . Reproducibility of scleral spur identification and angle measurements using fourier domain anterior segment optical coherence tomography [J]. Journal of Ophthalmology , 2012 , 2012 : 1 - 14 . Reproducibility of scleral spur identification and angle measurements using fourier domain anterior segment optical coherence tomography MASLIN J S , BARKANA Y , DORAIRAJ S K . Anterior segment imaging in glaucoma: an updated review [J]. Indian Journal of Ophthalmology , 2015 , 63 ( 8 ): 630 - 640 . Anterior segment imaging in glaucoma: an updated review TAN A N , SAUREN L D C , DE BRABANDER J , et al . Reproducibility of anterior chamber angle measurements with anterior segment optical coherence tomography [J]. Investigative Ophthalmology & Visual Science , 2011 , 52 ( 5 ): 2095 - 2099 . Reproducibility of anterior chamber angle measurements with anterior segment optical coherence tomography 张秀兰 , 李飞 . 人工智能和青光眼：机遇与挑战 [J]. 中华实验眼科杂志 , 2018 , 36 ( 4 ): 245 - 247 . 人工智能和青光眼：机遇与挑战 ZHANG X , LI F . Artificial intelligence and glaucoma: Opportunities and challenges [J]. Chinese Journal of Experimental Ophthalmology , 2018 , 36 ( 4 ): 245 - 247 . Artificial intelligence and glaucoma: Opportunities and challenges 文美丹 , 何文静 , 曾思明 . 光学相干断层扫描仪在青光眼早期诊断中的应用进展 [J]. 中国医学影像学杂志 , 2014 , 22 ( 11 ): 865 - 868 . 光学相干断层扫描仪在青光眼早期诊断中的应用进展 梁远波 , 江俊宏 , 王宁利 . 中国青光眼流行病学调查研究回顾 [J]. 中华眼科杂志 , 2019 , 55 ( 8 ): 634 - 640 . 中国青光眼流行病学调查研究回顾 TIAN J , MARZILIANO P , BASKARAN M , et al . Automatic anterior chamber angle assessment for HD-OCT Images [J]. IEEE Transactions on Biomedical Engineering , 2011 , 58 ( 11 ): 3242 - 3249 . Automatic anterior chamber angle assessment for HD-OCT Images FU H Z , XU Y W , WONG D W K , et al . Automatic anterior chamber angle structure segmentation in AS-OCT image based on label transfer [C]// 2016 38th Annual International Conference of the IEEE Engineering in Medicine and Biology Society (EMBC) . Orlando, FL, USA : IEEE , 2016 : 1288 - 1291 . Automatic anterior chamber angle structure segmentation in AS-OCT image based on label transfer FU H Z , LI F , SUN X , et al . AGE challenge: Angle closure glaucoma evaluation in anterior segment optical coherence tomography [J]. Medical Image Analysis , 2020 , 66 : 101798 . AGE challenge: Angle closure glaucoma evaluation in anterior segment optical coherence tomography TOMPSON J , JAIN A , LECUN Y , et al . Joint training of a convolutional network and a graphical model for human pose estimation [EB/OL]. ( 2014-06-11 )[ 2023-01-20 ]. https://arxiv.org/abs/1406.2984 https://arxiv.org/abs/1406.2984 . Joint training of a convolutional network and a graphical model for human pose estimation NEWELL A. , YANG K Y , DENG, J . Stacked Hourglass Networks for Human Pose Estimation [M]// Computer Vision-ECCV, 2016 . Cham : Springer Intemational Publishing , 2016 : 483 - 499 . Computer Vision-ECCV, 2016 YANG W , LI S , OUYANG W L , et al . Learning feature pyramids for human pose estimation [C]// 2017 IEEE International Conference on Proceedings of the Computer Vision(ICCV), 2017 . Venice, Italy : IEEE , 2017 : 1290 - 1299 . Learning feature pyramids for human pose estimation HU J , SHEN L , SUN G . Squeeze-and-excitation networks [C]// 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition(CVPR), 2018 . Salt Lake City, UT, USA : IEEE , 2018 : 7132 - 7141 . Squeeze-and-excitation networks HE K M , ZHANG X Y , REN S Q , et al . Deep residual learning for image recognition [C]// 2016 IEEEConference on Computer Vision and Pattern Recognition(CVPR), 2016 . Las Vegas, NV, USA : IEEE , 2016 : 770 - 778 . Deep residual learning for image recognition RONNEBERGER O , FISCHER P , BROX T . U-net: Convolutional networks for biomedical image segmentation [M]// Lecture Notes in Computer Science . Cham : Springer International Publishing , 2015 : 234 - 241 . Lecture Notes in Computer Science SIMONYAN K , ZISSERMAN A . Very deep convolutional networks for large-scale image recognition [EB/OL]. ( 2014-09-04 )[ 2023-01-20 ]. https://arxic.org/abs/1409.1556 https://arxic.org/abs/1409.1556 . Very deep convolutional networks for large-scale image recognition GIRSHICK R , DONAHUE J , DARRELL T , et al . Rich feature hierarchies for accurate object detection and semantic segmentation [C]// 2014 IEEE Conference on Computer Vision and Pattern Recognition . Columus, OH, USA : IEEE , 2014 : 580 - 587 . Rich feature hierarchies for accurate object detection and semantic segmentation GIRSHICK R . Fast r-cnn [C]// 2015 IEEE International Conference on Computer Vision(ICCV), 2015 . Santiago, Chile : IEEE , 2015 : 1440 - 1448 . Fast r-cnn REN S Q , HE K M , GIRSHICK R , et al . Faster R-CNN: Towards real-time object detection with region proposal networks [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence , 2017 , 39 ( 6 ): 1137 - 1149 . Faster R-CNN: Towards real-time object detection with region proposal networks LIU W , ANGUELOV D , ERHAN D , et al . Ssd: Single shot multibox detector [M]// Computer Vison-ECCV 2016 . Cham : Springer International Publishing , 2016 : 21 - 37 . Computer Vison-ECCV 2016 REDMON J , DIVVALA S , GIRSHICK R , et al . You only look once: Unified, real-time object detection [C]// 2016 IEEE Conference on Computer Vision and Pattern Recognition(CVPR), 2016 . Las Vegas, NV, USA : IEEE , 2016 : 779 - 788 . You only look once: Unified, real-time object detection REDMON J , FARHADI A . YOLO9000: better, faster, stronger [C]// 2017 IEEE Conference on Computer Vision and Pattern Recognition(CVPR), 2017 . Honolulu, HI, USA ; IEEE , 2017 : 7263 - 7271 . YOLO9000: better, faster, stronger REDMON J , FARHADI A . YOLOV3: An incremental improvement [EB/OL]. ( 2018-08-08 )[ 2023-01-20 ]. https://arxic.org/abs/1804.02767 https://arxic.org/abs/1804.02767 . YOLOV3: An incremental improvement LIN T Y , GOYAL P , GIRSHICK R , et al . Focal loss for dense object detection [C]// 2017 IEEE International Conference on Computer Vision(ICCV), 2017 . Venice, Italy : IEEE , 2017 : 2999 - 3007 . Focal loss for dense object detection FU C Y , LIU W , RANGA A , et al . Dssd: Deconvolutional single shot detector [EB/OL]. ( 2017-01-23 )[ 2023-01-20 ]. https://arxic.org/abs/1701.06659 https://arxic.org/abs/1701.06659 . Dssd: Deconvolutional single shot detector LI Z , ZHOU F . FSSD: Feature fusion single shot multibox detector [EB/OL]. ( 2017-12-40 )[ 2023-01-20 ]. https://arxic.org/abs/1712.00960 https://arxic.org/abs/1712.00960 . FSSD: Feature fusion single shot multibox detector ERHAN D , SZEGEDY C , TOSHEV A , et al . Scalable object detection using deep neural networks [C]// 2014 IEEE Conference on Computer Vision and Pattern Recognition, 2014 . Columbus, OH, USA : IEEE , 2014 : 2155 - 2162 . Scalable object detection using deep neural networks PAN X R , GE C J , LU R , et al . On the integration of self-attention and convolution [C]// 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition(CVPR), 2022 . New Orleans, LA, USA : IEEE , 2022 : 805 - 815 . On the integration of self-attention and convolution YU C , XIAO B , GAO C , et al . Lite-hrnet: A lightweight high-resolution network [C]// 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition(CVPR), 2021 . Nashville, TN, USA : IEEE , 2021 : 10435 - 10445 . Lite-hrnet: A lightweight high-resolution network LIN T Y , DOLLÁR P , GIRSHICK R , et al . Feature pyramid networks for object detection [C]// 2017 IEEE conference on computer vision and pattern recognition(CVPR), 2017 . Honolulu, HI, USA : IEEE , 2017 : 936 - 944 . Feature pyramid networks for object detection XIE S M , GIRSHICK R , DOLLÁR P , et al . Aggregated residual transformations for deep neural networks [C]// 2017 IEEE Conference on Computer Vision and Pattern Recognition(CVPR), 2017 . Honolulu, HI, USA : IEEE , 2017 : 5987 - 5995 . Aggregated residual transformations for deep neural networks ZHANG H , WU C R , ZHANG Z Y , et al . ResNest: Split-attention networks [C]// 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops(CVPRW), 2022 . New Oeleans, LA, USA : IEEE , 2022 : 2735 - 2745 . ResNest: Split-attention networks DOSOVITSKIY A , BEYER L , KOLESNIKOV A , et al . An image is worth 16x16 words: Transformers for image recognition at scale [EB/OL]. ( 2020-10-22 )[ 2023-01-20 ]. https://arxic.org/abs/2010.11929 https://arxic.org/abs/2010.11929 . An image is worth 16x16 words: Transformers for image recognition at scale SUN K , XIAO B , LIU D , et al . Deep high-resolution representation learning for human pose estimation [C]// 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition(CVPR), 2019 . Lorg Beach, CA, USA : IEEE , 2019 : 5680 - 5696 . Deep high-resolution representation learning for human pose estimation ZHANG X Y , ZHOU X Y , LIN M X , et al . Shufflenet: An extremely efficient convolutional neural network for mobile devices [C]// 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition(CVPR), 2018 . Salt Lake City, UT, USA : IEEE , 2018 : 6848 - 6856 . Shufflenet: An extremely efficient convolutional neural network for mobile devices PENG C , ZHANG X Y , YU G , et al . Large kernel matters—improve semantic segmentation by global convolutional network [C]// 2017 IEEE Conference on Computer Vision and Pattern Recognition(CVPR), 2017 . Honolulu, HI, USA : IEEE , 2017 : 1743 - 1751 . Large kernel matters—improve semantic segmentation by global convolutional network FALK T , MAI D , BENSCH R , et al . U-Net: Deep learning for cell counting, detection, and morphometry [J]. Nature Methods , 2019 , 16 ( 1 ): 67 - 70 . U-Net: Deep learning for cell counting, detection, and morphometry ZHOU Z W , RAHMAN SIDDIQUEE M M , TAJBAKHSH N , et al . Unet++: A nested U-net architecture for medical image segmentation [C]// Deep Learning in Medical Image Analysis and Multimodal Learning for Clinical Decision Support: 4th International Workshop, DLMAI 2018, and 8th International Norksmp, ML-CDS 2018, Held in Conjunction with MICCAI 2018 . Granada , Spain : [s.n.] 2018 , 11045 : 3 - 11 . Unet++: A nested U-net architecture for medical image segmentation YUAN C , BIAN C , KANG H , et al . Identification of primary angle-closure on AS-OCT images with Convolutional Neural Networks [EB/OL]. ( 2019-10-23 )[ 2023-01-20 ]. https://arxic.org/abs/1910.10414 https://arxic.org/abs/1910.10414 . Identification of primary angle-closure on AS-OCT images with Convolutional Neural Networks LIU Z , MAO H Z , WU C Y , et al . A convnet for the 2020s [C]// 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition(CVPR), 2022 . New Orleans, LA, USA : IEEE , 2022 : 11966 - 11976 . A convnet for the 2020s VASWANI A , SHAZEER N , PARMAR N , et al . Attention is all you need [C]// Proceedings of the 31st International Conference on Neural Information Processing Systems, 2017 . New York : ACM , 2017 : 6000 - 6010 . Attention is all you need 10.16152/j.cnki.xdxbzr.2023-03-003 TP399 国家自然科学基金重大科研仪器研制项目（81727802）；陕西省重点研发计划一般项目（2023-YBSF-304） 2022-11-15 2023-06-25 2023-06-26 2023 39049128 西北大学学报（自然科学版） 3 53