本技术属于数字医疗技术领域,提出了一种利用金字塔视觉Transformer进行息肉图像分割的新方法。该技术能够通过金字塔视觉Transformer模块有效捕获图像的全局上下文信息,实现精准的息肉分割,提高医疗图像处理的效率和准确性。
背景技术
结直肠癌(colorectal cancer,CRC)是全球第三大最常见的癌症,近年来,严重危害人的生命健康。根据世界卫生组织国际癌症研究机构(International Agency forResearch on Cancer,IARC)发布的2020年《世界癌症报告》统计显示,癌症逐渐成为全球仅次于心脏病的第二大死因。统计被诊断出的癌症中结直肠癌占10%,大约193万人,死亡率为9.4%居第二位,仅次于肺癌致死率。结直肠息肉是生长在结直肠黏膜中的异常组织,是结直肠癌的前体。虽然息肉最初是良性的,但如果随着时间的推移不治疗,他可能会发展成结直肠癌。息肉的类别上可以分为:锯齿状腺瘤、腺瘤性息肉和增生性息肉,其中腺瘤性息肉是导致结直肠癌的直接原因,临床显示腺瘤检出率每提高1%,CRC风险就会降低3%。
目前,结肠镜是诊断结直肠疾病最有效的方法,大量的研究证明,结直肠癌患者早期进行检查并得到有效及时的治疗,可以有效降低患者的死亡率。然而结肠镜检查高度依赖内窥镜医生的判断,近25%的息肉在结肠镜检查过程中可能临床医生的技能和主观性而被忽略。精确定位息肉轮廓对于结肠镜检查至关重要,计算机辅助息肉分割系统可以实时地在结肠镜视频中分割标示息肉位置,可以有效的降低漏诊和错诊的概率。因此,利用基于深度学习的图像处理方法改进现有结肠镜技术无疑是最有效的方法之一。
针对结肠息肉图像的分割,研究人员提出了大量不同的图像分割方法,主要可以分为两种:基于手工特征的结直肠息肉图像分割算法,如纹理、几何特征、颜色或梯度直方图。Ameling等人提出基于颜色小波协方差(Color Wavlet Covariance,CWC)用于纹理分析;Bernal等人使用分水岭算法作为基于纹理的技术来分割潜在的息肉区域;Tajbakhsh等人采用Canny边缘检测算法提取边缘特征来区分息肉区域;Mamonov等人采用基于形状的方法来检测息肉区域。由于息肉与周围组织具有相似的颜色和质地、模糊的边界增加了分割的难度,同时基于低级特征设计的模型具有较差的泛化能力,因此这些早期解决方案在息肉提取中具有很高的假阳率和漏检的风险,难以大规模应用。
基于深度学习的算法,由于卷积神经网络(Convolutional neural network,CNN)在图像分析领域取得巨大成功,CNN也被用于医学图像分析。在息肉分割医学任务中,Akbari首次提出了一种使用全卷积网络(fully convolutional network,FCN)的息肉分割模型,FCN使用全卷积取代CNN中的全连接层,实现了端到端的分割网络,虽然分割准确度相比于传统方法有了很大提升,但依然无法满足临床应用。Olaf等人提出U-Net结构在医学图像分割领域表现出显著的优越性,于是便产生了大量基于U-Net的变体网络。Zhou等人提出的UNet++网络使用一种密集连接的跳跃连接方式,集成了多尺度功能,对来自不用层的特征进行融合,减少编解码器特征映射之间的语义差异;Debesh Jha等人在ResUet的基础上提出了ResUet++模型,将ASPP、注意力和残差结构系统的集成到了网络的各层当中,用于提高网络分割的准确率;ACSNet利用局部上下文注意力和全局上下文模块提取目标区域更多的上下文特征,通过自适应选择模块学习聚合上下文信息。这些基于U-Net网络性能得到大幅度提升,U形网络的编解码结构提取多尺度特征具有一定优势,但经过一系列卷积和下采样后,往往会导致特征细节信息的丢失,这对于小尺寸和不规则的息肉的分割是极为不利。来源于注意力在人类感知中的作用,可以过滤掉不重要的信息并保留关键信息。随着注意力机制在自然语言处理和自然图像处理中的成功应用,于是也将注意力引入医学图像处理中。Fan等人设计了一种并行反向注意力网络(PraNet),并行解码器(PPD)聚合高级特征以生成指导图来预测息肉粗略区域,并通过反向注意力模块来挖掘息肉边界细节信息,但缺乏自下而上流的特征共享。UACANet在编码器网络中使用并行轴向注意力用于自下而上流的特征共享,很好地弥补了PraNet的缺点。
上述这些方法都是基于CNN的方法,由于卷积运算的内在局限性,CNN无法对长程依赖关系进行建模。与CNN相比,Transformer具有远距离依赖性,使用自注意机制来捕捉全局上下文信息,但对局部信息进行建模时缺乏空间感知偏差导致定位能力有限。为了充分利用CNN和Transformer的优势,大量分割方法创新性得将Transformer和CNN结合起来。
尽管目前开发许多结肠镜息肉分割方法,但息肉的准确分割仍然是一项具有挑战性的任务,主要原因有两个方面,一方面是由于大多数息肉与正常组织具有相似的颜色和质地,同时息肉具有模糊的边界、不同的大小、形状不规则等特点增加了分割的难点;另一方面网络具有复杂的结构,增加了网络的复杂度。
实现思路