基于FasterRCNN的甲状腺乳头状癌超声图像识别方法及系统与流程

本发明涉及图像识别领域，特别涉及一种基于fasterrcnn的甲状腺乳头状癌超声图像识别方法及系统。
背景技术：
：图像识别问题是一类研究热点问题。随着数字图像技术的发展和实际应用的需要，出现了新的难点就是不要求其结果输出是一幅完整的图像，而是将经过处理后的图像，再经过分割和描述提取有效的特征，进而加以判决分类，这就是近20年来发展起来的一门新兴技术科学——图像识别。它以研究某些对象或过程的分类与描述为主要内容，以研制能够自动处理某些信息的机器视觉系统，代替传统的人工完成分类和辨识的任务为目的。而在医学超声图像上的应用相对较少。医学超声图像的自动分类问题本质上是图像的相似性对比问题，或者称之为模式识别问题。在cnn(卷积神经网络，convolutionalneuralnetwork)出现之前，图像的模式识别的主要方法包括sift(尺度不变特征变换，scale-invariantfeaturetransform)、bow(bow即bagofwords,是信息检索领域常用的文档表示方法)、svm(支持向量机,supportvectormachine)、k等算法。在组织病理学方面，针对医学超声成像系统受其周围环境和成像机制的影响，超声医学图像在生成和传输的过程中，会受到各种噪声源的干扰，使得采集到的医学超声图像的图像质量较差。针对癌症超声图像病理细胞识别难的特点，传统的图像识别方法识别的准确率低，训练时间长，且需要的网络参数多。目前，cnn的形式已被证明是深度学习结构中较好的结构。同样，cnn也是较适合图像特征提取的一种方法。但为了获得更准确的模型，cnn往往需要训练大量的图片。比如著名的imagenet就是由1500万张照片训练而成。在医学领域，获得如此多的图片是近乎不可能的。而且组织病理图像的特征比自然界的图片特征复杂的多，这些图像往往只有一个通道；病理特征往往与周围的组织特征非常相似或者不明显，有时候连专业的主治医师都很难区分。这导致目前cnn在医学图像中的应用并不普遍。另外，针对图像的模式识别的sift、bow、svm等算法，以及针对不完整的腺体特征，ytoki，ttanaka使用sift方法提取图像的特征来识别前列腺癌。还有针对乳腺癌组织的活检标本的颜色纹理特征，niwas,s.i.,palanisamy使用最小二乘支持向量机分类算法进行乳腺癌的诊断。以上这些算法依赖有限的人工标注的资源，只能针对有限的特征进行模式匹配。一旦特征出现变化(比如扭曲、翻转、光照变化、受到破坏等情况)，这些算法的效果就会变差，它的适用性不强。当前，cnn应用越来越广泛。例如，angelcruz-roaa,ajaybasavanhally使用cnn技术对浸润性乳腺癌的病理学图像进行自动分割，并最终生成癌特征分布图。michielkallenberg,kerstenpetersen使用有监督学习和无监督学习结合的方式实现了乳腺密度分割和乳腺风险的评估。然而，采用cnn技术对病理学图像进行分析评估的识别精度并不高，因此如何提高cnn技术对病理学图像进行分析评估的识别精度是本领域技术人员亟待解决的问题。技术实现要素：有鉴于此，本发明的目的在于提供一种基于fasterrcnn(超快速神经网络，fasterregion-basedconvolutionalneuralnetwork)的甲状腺乳头状癌的超声图像自动识别方法及系统，能够提高病理学图像的识别精度。其具体方案如下：一方面，本发明提供一种基于fasterrcnn的甲状腺乳头状癌超声图像识别方法，包括：获取包括超声图像以及相应诊断结果的训练样本；其中，超声图像为对患者的甲状腺乳头状癌患病区域进行超声成像后得到的图像；利用所述训练样本对基于zf网络(zfnet)的待训练fasterrcnn网络进行训练，得到相应的训练后模型；其中，所述待训练fasterrcnn网络为在对共享卷积层中的第四层和第五层进行连接后得到的fasterrcnn网络；当获取到待检测超声图像，则向所述训练后模型中输入所述待检测超声图像，得到所述训练后模型输出的检测结果。优选地，所述利用所述训练样本对基于zf网络的待训练fasterrcnn网络进行训练的过程中，还包括：在对所述第四层和所述第五层进行连接之前，对所述第四层和所述第五层对应的roi池特征向量进行归一化处理。优选地，所述利用所述训练样本对基于zf网络的待训练fasterrcnn网络进行训练的过程中，还包括：利用随机梯度下降法对当前正在训练的fasterrcnn网络的网络参数进行优化调整；其中，所述随机梯度下降法对应的学习率为0.001。优选地，所述利用所述训练样本对基于zf网络的待训练fasterrcnn网络进行训练的过程之前，还包括：从超声图像中将与甲状腺乳头状癌患病区域无关的目标图像区域进行剔除处理；其中，所述目标图像区域包括空白区域和/或文字区域和/或甲状腺组织区域。优选地，所述待训练fasterrcnn网络的网络框架为python版本的fasterrcnn网络框架。优选地，上述任一种方法中，所述获取包括超声图像以及相应诊断结果的训练样本的过程，包括：获取n种图像尺寸的超声图像以及相应诊断结果的训练样本；其中，n为大于1的整数。另一方面，本发明还提供一种基于fasterrcnn的甲状腺乳头状癌超声图像识别系统，包括：样本获取模块，用于获取包括超声图像以及相应诊断结果的训练样本；其中，所述超声图像为对患者的甲状腺乳头状癌患病区域进行超声成像后得到的图像；网络训练模块，用于利用所述训练样本对基于zf网络的待训练fasterrcnn网络进行训练，得到相应的训练后模型；其中，所述待训练fasterrcnn网络为在对共享卷积层中的第四层和第五层进行连接后得到的fasterrcnn网络；图像检测模块，用于当获取到待检测超声图像，则向所述训练后模型中输入所述待检测超声图像，得到所述训练后模型输出的检测结果。优选地，还包括：归一化模块，用于在对所述第四层和所述第五层进行连接之前，对所述第四层和所述第五层对应的roi(感兴趣区域，regionofinterest)池特征向量进行归一化处理。优选地，还包括：剔除模块，用于从所述超声图像中将与甲状腺乳头状癌患病区域无关的目标图像区域进行剔除处理；其中，所述目标图像区域包括空白区域和/或文字区域和/或甲状腺组织区域。优选地，上述任一种系统中，所述样本获取模块，包括：多尺寸样本获取子模块，用于获取n种图像尺寸的超声图像以及相应诊断结果的训练样本；其中，n为大于1的整数与现有技术相比，上述技术方案具有以下优点：本发明所提供的一种基于fasterrcnn的甲状腺乳头状癌的超声图像自动识别方法，该方法获取包括超声图像以及相应诊断结果的训练样本；其中，超声图像为对患者的甲状腺乳头状癌患病区域进行超声成像后得到的图像；利用所述训练样本对基于zf网络的待训练fasterrcnn网络进行训练，得到相应的训练后模型；其中，所述待训练fasterrcnn网络为在对共享卷积层中的第四层和第五层进行连接后得到的fasterrcnn网络；当获取到待检测超声图像，则向所述训练后模型中输入所述待检测超声图像，得到所述训练后模型输出的检测结果。可见，本发明中采用fasterrcnn网络进行模型的训练，并且，本发明所使用的fasterrcnn网络是对共享卷积层的第四层和第五层进行连接后得到的，这样可以达到将第四层和第五层输出的特征汇聚成一路特征流的效果，相对于现有技术中没有对共享卷积层的第四层和第五层进行连接的情形，能够有效的提高图像识别的精度。本发明还提供了一种基于fasterrcnn的甲状腺乳头状癌超声图像识别系统，能够运行上述的方法，也能够提高图像识别的精度，从而提高工作效率。附图说明为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。图1为本发明第一种具体实施例所提供的基于fasterrcnn的甲状腺乳头状癌超声图像识别方法的流程图。图2为本发明第二种具体实施例所提供的基于fasterrcnn的甲状腺乳头状癌超声图像识别方法的流程图。图3为本发明具体实施例所提供的基于fasterrcnn的甲状腺乳头状癌超声图像识别方法的效果图。图4为本发明具体实施例所提供的一种基于fasterrcnn的甲状腺乳头状癌超声图像识别系统的组成示意图。具体实施方式本发明的核心是提供一种基于fasterrcnn的甲状腺乳头状癌超声图像识别方法，其中，fasterrcnn网络是对共享卷积层的第四层和第五层进行连接后得到的，这样可以达到将第四层和第五层输出的特征汇聚成一路特征流的效果，相对于现有技术中没有对共享卷积层的第四层和第五层进行连接的情形，能够有效的提高图像识别的精度。下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。如图1所示，图1为本发明第一种具体实施例所提供的基于fasterrcnn的甲状腺乳头状癌超声图像识别方法的流程图，所述方法包括：步骤s101：获取包括超声图像以及相应诊断结果的训练样本；其中，超声图像为对患者的甲状腺乳头状癌患病区域进行超声成像后得到的图像。在本发明的第一种具体实施方式中，本发明实施例所提供的基于fasterrcnn的甲状腺乳头状癌超声图像识别方法，首先要获取训练样本，而本方法主要是用在甲状腺乳头状癌超声图像识别方面，所以获取的训练样本要包括对患者的甲状腺乳头状癌患病区域进行超声成像后得到的图像和对应于这些图像的诊断结果。值得指出的是，所述包括超声图像以及相应诊断结果的训练样本，可以是已经训练好的，也可以自行收集对患者的甲状腺乳头状癌患病区域进行超声成像后得到的图像和对应于这些图像的诊断结果，进行标注，只要训练样本中包含了需要进行训练的训练对象就可以。当自行收集样本，进行标注时为了得到训练样本，可以使用专业人员，例如经验丰富的主任医师来指导对获取的对患者的甲状腺乳头状癌患病区域进行超声成像后得到的图像进行标注。为了确保标注的准确性，降低个人的主观误差，可以采取通过另外的专业人员对标注后的图像进行审核的方式，来得到更准确的标注结果的图像。进一步地，为了保证能够方便地看到标注的内容，标注时，可以采用最短边大于3mm的矩形框来进行标注，而且矩形框要完全的包围图像中的症状特征区域。更进一步地，为了清楚的得到各种不同症状的标注，可以采用不同的字母来表示不同的症状。例如，在标注时，每个癌症区域都要标注为“c”表示癌症类别。如果边界不清晰，这个区域继续标记为“b”，如果形状不规则，则继续标记为“x”，如果回声不均匀，继续标记为“h”，如果出现钙化区域或者光斑，继续标记为“q”。这样有利于在最终检测时的判断，最后在进行图像的检测时，只要某个区域输出{cbxhq}中的一个或者多个标签，便判定这个区域为癌症特征区域。步骤s102：利用所述训练样本对基于zf网络的待训练fasterrcnn网络进行训练，得到相应的训练后模型；其中，所述待训练fasterrcnn网络为在对共享卷积层中的第四层和第五层进行连接后得到的fasterrcnn网络。现有的神经网络的代码是开源的，这就有利于做出各种尝试。例如对fasterrcnn网络进行一些改造。可以通过修改代码的方式，来对神经网络的共享卷积层进行改造，当采用的是zf网络时，共享卷积层有五层，这时第五层的输出作为下一步的输入。为了将第四层的输入也部分地做第五层之后的输入，可以采用将第四层的输出结果和第五层的输出结果进行连接，也就是采用比例因子，将第四层的输出结果和第五层的输出结果结合在一起作为原本第五层之后的步骤的输入。这样，通过连接其共享卷积层的第四层和第五层并进行归一化处理后得到的，这样结合深层和浅层的学习来进行特征提取，能够有效的提高图像识别的精度。步骤s103：当获取到待检测超声图像，则向所述训练后模型中输入所述待检测超声图像，得到所述训练后模型输出的检测结果。经过改造的fasterrcnn网络，接受步骤s101中所述样本的训练后，就成为了一个可以检测图像的训练后模型，这时可以将待检测的图像输入到所述训练后的模型当中，所述训练后模型即可输出检测结果。这一步与没有经过改造的fasterrcnn网络，是一样进行操作的，可以参考现有技术，这里不再赘述。如上所述是本发明所提供的一种基于fasterrcnn的甲状腺乳头状癌的超声图像自动识别方法的第一种具体实施方式，该实施方式为：获取包括超声图像以及相应诊断结果的训练样本；其中，超声图像为对患者的甲状腺乳头状癌患病区域进行超声成像后得到的图像；利用所述训练样本对基于zf网络的待训练fasterrcnn网络进行训练，得到相应的训练后模型；其中，所述待训练fasterrcnn网络为在对共享卷积层中的第四层和第五层进行连接后得到的fasterrcnn网络；当获取到待检测超声图像，则向所述训练后模型中输入所述待检测超声图像，得到所述训练后模型输出的检测结果。在上述第一种具体实施方式中，采用fasterrcnn网络进行模型的训练，并且，本发明实施例所使用的fasterrcnn网络是对共享卷积层的第四层和第五层进行连接后得到的，这样可以达到将第四层和第五层输出的特征汇聚成一路特征流的效果，相对于现有技术中没有对共享卷积层的第四层和第五层进行连接的情形，能够有效的提高图像识别的精度如图2所示，图2为本发明第二种具体实施例所提供的基于fasterrcnn的甲状腺乳头状癌超声图像识别方法的流程图，所述方法包括：步骤s201：获取n种图像尺寸的超声图像以及相应诊断结果的训练样本；其中，n为大于1的整数超声图像为对患者的甲状腺乳头状癌患病区域进行超声成像后得到的图像。经研究发现：超声图像中癌症特征尺寸差异非常大，通过多尺寸的图片输入，这里的多尺寸具体指的是图片上特征区域的一个以上的尺寸，这样经过包括了多种图像尺寸的超声图像以及相应诊断结果的训练样本的训练，fasterrcnn网络就能够学习到不同尺寸范围内的特征，增加了鲁棒性并减小了下采样对特征表示的影响，提高了对图片原始特征的提取效率。进一步地，为了更有效的利用好这些图片进行癌症病理图像的标注，可以对图片进行预处理，这是因为常规的图片中含有大量的非识别对象的组织和结构。首先可以通过剪裁的方法去掉图像周围的空白和logo(标识)等文字信息；其次可以采用photoshop或其他的图像软件方式将图像中的甲状腺组织的背景去除，制作出只包含识别对象的图像。更进一步地，为了使得经过标注的对患者的甲状腺乳头状癌患病区域进行超声成像后得到的图像符合fasterrcnn训练要求的xml格式文件，可以使用voc2007数据集。例如，在一种具体实施例中，fasterrcnn网络使用zf网络，并采用voc2007数据库进行预训练，首先画目标包围框，利用的是已经封装好的opencv动态库，生成xml格式的文件。将xml文件保存到annotations里，训练的样本图片保存到jpegimages里，再将voc2007数据库相对应的文件夹进行覆盖。这样就使得训练样本符合fasterrcnn训练要求的xml格式。这样就获取了包括超声图像以及相应诊断结果的训练样本；其中，超声图像为对患者的甲状腺乳头状癌患病区域进行超声成像后得到的图像。步骤s202：用所述训练样本对基于zf网络的待训练fasterrcnn网络进行训练，得到相应的训练后模型；其中，所述待训练fasterrcnn网络为在对共享卷积层中的第四层和第五层进行归一化，并连接后得到的fasterrcnn网络。如第一种实施例中，所述对共享卷积层的第四层和第五层进行连接，然而，在连接共享卷积层的第四、五层时，为了能够拓展定义对象在多个卷积层上的深度特征，需要将两个特征向量结合起来进行roi池化，以降低其维度。实际上，每一层特征的大小，数量以及像素的值是不同的，在深层通常有较小的值。因此，连接zf网络中的不同深度的卷积层可能会导致性能不佳，因为不同深度的卷积层的规模的差异对于下面的权重来说影响太大。对此，这个问题的一个可以实现的解决方案是在连接之前将第四层和第五层对应的roi池特征向量做归一化处理。这样，在本发明的第二种实施例中，fasterrcnn网络能够学习到每个层的比例因子的值。在应用l2范数(l2范数：向量各个元素的平方和然后求平方根)归一化每一个向量，归一化是在集合特征向量每个像素内完成的。归一化后，在每个向量上分别应用缩放，如下：x代表的是原始像素向量，表示的是标准化的像素向量。d表示每个roi池特征向量中的通道数。然后比例因子γi应用到每个通道的roi池特征向量：在训练期间，比例因子γi在不断地更新以及输入的x用反向传播和链式法则计算：其中y＝[y1,y2,...,yd]t，为采用比例因子，将第四层的输出结果和第五层的输出结果结合在一起作为原本第五层之后的步骤的输入。进一步地，为了使用gpu(图形处理器，graphicsprocessingunit)加速的功能，可以采用深度学习python(python,是一种面向对象的解释型计算机程序设计语言)版本的fasterrcnn网络框架，在一种实施例中，采用的硬件环境为：ubutun14.0464位；cpu：xeon(r)cpue5-1630v3@3.70ghz×4；内存：64g；gpu:graphics：quadrok2200，通过这样的配置来运行fasterrcnn网络，能够比较快的得到训练和检测结果。而且采用了python版本的fasterrcnn网络框架，可以充分利用gpu：graphics：quadrok2200的性能，提高效率。更进一步地，在应用获取的训练样本对fasterrcnn网络进行训练时，为了使fasterrcnn网络更加适应于癌症图像的检测，也可以使用随机梯度下降法训练fasterrcnn的网络参数。训练开始时，可以把随机梯度下降的学习率设置为0.001，当然也可以设置为其他的合适的数值，这样是为了微调能够顺利进行而不扰乱初始的参数。步骤s203：当获取到待检测超声图像，则向所述训练后模型中输入所述待检测超声图像，得到所述训练后模型输出的检测结果。在训练完成fasterrcnn网络之后，可以开始目标检测。在开始目标检测之前，可以使用大型数据集预先训练fasterrcnn网络，这是由于在训练样本中的图像较少，例如在一种具体实施例中，训练癌症图像中共标记有3347个癌症特征，用于测试的癌症图像共标记有805个癌症特征。这个数量相对于
背景技术：
中提到的imagenet训练使用的1500万张照片而言，实在太小。为了弥补样本太小可能造成的影响，采用预先训练fasterrcnn网络的方法，这个训练仅仅是图像级别的标注，即只是对整个图像进行标注，而没有对图像上的具体特征做出bounding-box(边界框)的信息标注。当然，也可以不采用大型数据集预先训练fasterrcnn网络，直接按照现有技术的流程开始检查图像，本实施例中不再赘述。为了使检测结果更具有说服力，本发明的一种具体实施例中采用对照试验的方法，来说明本发明所提供的方案具有更高的图像识别能力。可以建立四个训练组，分别为训练1、训练2、训练3、训练4，各自采用的参数如下：训练1:使用原始的fasterrcnn网络，设定迭代次数为40000，20000，40000，20000；学习率设为0.001。训练2:使用原始的fasterrcnn网络，但对用于训练的样本图像采用多尺寸输入，设定迭代次数为40000，20000，40000，20000；学习率设为0.001。训练3:将fasterrcnn网络的共享卷积层的第四层和第五层连接起来，进行归一化处理后，用于训练。设定迭代次数为40000，20000，40000，20000；学习率设为0.001。训练4:将fasterrcnn网络的共享卷积层第四层和第五层连接且采用多尺寸输入进行训练。设定迭代次数为40000，20000，40000，20000；学习率设为0.001。各模型训练的map(主集合的平均准确率，meanaverageprecision)如表1：表1训练1训练2训练3训练4map0.6180.6520.6960.738检测结果及分析：将用于甲状腺乳头状癌的超声图片样本输入到所述的已经训练好的甲状腺乳头状癌超声图像识别模型中进行检测，各个训练完成后对应的模型测试的结果如下表2：表2tptprfnfnrgroundtruth805模型16040.7502010.250模型26780.8421270.158模型36180.7681870.232模型47150.888900.112表2中：tp：表示正确肯定的数目；在本文中表示的是被正确识别出来的甲状腺乳头状癌的数目，即真阳性；tpr：表示的是真阳性的识别率；fn：表示漏报，没有正确找到匹配的数目；在本文中表示的是没有被识别出来的甲状腺乳头状癌的数目，即假阴性；fnp:表示的是假阴性的识别率；由表2可以看出，模型4的检测效果是四个模型中效果最好的，达到了88.8％，其模型使用了多尺寸的输入以及zf网络卷积层第四层、第五层连接的方法，其对甲状腺乳头状癌超声图像的识别达到了不错的效果。其中，模型1是没有进行改进过的fasterrcnn，其tpr达到了75％，当使用了多尺寸的输入后，即模型2，tpr达到了84.2％，提高了9.2个百分点。由此可看出，在样本输入时进行多尺寸的输入能够有效的提取癌症特征，使得识别精度提高了不少。另外，当使用层连接的方法时，即模型3，tpr到达了76.8％，相对于原始的模型提高了近2个百分点，由此可见，连接共享卷积层的第四层和第五层对癌症特征的提取是有效果。由于采用一个以上尺寸的甲状腺乳头状癌的超声标注图像来训练fasterrcnn系统、采用对共享卷积层中的第四层和第五层进行连接后得到的fasterrcnn网络的方法都对癌症特征的提取有提高的作用，可以把这两种方法结合起来用于来提取癌症特征，由此就得到了模型4，其tpr达到了88.8％，相比于模型1提高了近14个百分点，可见此方法的应用是非常有效的。如图3所示，图3为采用模型4检测后的效果图。如图4所示，图4为本发明具体实施例提供的一种基于fasterrcnn的甲状腺乳头状癌超声图像识别系统的组成示意图。本发明还提供一种基于fasterrcnn的甲状腺乳头状癌超声图像识别系统，包括：样本获取模块401，用于获取包括超声图像以及相应诊断结果的训练样本；其中，所述超声图像为对患者的甲状腺乳头状癌患病区域进行超声成像后得到的图像；网络训练模块402，用于利用所述训练样本对基于zf网络的待训练fasterrcnn网络进行训练，得到相应的训练后模型；其中，所述待训练fasterrcnn网络为在对共享卷积层中的第四层和第五层进行连接后得到的fasterrcnn网络；图像检测模块403，用于当获取到待检测超声图像，则向所述训练后模型中输入所述待检测超声图像，得到所述训练后模型输出的检测结果。该系统可以包括：归一化模块，用于在对所述第四层和所述第五层进行连接之前，对所述第四层和所述第五层对应的roi池特征向量进行归一化处理。该系统还可以包括：剔除模块，用于从所述超声图像中将与甲状腺乳头状癌患病区域无关的目标图像区域进行剔除处理；其中，所述目标图像区域包括空白区域和/或文字区域和/或甲状腺组织区域。其中，所述样本获取模块，可以包括：多尺寸样本获取子模块，用于获取n种图像尺寸的超声图像以及相应诊断结果的训练样本；其中，n为大于1的整数最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。以上对本发明所提供的一种基于fasterrcnn的甲状腺乳头状癌超声图像识别方法及系统进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。当前第1页12