一种宫腔镜下子宫内膜图像处理系统及图像处理方法

1.本公开涉及智能医疗及人工智能相关技术领域，具体的说，是涉及一种宫腔镜下子宫内膜图像处理系统及图像处理方法。


背景技术：

2.本部分的陈述仅仅是提供了与本公开相关的背景技术信息，并不必然构成在先技术。
3.慢性子宫内膜炎的诊断需要获取子宫内膜标本，传统的子宫内膜刮除法或者活检法由于是盲刮，可能会有取材误差，如果取材较少，可能无法充分评估内膜炎的严重程度。宫腔镜检查具有可视化特点，宫腔镜检查作为一种微创性检查手段，可以直视宫腔，研究全景宫腔，在宫腔病理诊断上可能优于刮宫术，能更好的取材，提高慢性子宫内膜炎的诊断准确性。
4.关于宫腔镜诊断标准的研究缺乏。通过宫腔镜对病患位置的图像进行识别，主要依赖于医生的经验，判断的主观性较大，对于年轻的医生出现误判的概率较大，给患者造成损失和延误病情。


技术实现要素：

5.本公开为了解决上述问题，提出了一种宫腔镜下子宫内膜图像处理系统及图像处理方法，针对宫腔镜图像进行人工智能图像识别，得到异常区域的区域和评分，对内膜炎的诊断进行智能辅助。
6.为了实现上述目的，本公开采用如下技术方案：
7.一个或多个实施例提供了一种宫腔镜下子宫内膜图像处理系统，包括：
8.图像获取模块：被配置为用于获取待识别的宫腔镜图片；
9.特征提取模块：被配置为用于对获取的图像进行特征提取；
10.识别模块：被配置为用于将提取的特征输入至训练好的双分枝编解码网络，得到异常区域和评分；
11.所述识别模块的双分枝编解码网络包括两个分支网络，每个分支分别包括依次连接的编码器和解码器，其中一个分枝用于预测异常区域在图像中的分割区域，另一个分枝用于对异常区域的类型和评分进行预测。
12.一个或多个实施例提供了一种宫腔镜下子宫内膜图像处理系统，包括：
13.图像采集装置以及处理器；
14.其中，所述图像采集装置为宫腔镜设备；
15.所述处理器包括：
16.图像获取模块：被配置为用于获取待识别的宫腔镜图片；
17.特征提取模块：被配置为用于对获取的图像进行特征提取；
18.识别模块：被配置为用于将提取的特征输入至训练好的双分枝编解码网络，得到
异常区域和评分；
19.所述识别模块的双分枝编解码网络包括两个分支网络，每个分支分别包括依次连接的编码器和解码器，其中一个分枝用于预测异常区域在图像中的分割区域，另一个分枝用于对异常区域的类型和评分进行预测。
20.一个或多个实施例提供了一种宫腔镜下子宫内膜图像处理方法，包括如下步骤：
21.获取待识别的宫腔镜图片；
22.对获取的图像进行特征提取；
23.将提取的特征输入至训练好的双分枝编解码网络，得到异常区域和评分；
24.所述双分枝编解码网络包括两个分支网络，每个分支分别包括依次连接的编码器和解码器，其中一个分枝用于预测异常区域在图像中的分割区域，另一个分枝用于对异常区域的类型和评分进行预测。
25.与现有技术相比，本公开的有益效果为：
26.通过基于双分枝编解码网络的智能分析方法，进行一次识别操作，就能够针对同一图像特征分别进行异常区域的识别和对应异常区域的评分，能够提高识别的效率，保证数据能够一对一的对应输出，提高了识别的准确性。进行深度学习后，建立智能化内膜炎宫腔镜诊断体系，最大程度减少判断的主观性，该评分系统可应用于慢性子宫内膜炎的临床辅助诊断，为年轻医生提供一个系统的评分标准。
27.本公开的优点以及附加方面的优点将在下面的具体实施例中进行详细说明。
附图说明
28.构成本公开的一部分的说明书附图用来提供对本公开的进一步理解，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的限定。
29.图1是本公开实施例1的系统的框图；
30.图2是本公开实施例1的双分枝编解码网络的结构示意图；
31.图3是本公开实施例1的各种异常区域的图例。
具体实施方式：
32.下面结合附图与实施例对本公开作进一步说明。
33.应该指出，以下详细说明都是示例性的，旨在对本公开提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本公开所属技术领域的普通技术人员通常理解的相同含义。
34.需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本公开的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。需要说明的是，在不冲突的情况下，本公开中的各个实施例及实施例中的特征可以相互组合。下面将结合附图对实施例进行详细描述。
35.实施例1
36.在一个或多个实施方式公开的技术方案中，如图1所示，一种宫腔镜下子宫内膜图
像处理系统，包括：
37.图像获取模块：被配置为用于获取待识别的宫腔镜图片；
38.特征提取模块：被配置为用于对获取的图像进行特征提取；
39.识别模块：被配置为用于将提取的特征输入至训练好的双分枝编解码网络，得到异常区域和评分；
40.所述识别模块的双分枝编解码网络包括两个分支网络，每个分支分别包括依次连接的编码器和解码器，其中一个分枝用于预测异常区域在图像中的分割区域，另一个分枝用于对异常区域的类型和评分进行预测。
41.本实施例中，通过基于双分枝编解码网络的智能分析方法，进行一次识别操作，就能够针对同一图像特征分别进行异常区域的识别和对应异常区域的评分，能够提高识别的效率，保证数据能够一对一的对应输出，提高了识别的准确性。进行深度学习后，建立智能化内膜炎宫腔镜诊断体系，最大程度减少判断的主观性，该评分系统可应用于慢性子宫内膜炎的临床辅助诊断，为年轻医生提供一个系统的评分标准。
42.可选的，特征提取模块，具体的对获取的图像的异常区域进行特征提取；所述异常区域即为存在异常变化的区域，包括但是不限于弥漫性充血区域、局灶性充血区域、散在点状充血区域、子宫内膜血管增粗区域、子宫内膜微小息肉区域以及子宫内膜息肉区域。
43.具体的，各种异常区域的图像如图3所示，弥漫性子宫内膜充血a，可以为：大面积充血，有时发红，类似草莓斑，所占面积子宫腔的1/2以上。
44.局灶性子宫内膜充血b，可以为：有设定面积范围的充血子宫内膜。充血的区域直径≥2cm。
45.扩张的子宫内膜血管c，可以表现为浅表和上皮下血管扩张明显显露。
46.出血性斑点d，可以为有多个出血点，满足设定的大小。如子宫腔内有5个出血点，出血点大小不小于1mm并且不大于5mm；或者，出血点单片直径介于5mm和2cm之间。
47.病灶或弥漫性微息肉e，可以表现为直径小于1mm，是子宫内新生物，具有明显的结缔组织血管轴。
48.子宫内膜息肉样增生f，可以为：内膜增生虽处于增殖期，但厚度不均匀，无明显肿瘤蒂，但多见于宫腔充满息肉样病变，表现为突起和柔软。
49.子宫内膜息肉g，可以为：呈细长圆锥形或指状外观，明显团块。宫腔黏液伴宫内可见粘液见图中标注h的图像。
50.可选的，图像特征提取的方法可以通过卷积神经网络(cnn网络)进行提取。
51.可选的，双分枝编解码网络结构，可以如图2所示包括骨干网络，连接在骨干网络输出端的类型预测分支网路以及区域预测分支网络；其中，类型预测网络包括依次连接的编码器、解码器和分类器，分类器输出预测类型后得到相应的分数；区域预测网络包括依次连接的编码器、解码器以及回归器。
52.骨干网络可以采用resnet50 backbone：对输出图像提取特征，取resnet50的conv4输出的特征图(features map)作为后续分支的输入。
53.类型预测分支网路scores predict branch：对输入的feature map进行编码和解码处理，将处理后的特征图展平成一维向量，作为分类器的输入，分类器将会输出模型预测当前输入图像存在的病灶类型，随后根据存在的病灶类型进行相应的分数计算，得到最后
的评分。
54.区域预测分支网络regions predict branch：对输入的feature map进行编码和解码处理，将处理后的特征图展平成一维向量，作为回归器的输入，回归器将会输出模型预测当前输入图像存在的病灶区域(dx,dy,dw,dh)，其中dx表示为区域左上角点的x坐标，y表示区域左上角点的y坐标，dw表示区域的宽，dh表示区域的高。
55.获得预测类型后评分，具体分数设定如下：弥漫性充血类型赋值为4分、局灶性充血类型赋值为2分、散在点状充血类型赋值为2分、子宫内膜血管增粗类型赋值为2分、子宫内膜微小息肉类型赋值为1分，子宫内膜息肉类型赋值为1分。
56.进一步地，还包括双分枝编解码网络的训练模块，被配置为执行以下过程：
57.步骤1、构建图片数据集，针对每张图像中的异常区域，标注出异常区域、异常区域类型和评分。
58.具体的，可以获取2000张内膜炎图片和2000张对照图片，每个图片通过人工标注异常区域、类型和人工评分结果。
59.步骤2、对数据集进行数据扩充增强操作，提高数据集的数据量；
60.具体的，可以采用随机翻转、旋转、裁剪等操作，合成更多的训练数据。
61.步骤3、将扩充后的数据分为训练集和测试集；
62.步骤4、将训练集的数据进行特征提取后，输入至双分枝编解码网络进行训练，计算损失函数，直到达到损失函数小于设定值以及达到设定的训练次数，得到双分枝编解码网络的参数；
63.步骤5、将测试集的数据进行特征提取后，输入至双分枝编解码网络进行测试，评估双分枝编解码网络的准确率，当满足测试要求，得到训练后的双分枝编解码网络；否则，继续训练直到满足测试要求。
64.其中，训练过程中损失函数包括区域损失与评分损失，损失函数具体的如下：
65.总损失函数为：
66.l(p，g，tu，v)＝l
classifier
+λl
regressor
67.其中：l
classifier
是分类损失；
68.l
regressor
是边界回归损失；
69.λ是平衡分类损失和边界回归损失的超参数；
70.分类损失为：
71.l
classfier
(p，g)＝-logpu72.其中：p是分类器预测的softmax概率分布p＝(p0,
…
,p7)，对应于8种异常类型。g是对应目标真实类别标签。
73.边界回归损失为：
[0074][0075]
[0076]
其中，tu对应边框回归器预测的对应类别g的回归参数(t
x
,ty,tw,th)，其中t
x
,ty,tw,th分别指预测区域框左上角的横坐标x、预测区域框左上角的纵坐标y、预测区域框的宽w、预测区域框的高h；v对应真实目标的边界框(v
x
,vy,vw,vh)，v
x
,vy,vw,vh分别指真实区域框左上角的横坐标x、真实区域框左上角的纵坐标y、真实区域框的宽w、预测区域框的高h。
[0077]
进一步地，还包括双分枝编解码网络优化的过程，具体的，如下：
[0078]
步骤6：获取未标注的宫腔镜图片，作为新数据集。
[0079]
步骤7：将新数据集的图像提取特征后，输入至训练好的双分枝编解码网络，进行识别，对识别结果进行人工筛选，得到识别错误的图像样本。
[0080]
步骤8：对错误的图像样本进行重新标记，标注的信息包括标注出异常区域、异常区域类型。得到修正标记后的优化数据集。
[0081]
步骤9：将优化数据集的图像进行特征提取后，输入至在原来数据集上训练好的双分枝编解码网络，基于优化后的新数据集对原有模型进行重新训练，计算损失函数，直到达到损失函数小于设定值以及达到设定的训练次数，得到优化训练后的双分枝编解码网络的参数，即为得到优化训练后的双分枝编解码网络。作为训练好的模型进行实际测试应用。
[0082]
本实施例中，通过标注错误数据进行识别并进行重训练，对诊断结果进行再验证，不断修正，基于更多的数据重新训练网络，进一步提高评分准确率。能够提高本实施例双分枝编解码网络的适用性，能够提高双分枝编解码网络的识别准确率。
[0083]
实施例2
[0084]
基于实施例1，本实施例提供一种宫腔镜下子宫内膜图像处理系统，包括：
[0085]
图像采集装置以及处理器；
[0086]
其中，所述图像采集装置为宫腔镜设备；
[0087]
所述处理器包括：
[0088]
图像获取模块：被配置为用于获取待识别的宫腔镜图片；
[0089]
特征提取模块：被配置为用于对获取的图像进行特征提取；
[0090]
识别模块：被配置为用于将提取的特征输入至训练好的双分枝编解码网络，得到异常区域和评分；
[0091]
所述识别模块的双分枝编解码网络包括两个分支网络，每个分支分别包括依次连接的编码器和解码器，其中一个分枝用于预测异常区域在图像中的分割区域，另一个分枝用于对异常区域的类型和评分进行预测。
[0092]
此处需要说明的是，本实施例中的各个模块与实施例1中的各个模块及模块的执行步骤一一对应，其具体实施过程相同，此处不再累述。
[0093]
实施例3
[0094]
基于实施例1，本实施例提供一种宫腔镜下子宫内膜图像处理方法，包括：
[0095]
步骤1、获取待识别的宫腔镜图片；
[0096]
步骤2、对获取的图像进行特征提取；
[0097]
步骤3、将提取的特征输入至训练好的双分枝编解码网络，得到异常区域和评分；
[0098]
所述双分枝编解码网络包括两个分支网络，每个分支分别包括依次连接的编码器和解码器，其中一个分枝用于预测异常区域在图像中的分割区域，另一个分枝用于对异常区域的类型和评分进行预测。
[0099]
本实施例中，通过基于双分枝编解码网络的智能分析方法，进行一次识别操作，就能够针对同一图像特征分别进行异常区域的识别和对应异常区域的评分，能够提高识别的效率，保证数据能够一对一的对应输出，提高了识别的准确性。
[0100]
对获取的图像的异常区域进行特征提取；所述异常区域即为存在异常变化的区域，包括但是不限于弥漫性充血区域、局灶性充血区域、散在点状充血区域、子宫内膜血管增粗区域、子宫内膜微小息肉区域以及子宫内膜息肉区域。
[0101]
可选的，双分枝编解码网络结构，可以如图2所示。
[0102]
进一步地，还包括双分枝编解码网络的训练的过程，步骤如下：
[0103]
步骤s1、构建图片数据集，针对每张图像中的异常区域，标注出异常区域、异常区域类型和评分。
[0104]
具体的，可以获取2000张内膜炎图片和2000张对照图片，每个图片通过人工标注异常区域、类型和人工评分结果。
[0105]
步骤s2、对数据集进行数据扩充增强操作，提高数据集的数据量；
[0106]
具体的，可以采用随机翻转、旋转、裁剪等操作，合成更多的训练数据。
[0107]
步骤s3、将扩充后的数据分为训练集和测试集；
[0108]
步骤s4、将训练集的数据进行特征提取后，输入至双分枝编解码网络进行训练，计算损失函数，直到达到损失函数小于设定值以及达到设定的训练次数，得到双分枝编解码网络的参数；
[0109]
步骤s5、将测试集的数据进行特征提取后，输入至双分枝编解码网络进行测试，评估双分枝编解码网络的准确率，当满足测试要求，得到训练后的双分枝编解码网络；否则，继续训练直到满足测试要求。
[0110]
其中，训练过程中损失函数包括区域损失与评分损失，损失函数实施例1。
[0111]
进一步地，还包括双分枝编解码网络优化的过程，具体的，如下：
[0112]
步骤6：获取未标注的宫腔镜图片，作为新数据集。
[0113]
步骤7：将新数据集的图像提取特征后，输入至训练好的双分枝编解码网络，进行识别，对识别结果进行人工筛选，得到识别错误的图像样本。
[0114]
步骤8：对错误的图像样本进行重新标记，标注的信息包括标注出异常区域、异常区域类型。得到修正标记后的优化数据集。
[0115]
步骤9：将优化数据集的图像进行特征提取后，输入至在原来数据集上训练好的双分枝编解码网络，基于优化后的新数据集对原有模型进行重新训练，计算损失函数，直到达到损失函数小于设定值以及达到设定的训练次数，得到优化训练后的双分枝编解码网络的参数，即为得到优化训练后的双分枝编解码网络。
[0116]
本实施例中，通过标注错误数据进行识别并进行重训练，对诊断结果进行再验证，不断修正，基于更多的数据重新训练网络，进一步提高评分准确率。能够提高本实施例双分枝编解码网络的适用性，能够提高双分枝编解码网络的识别准确率。
[0117]
以上所述仅为本公开的优选实施例而已，并不用于限制本公开，对于本领域的技术人员来说，本公开可以有各种更改和变化。凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。
[0118]
上述虽然结合附图对本公开的具体实施方式进行了描述，但并非对本公开保护范
围的限制，所属领域技术人员应该明白，在本公开的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本公开的保护范围以内。