子宫内膜腺体密度预估方法与流程

1.本发明涉及人工智能领域，尤其涉及子宫内膜腺体密度预估方法。


背景技术：

2.宫腔粘连(iua)，又称asherman综合征，由于各种物理或化学因素造成的宫腔损伤、感染等原因，引起子宫内膜损伤，子宫壁间互相粘连，从而导致宫腔和(或)宫颈管部分或全部闭塞。根据粘连位置的不同，主要临床表现为月经量减少、闭经、周期性下腹痛、妊娠异常等，是引起流产及不孕的主要原因之一。在我国，导致宫腔粘连最常见的原因是人工流产，再加上宫腔镜技术逐渐普及，各种宫腔操作增多，iua的发病率越来越高，并由于其复发率高，治疗疗效欠佳，严重影响育龄妇女的生育能力，也严重影响了患者家庭以及社会的稳定。病程的长短及疾病严重程度影响治疗的预后,早发现、早诊断、早治疗可以在一定程度上改善iua患者的妊娠预后。而对宫腔粘连严重程度的判断影响了临床治疗决策。因此,及早精确、无创的诊断宫腔粘连并进行严重程度分级对于患者具有重要临床意义。对于有生育要求的iua患者来说，其寻求治疗的目的主要在于获得子代。宫腔粘连患者术后的妊娠情况与iua严重程度密切相关，因此对宫腔粘连患者进行分级对预测其预后及妊娠结局是非常有必要的。
3.目前对于宫腔粘连的诊断已达成共识，金标准是宫腔镜检查。iua患者术后预后评估标准有美国生育协会评分标准、欧洲妇科内镜协会分级标准以及中国iua评分标准等，但尚无一标准得到国际范围的认可，由于方法及技术的局限未将子宫内膜这一最直接影响预后的指标纳入这些评分标准。子宫内膜是受精卵着床与胚胎发育的决定性因素。子宫内膜腺体会分泌多种对胚胎存活、生长、发展至关重要的蛋白质，如粘蛋白muc
‑
1和糖蛋白
‑
a，这也证实了子宫内膜腺体对妊娠的重要性。随着人工智能时代的到来，计算机辅助医学影像分析已在疾病的早期诊断中发挥了越来越重要的作用。新一代以深度学习为核心的人工智能技术能够自动提取高维特征，从而获得更高的分类准确率。因此设计一种高准确率的子宫内膜腺体密度预估方法，能为临床医疗决策提供重要辅助作用，为提升iua无创诊断率及预后妊娠率提供新的思路和理论指导。


技术实现要素：

4.本发明的目的在于提供子宫内膜腺体密度预估方法，解决现有子宫内膜腺体密度只能通过肉眼观察识别，效率不高的技术问题。
5.子宫内膜腺体密度预估方法，所述方法包括如下步骤，
6.步骤1：将标注的宫腔镜图片输入到训练检测网络进行训练，获取腺体图像特征；
7.步骤2：医生将医疗仪器探头放入子宫内获取子宫内膜视频数据，根据医疗仪器探头移动速度截取宫腔镜图片；
8.步骤3：将获取的宫腔镜图片进行标准化处理，标准化处理包括将宫腔镜图片统一清晰度处理以及去躁的正则化，并将处理的图像平面化贴图处理；
9.步骤4：使用训练网络和匹配网络对宫腔镜图片进行识别获取腺体；
10.步骤5：将识别后的宫腔镜图片去重叠后进行组合，得到子宫内膜整体图像；
11.步骤6：根据子宫内膜整体图像的大小和子宫内膜整体图像内的腺体个数得到子宫内膜腺体密度。
12.进一步地，步骤2的具体过程为：宫腔镜图片为正方形图，边长为l，d＞l时获取下一个宫腔镜图片，其中δt＝t2‑
t1，d＝δt*v，v为医疗仪器探头移动在子宫内膜的线速度，δt为从上一次获取宫腔镜图片到下一次获取宫腔镜图片的时间，t1为上一次获取宫腔镜图片对应帧的时间，t2为下一次获取宫腔镜图片对应帧的时间。
13.进一步地，步骤3的具体过程为：宫腔镜图片统一清晰度处理使用图像增强算法，图像增强算法的结构中包含一个增强器和一个判别器，增强器的输入是低精度图像，输出是高精度图像，判别器输入是真实的高精度图像或图像增强器处理后的图像，将多中心中低精度图像调整到高的精度图像，消除不同图像精度的差异，去躁的正则化的具体过程为使用机器噪声屏蔽算法，机器噪声屏蔽算法的结构包括一个判别器和一个复合生成器，先将多中心分成参考中心和普通中心两种类型，判别器用于判别输入图像是参考中心图像还是普通中心的合成图像，复合生成器通过掩码生成器为普通中心数据添加噪声掩码，然后生成平面坐标轴面，将处理后的图像贴在坐标轴面上，则可以得到前后两个图像的具体为：d
i
是从上一次获取宫腔镜图片到下一次获取宫腔镜图片的距离，上一次获取宫腔镜图片坐标和时间为(x1,y1)
i
和t1，下一次获取宫腔镜图片坐标和时间为(x2,y2)
i
和t2。
14.进一步地，步骤4的具体过程为，从策略选择模块输入相关策略选择参数，将策略选择参数和训练检测网络特征值输入到匹配网络模块，匹配网络模块根据训练检测网络的腺体特征和策略选择参数对图像中的腺体进行识别，然后输出识别后的腺体，并对腺体体积和类别进行标注，类别包括张口腺体和不张口的腺体，统计每张图像中腺体的个数。
15.进一步地，策略选择模块选择原理如下式：
16.f(x)＝max[ω1c
i
+ω2s
i
+ω3a
i
+ω4k
i
]
[0017]
其中，c
i
为腺体标准密度，s
i
为患者年龄，a
i
为检测精度，k
i
为腺体均值大小，以上四个因素分别被赋予四个相应的参数，其分别是ω1，ω2，ω3和ω4，其可根据具体要求自由设置各自的参数值，具有高度的灵活性和扩展性，将选择侧裂放入到训练检测网络的特征值进行选择，其中分值最高的目标即本策略选择的感兴趣目标，即为初步确定腺体类别。
[0018]
进一步地，匹配网络模块包括目标子网和搜索子网，目标子网存取训练检测网络特征，搜索子网对检测图像进行特征提取，目标子网和搜索子网共享相同的权重和偏置，其中，搜索子网采用的是基于瓶颈残差块的内部裁剪单元，内部裁剪单元在块内部裁剪出受填充补零影响的特征，防止卷积滤波器学习位置偏差，其中，残差单元是模板匹配网络的关键模块，其由3个堆叠的卷积层和三层快捷连接组成，这三层快捷连接分别是1*1，3*3和1*1卷积，其中1*1卷积层负责减少然后恢复尺寸，使3*3卷积层成为具有小输入和输出尺寸的瓶颈。
[0019]
进一步地，步骤5的具体过程为：通过步骤4获取得到每个图像中腺体的具体图像，然后将相邻的两个图像的前面一个图像的前端部分和后面一个图像的后端重叠部分进行
叠合，叠合规则为根据两个图像的实际距离d
i
，然后采集前面一个图像的前端的距离d
i
的腺体图像分布结构和后面一个图像的后端距离d
i
的腺体图像分布结构进行对比，如果相同，则直接将这一部分图像叠合在一起，如果不重合，将距离d
i
逐级变小或者变大进行对比，直到前面一个图像的前端的距离d
i
'的腺体图像分布结构和后面一个图像的后端距离d
i
'的腺体图像分布结构相同时，完成叠合，d
i
'为逐级变小或者变大距离。
[0020]
进一步地，步骤6的具体过程为：先算出宫内膜整体图像坐标的公式如下：
[0021]
b
x
＝σ(t
x
)+c
x
[0022]
b
y
＝σ(t
y
)+c
y
[0023][0024][0025]
其中，(c
x
，c
y
)表示网格左上角的坐标，(σ(t
x
)，σ(t
y
))表示偏移量，均与d
i
'或者d
i
相同，(p
w
，p
h
)表示先验框的宽度和高度，(b
x
,b
y
,b
w
,b
h
)表示最终得到边界框的坐标，根据最终得到边界框的坐标算出宫内膜整体图像的大小，然后再统计宫内膜整体图像上的腺体数量，则可以得出平均密度，同时在步骤4中，每个图像识别的腺体数量和图像均保留，一起与平均密度输出，完成密度预估。
[0026]
本发明采用了上述技术方案，本发明具有以下技术效果：
[0027]
本发明可以提高宫腔粘连分类的特异性及预测预后的准确性，基于深度学习的宫腔粘连判断机理进行分析，精确定位宫腔粘连的病理形态学靶点，通过策略选择更精准的对图像进行识别，可以大大的减少运算的过程，可以提前选择相应的兴趣特征值，提高检测的精度和效率，对宫腔粘连分类进行大数据的收集，提出宫腔粘连同质化诊疗方案。
附图说明
[0028]
图1为本发明方法流程图
[0029]
图2为本发明识别的原理框图。
[0030]
图3为本发明原始计数图片。
[0031]
图4为本发明裁剪后的目标区域图片。
[0032]
图5为本发明灰度变换后的目标区域图片。
[0033]
图6为本发明均衡化处理后的目标区图片。
[0034]
图7为本发明检测算法计数后标记的图片。
具体实施方式
[0035]
为使本发明的目的、技术方案及优点更加清楚明白，举出优选实施例，对本发明进一步详细说明。然而，需要说明的是，说明书中列出的许多细节仅仅是为了使读者对本发明的一个或多个方面有一个透彻的理解，即便没有这些特定的细节也可以实现本发明的这些方面。
[0036]
子宫内膜腺体密度预估方法，如图1
‑
2所示，所述方法包括如下步骤，
[0037]
步骤1：将标注的宫腔镜图片输入到训练检测网络进行训练，获取腺体图像特征。将输入图像的尺寸设置为416*416*3，图像上的腺体进行人工标识，然后提取特征值，然后
把提取的值与人工标识后再进行二次识别。接着，通过特征提取网络对其提取特征。
[0038]
训练检测网络从imagenet数据集中选取样本对，从一视频的帧中提取目标图像，其中目标图像的尺寸为127*127*3。将目标图像输入到模板匹配网络对应的子网，以获得目标特征层。
[0039]
步骤2：医生将医疗仪器探头放入子宫内获取子宫内膜视频数据，根据医疗仪器探头移动速度截取宫腔镜图片。宫腔镜图片为正方形图，边长为l，d＞l时获取下一个宫腔镜图片，其中δt＝t2‑
t1，d＝δt*v，v为医疗仪器探头移动在子宫内膜的线速度，δt为从上一次获取宫腔镜图片到下一次获取宫腔镜图片的时间，t1为上一次获取宫腔镜图片对应帧的时间，t2为下一次获取宫腔镜图片对应帧的时间。
[0040]
步骤3：将获取的宫腔镜图片进行标准化处理，标准化处理包括将宫腔镜图片统一清晰度处理以及去躁的正则化，并将处理的图像平面化贴图处理。宫腔镜图片统一清晰度处理使用图像增强算法，图像增强算法的结构中包含一个增强器和一个判别器，增强器的输入是低精度图像，输出是高精度图像，判别器输入是真实的高精度图像或图像增强器处理后的图像，将多中心中低精度图像调整到高的精度图像，消除不同图像精度的差异，去躁的正则化的具体过程为使用机器噪声屏蔽算法，机器噪声屏蔽算法的结构包括一个判别器和一个复合生成器，先将多中心分成参考中心和普通中心两种类型，判别器用于判别输入图像是参考中心图像还是普通中心的合成图像，复合生成器通过掩码生成器为普通中心数据添加噪声掩码，然后生成平面坐标轴面，将处理后的图像贴在坐标轴面上，则可以得到前后两个图像的具体为：d
i
是从上一次获取宫腔镜图片到下一次获取宫腔镜图片的距离，上一次获取宫腔镜图片坐标和时间为(x1,y1)
i
和t1，下一次获取宫腔镜图片坐标和时间为(x2,y2)
i
和t2。
[0041]
步骤4：使用训练网络和匹配网络对宫腔镜图片进行识别获取腺体。如图2所示，从策略选择模块输入相关策略选择参数，将策略选择参数和训练检测网络特征值输入到匹配网络模块，匹配网络模块根据训练检测网络的腺体特征和策略选择参数对图像中的腺体进行识别，然后输出识别后的腺体，并对腺体体积和类别进行标注，类别包括张口腺体和不张口的腺体，统计每张图像中腺体的个数。
[0042]
策略选择模块选择原理如下式：
[0043]
f(x)＝max[ω1c
i
+ω2s
i
+ω3a
i
+ω4k
i
]
[0044]
其中，c
i
为腺体标准密度，s
i
为患者年龄，a
i
为检测精度，k
i
为腺体均值大小，以上四个因素分别被赋予四个相应的参数，其分别是ω1，ω2，ω3和ω4，其可根据具体要求自由设置各自的参数值，具有高度的灵活性和扩展性，将选择侧裂放入到训练检测网络的特征值进行选择，其中分值最高的目标即本策略选择的感兴趣目标，即为初步确定腺体类别。
[0045]
匹配网络模块包括目标子网和搜索子网，目标子网存取训练检测网络特征，搜索子网对检测图像进行特征提取，目标子网和搜索子网共享相同的权重和偏置，其中，搜索子网采用的是基于瓶颈残差块的内部裁剪单元，内部裁剪单元在块内部裁剪出受填充补零影响的特征，防止卷积滤波器学习位置偏差，其中，残差单元是模板匹配网络的关键模块，其由3个堆叠的卷积层和三层快捷连接组成，这三层快捷连接分别是1*1，3*3和1*1卷积，其中1*1卷积层负责减少然后恢复尺寸，使3*3卷积层成为具有小输入和输出尺寸的瓶颈。
[0046]
步骤5：将识别后的宫腔镜图片去重叠后进行组合，得到子宫内膜整体图像。通过步骤4获取得到每个图像中腺体的具体图像，然后将相邻的两个图像的前面一个图像的前端部分和后面一个图像的后端重叠部分进行叠合，叠合规则为根据两个图像的实际距离d
i
，然后采集前面一个图像的前端的距离d
i
的腺体图像分布结构和后面一个图像的后端距离d
i
的腺体图像分布结构进行对比，如果相同，则直接将这一部分图像叠合在一起，如果不重合，将距离d
i
逐级变小或者变大进行对比，直到前面一个图像的前端的距离d
i
'的腺体图像分布结构和后面一个图像的后端距离d
i
'的腺体图像分布结构相同时，完成叠合，d
i
'为逐级变小或者变大距离。
[0047]
步骤6：根据子宫内膜整体图像的大小和子宫内膜整体图像内的腺体个数得到子宫内膜腺体密度。先算出宫内膜整体图像坐标的公式如下：
[0048]
b
x
＝σ(t
x
)+c
x
[0049]
b
y
＝σ(t
y
)+c
y
[0050][0051][0052]
其中，(c
x
，c
y
)表示网格左上角的坐标，(σ(t
x
)，σ(t
y
))表示偏移量，均与d
i
'或者d
i
相同，(p
w
，p
h
)表示先验框的宽度和高度，(b
x
,b
y
,b
w
,b
h
)表示最终得到边界框的坐标，根据最终得到边界框的坐标算出宫内膜整体图像的大小，然后再统计宫内膜整体图像上的腺体数量，则可以得出平均密度，同时在步骤4中，每个图像识别的腺体数量和图像均保留，一起与平均密度输出，完成密度预估。
[0053]
得出的密度包括整个子宫内膜的平均腺体密度和单张图像总腺体的密度和数量，同时根据单张图像中的腺体可以知道哪些腺体是活跃的，活跃的腺体体积中间具有发光的闪光点，如图3所示，根据图像像素和图像曝光点即可很好的识别，那些不再代谢的，需要切除。
[0054]
如图3所示，刚开始使用医疗器械获取的单帧的原始计数图片，为一个圆形结构图，然后经过方形裁剪后得到图4的方形目标区域图片，然后再将图片进行灰度变换后得到图5所示的灰度变换后的目标区域图片，再经过标准化处理后得到如图6所示的均衡化处理后的目标区图片，可以更加清楚看到腺体的体积和区域大小。图7为在计数过程为对腺体标记和后面标记的对比图，通过算法进行标记后，可以清楚的看到腺体的具体个数和大小，同时通过中间的亮度可以识别出是否活跃。
[0055]
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。