一种基于Superpoint的医学图像处理方法

一种基于superpoint的医学图像处理方法
技术领域
1.本发明涉及处理医学图像领域，具体为一种基于superpoint的医学图像处理方法。


背景技术：

2.在过去的几十年里，医学技术的进步和科技手段的创新在重塑外科手术的实践中发挥了重要作用。医学模式的全面进步和在整体治疗观的带动下产生了微创的概念，固态摄像机和光纤设备使微创手术成为现实。微创手术过程中应用细长器械及照明等设备，利用先进的技术手段，把传统的肉眼直视替换为电子镜像观察，保证了最小的切口范围和最少的组织损伤，同时完成对体内病灶的观察诊断及治疗。在现代微创手术技术中，使用的内窥镜和专业的器械通过手术部位皮肤的小切口插入到内腔中，内窥镜拍摄到的画面实时显示在屏幕上，医生操控内窥镜的近端调整方向和角度，从传输回来的画面判断手术情况。
3.微创手术相比于传统手术微创手术具有创口小、疼痛轻、不易感染等优点，大大减少了患者的创伤、术后恢复期和并发症的风险，是现代医学手术治疗的一种趋势。但随着科技的进步，微创手术在多个医学领域逐渐拓展，传统的微创手术技术在临床实践中遇到了瓶颈，如采集到的图像信息有缺失或模糊、手术过程中发生软组织流血造成的图像不清晰等问题，在手术过程中十分依赖于医生的临床经验是否丰富，极易导致经验不足的临床医生判断失误从而造成周边软组织流血，提高手术难度。
4.微创手术作为现代医学手术治疗的一种趋势，逐渐在各个科室崭露头角，但在现代微创手术技术中，如何精确处理内窥镜拍摄到的图像信息是非常重要的，同时也是进行对图像后续高级处理的基础。目前处理此类图像存在的主要问题有以下几个局限：(1)微创手术环境中光照信息不均匀，容易导致采集到的图像模糊；(2)手术过程中软组织发生的流血等问题给图像特征提取与匹配造成困难；(3)在对软组织进行处理的过程中出现灼烧情况时会产生烟雾，易导致处理图像时提取不到有用的特征点。


技术实现要素：

5.针对上述研究的问题，本发明的目的在于：针对微创手术中对内窥镜获取到的图像难以进行特征提取的问题，提出一种基于深度学习神经网络的特征提取方法，实现对医学图像相对精确的特征提取。
6.为了解决上述技术问题，本发明采用的技术方案如下：
7.一种基于superpoint的医学图像处理方法，包括如下步骤：
8.s1：获取图像并初始化网络，主要包括以下部分：获取内窥镜采集到的内腔图像、初始化深度学习网络。
9.进一步的，所述s1的具体步骤为：
10.s1.1：获取微创手术过程中内窥镜取得的需要处理的目标图像；
11.s1.2：初始化深度学习网络参数。采用虚拟的三维图形作为网络训练的数据集，训
练网络具备提取角点的功能。
12.通过以上步骤获取图像并初始化网络。
13.s2：将获取到的图像输入网络进行特征提取，同时得到特征点的描述子，其中主要包括以下部分：编码网络、解码网络、描述子检测、损失函数构建。
14.进一步的，所述s2的具体步骤为：
15.s2.1：将待处理图像输入网络，经过共享的编码网络降维图像：h
c
＝h/8其中，h为图像原始尺寸，h
c
为降维后的图像尺寸。
16.s2.2：兴趣点自标注。进行特征点的解码，解码器的输出为像素点是特征点的概率值。采用的方法为子像素卷积，利用了一种带有特定解码器的特征点检测头进行获取上采样的图像；输入张量的维度是输出的维度为r
h
×
w
。
17.s2.3：描述子检测。利用类似于ucn的网络得到半稠密的描述子，在进行双线性插值得到完整的描述子，最后利用l2标准化得到单位长度的描述，特征维度由：变为：d∈r
h
×
w
×
d
18.s2.4：损失函数构建。此网络有两个分支网络，损失函数也分为两部分，两部分的损失之和为网络最后的损失函数：l(x,x',d,d'；y,y',s)＝l
p
(x,y)+l
p
(x',y')+λl
d
(d,d',s)其中，l
p
为特征点的损失函数，l
d
为描述子损失函数，λ为平衡负对应比正对应的系数。
19.通过以上步骤得到特征点及描述子。
20.s3：利用knn方法进行特征匹配。
21.进一步的，所述s3的具体步骤为：
22.s3.1：选取合适的k值。
23.s3.2：计算已知类别数据集中的点与当前点之间的距离，把这些距离按照递增的顺序排序，选取与当前距离最小的k个点，按距离远近排列测试元组的临近元组作为优先级队列。遍历元组，计算元组与测试元组的距离l：与优先级队列中的l
max
进行比较，若：l
max
≤l则放弃该元组，反之则将l赋值给l
max
。
24.s3.3：遍历完毕后计算优先级队列中k个元组的多数类，并将其作为测试元组的类别。之后计算误差率。设定不同的k值重新进行训练，最后取误差率最小的k值。
25.通过以上步骤进行特征点的匹配。
26.s4：采用k
‑
means聚类方法对特征集合进行有层次的聚类。
27.进一步的，所述s4的具体步骤为：
28.s4.1：选取k个点作为初始质心。
29.s4.2：将每个点指派到最近的质心，形成k个簇，根据误差平方和sse重新计算每个簇的质心：当簇不发生变化或达到最大迭代次数时停止计算。
30.s4.3：重新以序列中每帧图像为查询对象，构建其特征集合。
31.s4.4：对图像的特征建立kd
‑
tree，并利用knn方法将当前图像与匹配集合中所有的图像计算匹配。
32.与现有技术相比，本发明的有益效果是：有效解决了特征提取过程中稳定性不足和易受光照影响的缺陷，与传统方法相比增加了特征匹配的准确性。
附图说明
33.图1为本发明的流程图；
34.图2为本发明网络示意图。
具体实施方式
35.为了使本发明的目的、技术方案及优点更加清楚明白，提出相应具体实施方案，对本发明进一步详细说明。
36.如图1和图2所示，一种基于superpoint的医学图像处理方法，其具体步骤如下：
37.s1：获取图像并初始化网络，主要包括以下部分：获取内窥镜采集到的内腔图像、初始化深度学习网络。
38.进一步的，所述s1的具体步骤为：
39.s1.1：获取微创手术过程中内窥镜取得的需要处理的目标图像；
40.s1.2：初始化深度学习网络参数。采用虚拟的三维图形作为网络训练的数据集，训练网络具备提取角点的功能。
41.通过以上步骤获取图像并初始化网络。
42.s2：将获取到的图像输入网络进行特征提取，同时得到特征点的描述子，其中主要包括以下部分：编码网络、解码网络、描述子检测、损失函数构建。
43.进一步的，所述s2的具体步骤为：
44.s2.1：将待处理图像输入网络，经过共享的编码网络降维图像：h
c
＝h/8其中，h为图像原始尺寸，h
c
为降维后的图像尺寸。
45.s2.2：兴趣点自标注。进行特征点的解码，解码器的输出为像素点是特征点的概率值。采用的方法为子像素卷积，利用了一种带有特定解码器的特征点检测头进行获取上采样的图像；输入张量的维度是输出的维度为r
h
×
w
。
46.s2.3：描述子检测。利用类似于ucn的网络得到半稠密的描述子，在进行双线性插值得到完整的描述子，最后利用l2标准化得到单位长度的描述，特征维度由：
变为：d∈r
h
×
w
×
d
47.s2.4：损失函数构建。此网络有两个分支网络，损失函数也分为两部分，两部分的损失之和为网络最后的损失函数：l(x,x',d,d'；y,y',s)＝l
p
(x,y)+l
p
(x',y')+λl
d
(d,d',s)其中，l
p
为特征点的损失函数，l
d
为描述子损失函数，λ为平衡负对应比正对应的系数。
48.通过以上步骤得到特征点及描述子。
49.s3：利用knn方法进行特征匹配。
50.进一步的，所述s3的具体步骤为：
51.s3.1：选取合适的k值。
52.s3.2：计算已知类别数据集中的点与当前点之间的距离，把这些距离按照递增的顺序排序，选取与当前距离最小的k个点，按距离远近排列测试元组的临近元组作为优先级队列。遍历元组，计算元组与测试元组的距离l：与优先级队列中的l
max
进行比较，若：l
max
≤l则放弃该元组，反之则将l赋值给l
max
。
53.s3.3：遍历完毕后计算优先级队列中k个元组的多数类，并将其作为测试元组的类别。之后计算误差率。设定不同的k值重新进行训练，最后取误差率最小的k值。
54.通过以上步骤进行特征点的匹配。
55.s4：采用k
‑
means聚类方法对特征集合进行有层次的聚类。
56.进一步的，所述s4的具体步骤为：
57.s4.1：选取k个点作为初始质心。
58.s4.2：将每个点指派到最近的质心，形成k个簇，根据误差平方和sse重新计算每个簇的质心：当簇不发生变化或达到最大迭代次数时停止计算。
59.s4.3：重新以序列中每帧图像为查询对象，构建其特征集合。
60.s4.4：对图像的特征建立kd
‑
tree，并利用knn方法将当前图像与匹配集合中所有的图像计算匹配。
61.通过以上步骤进行聚类。
62.综上所述，本发明所提出的基于superpoint的医学图像处理问题，能够为医生提供良好的特征信息，方便进行图像的初步处理，采用的基于superpoint的医学图像处理方法提取到的特征点分布均匀且数量足够，有效提高了图像特征提取与匹配的效率与质量，
且该方法已在其他场景下有一定应用，而在用于处理医学图像方面仍然处于空白；本发明提取到的特征点分布均匀，没有过多的边缘信息，能给后续图像的高级处理提供良好的特征基础。
63.以上所述仅为本发明的一个实施方式，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。