一种基于SAM的无监督手术器械图像分割方法及系统

本发明属于无监督手术器械图像分割，更具体地，涉及一种基于sam的无监督手术器械图像分割方法及系统。

背景技术：

1、微创手术中的仪器分割是各种先进的计算机辅助干预技术的基础，例如自动手术技能评估和术中引导系统。鉴于其重要性，手术器械分割在早期传统方法到近期使用深度学习的方法中取得了显著进展。然而，这样的成功主要依赖于从大量标注数据中进行监督学习，而在医学领域，特别是对于视频数据的分割任务，这些数据的收集非常昂贵且耗时。此外，受到现实世界不同医院和手术类型之间领域差距的影响，监督方法的泛化能力几乎不可避免地受到限制。

2、为了解决上述问题，daniil等试图利用机器人的运动学模型和器械的三维模型参数，通过将其投影到相机的图像平面的方式自动获取标签，再使用生成对抗模型学习内窥镜和相应标签之间映射，以此消除不精确的运动学引起的标签误差。但生成对抗模型在生成标签过程由于缺乏准确的标注，标签不确定的影响依然存在，这会导致分割效果的降低。

3、pfeiffer等采用合成数据集方法获得标签来训练模型。但是合成数据集在一些情况下可能无法完全模拟真实的手术场景，与真实的数据集之间仍然存在一些差距，同时数据集对于模型的泛化能力有极大的相关性，在实际应用中会造成一定影响。

4、sestini通过现有数据集和绿幕图片自动获取标签来训练一个形状先验模型，再通过结合手术视频光流和形状先验模型生成的伪标签训练手术器械分割模型。这种方法几乎与监督学习的分割效果相当，但是准备工作过于繁琐，同时只选取伪标签信度较高的区域进行梯度下降会损害器械的边缘检测效果。

技术实现思路

1、为解决以上技术问题，本发明提出一种基于sam的无监督手术器械图像分割方法，包括：

2、对包含手术器械的手术图像进行特征提取，生成手术图像的特征向量，对所述特征向量进行降维处理，通过均值聚类方法对降维后的特征向量进行初步分类，并生成初步分类后的特征图，通过条件随机场对所述特征图进行优化，生成优化后的特征图；

3、通过分割模型sam，将所述优化后的特征图进行分割，生成所述优化后的特征图的全分割结果，并通过所述优化后的特征图对所述全分割结果中的每一个区域进行分类，获得最终的手术器械图像分割结果，从而完成手术器械图像分割。

4、进一步的，对包含手术器械的手术图像进行特征提取包括：

5、将手术图像的尺寸进行统一，对统一后的手术图像进行标准化处理：具体为：

6、统一后的手术图像标准化参数：

7、mean＝{0.485,0.456,0.406}

8、std＝{0.229,0.224,0.225}

9、其中，mean为统一后的手术图像各通道的标准化均值，std为统一后的手术图像各通道的标准差；

10、通过dinov2模型对标准化处理后的手术图像进行特征提取。

11、进一步的，对所述特征向量进行降维处理包括：

12、将所述特征向量转换为一个矩阵，其中每一行表示一个通道，每一列表示一个通道的像素值，并通过以下公式计算特征向量矩阵:

13、

14、其中，cov为特征向量x的协方差矩阵，xmean为x的均值向量，v为特征向量矩阵，d为对焦矩阵，对角线上的元素为特征值，n为通道数；

15、根据特征值，将特征向量从大到小进行排序，选择前3个特征向量，将选择的特征向量与中心化的输入特征相乘，获得降维后的特征矩阵，其公式如下：

16、xpca＝vst(x-xmean)

17、其中，xpca∈r3×20×20为降维后的3通道20长20宽的特征向量，vs为选择的前3个特征向量。

18、进一步的，通过均值聚类方法对降维后的特征向量进行初步分类包括：在三维空间随机选择两个初始聚类中心作为初始值，对于特征向量中每一个像素点数据，计算其与每个初始聚类中心的欧式距离，并将其分配到欧氏距离最小的初始聚类中心所对应的簇；

19、对于每个簇，计算每个簇中所有像素点数据的平均值，将其作为新的聚类中心，假设c为一个簇，包含m个向量，则聚类中心的更新公式为：

20、

21、重复以上步骤，直到聚类中心不再发生变化时，即完成初步分类。

22、进一步的，通过条件随机场对所述特征图进行优化，生成优化后的特征图包括：根据条件随机场，将所述特征图中的每一个像素点建模为一个节点，节点的标签为k-mean中已分配的类别，通过最大化条件概率找到在给定观测值的情况下，节点的标签的最佳配置，以此完成分类结果的优化处理，具体为：

23、引入数据势能函数和平滑势能函数，其中数据势能函数用于表示每个像素点的观测值与标签的关系，数据势能函数为：

24、u(xi,yi)＝-log(ψ(xi,yi))

25、其中，xi表示第i个像素点的观测值，yi表示第i个像素点的标签，ψ(xi,yi)表示第i个像素点的观测值和第i个像素点的标签的潜在关系；

26、平滑势能表示相邻像素点之间的关系，用于约束相邻像素点的标签，使得标签变化比较小，平滑势能函数为：

27、

28、其中yi和yj分别表示第i个像素点的标签和第j个像素点的标签，λ为平滑项权重，pi和pj分别表示第i个像素点的位置坐标和第j个像素点的位置坐标，||pi-pj||表示欧式距离，σ为平滑项的标准差；

29、最终可定义条件随机场模型的能量函数为：

30、e(y|x)＝∑u(xi,yi)+λ∑p(yi,yj)

31、能量函数值越低，对应的标签配置的概率越高。

32、进一步的，对数据势能函数和平滑势能函数，进行优化，以使所述特征图优化更精准，具体为：

33、优化后的数据势能函数为：

34、u(xi,yi)＝-log(ψ(xi,yi))+λ1r(xi,yi)+λ2d(xi,yi)+λ3q(xi,yi)

35、其中，λ1为正则化系数，λ2为数据项的权重系数，λ3为先验项的权重系数，r(xi,yi)为正则化项，d(xi,yi)为数据项，用于建模特征图和属性之间的关系，通过交叉熵损失的方法计算数据项，q(xi,yi)为惩罚项，用于引入先验知识或其他约束条件；

36、优化后的平滑势能函数为：

37、

38、其中，k为附加项的数量，βk为权重系数，fk(yi，yj)为纹理相似性函数或边缘一致性函数。

39、本发明还提出一种基于sam的无监督手术器械图像分割系统，包括：

40、获取特征图模块，用于对包含手术器械的手术图像进行特征提取，生成手术图像的特征向量，对所述特征向量进行降维处理，通过均值聚类方法对降维后的特征向量进行初步分类，并生成初步分类后的特征图，通过条件随机场对所述特征图进行优化，生成优化后的特征图；

41、分割模块，用于通过分割模型sam，将所述优化后的特征图进行分割，生成所述优化后的特征图的全分割结果，并通过所述优化后的特征图对所述全分割结果中的每一个区域进行分类，获得最终的手术器械图像分割结果，从而完成手术器械图像分割。

42、进一步的，对包含手术器械的手术图像进行特征提取包括：

43、将手术图像的尺寸进行统一，对统一后的手术图像进行标准化处理：具体为：

44、统一后的手术图像标准化参数：

45、mean＝{0.485,0.456,0.406}

46、std＝{0.229,0.224,0.225}

47、其中，mean为统一后的手术图像各通道的标准化均值，std为统一后的手术图像各通道的标准差；

48、通过dinov2模型对标准化处理后的手术图像进行特征提取。

49、进一步的，对所述特征向量进行降维处理包括：

50、将所述特征向量转换为一个矩阵，其中每一行表示一个通道，每一列表示一个通道的像素值，并通过以下公式计算特征向量矩阵:

51、

52、其中，cov为特征向量x的协方差矩阵，xmean为x的均值向量，v为特征向量矩阵，d为对焦矩阵，对角线上的元素为特征值，n为通道数；

53、根据特征值，将特征向量从大到小进行排序，选择前3个特征向量，将选择的特征向量与中心化的输入特征相乘，获得降维后的特征矩阵，其公式如下：

54、xpca＝vst(x-xmean)

55、其中，xpca∈r3×20×20为降维后的3通道20长20宽的特征向量，vs为选择的前3个特征向量。

56、进一步的，通过均值聚类方法对降维后的特征向量进行初步分类包括：在三维空间随机选择两个初始聚类中心作为初始值，对于特征向量中每一个像素点数据，计算其与每个初始聚类中心的欧式距离，并将其分配到欧氏距离最小的初始聚类中心所对应的簇；

57、对于每个簇，计算每个簇中所有像素点数据的平均值，将其作为新的聚类中心，假设c为一个簇，包含m个向量，则聚类中心的更新公式为：

58、

59、重复以上步骤，直到聚类中心不再发生变化时，即完成初步分类。

60、

61、其中yi和yj分别表示第i个像素点的标签和第j个像素点的标签，λ为平滑项权重，pi和pj分别表示第i个像素点的位置坐标和第j个像素点的位置坐标，||pi-pj||表示欧式距离，σ为平滑项的标准差；

62、最终可定义条件随机场模型的能量函数为：

63、e(y|x)＝∑u(xi,yi)+λ∑p(yi,yj)

64、能量函数值越低，对应的标签配置的概率越高。

65、总体而言，通过本发明所构思的以上技术方案与现有技术相比，具有以下有益效果：

66、1.本发明通过无监督的方法，完成手术场景中的器械分割，无需手动标注数据，减轻了人工劳动和时间成本；

67、2.本发明通过使用dinov2提取图像特征和sam提取图像边界信息，已有的大模型能够有效提取图像特征，并具有很高的泛化能力，能够适用于不同手术场景；

68、3.本发明使用主成分分析降低特征图的维度，加速计算机运算过程，使均值聚类过程更快收敛；

69、4.本发明综合考虑初步分割的位置信息和sam的全分割的边界信息，使得本发明无监督方法的分割效果能够接近监督学习。