一种基于深度学习的手术解剖部位识别标注方法

本发明涉及图像处理，尤其涉及一种基于深度学习的手术解剖部位识别标注方法。

背景技术：

1、腹腔镜胆囊切除术（laparoscopic cholecystectomy，lc）已成为胆石症的主流术式和金标准。然而术中胆管损伤仍然是lc中的重要并发症之一，而术中使用安全性关键术野（critical view of safety，cvs）作为lc的标准操作流程是有效预防胆管损伤的方法。但国内手术培训和准入制度尚不成熟，cvs的理念尚未广泛推广。因此，深入理解和推广cvs对于预防胆管损伤非常有意义。随着人工智能（ai）的出现，计算机视觉（cv）在医学领域被广泛应用于医学。值得注意的是，它描述了机器对图像和视频的理解，并在物体或场景识别等领域实现了人类水平的能力。人工智能正在扩大其业务范围，从数据库到术中视频分析。同时像深度神经网络这样的算法可以在不使用大量数据进行显式编程的情况下进行训练，以便学习预测新数据的结果，以实现人类水平的目标检测。

2、虽然深度学习在医学上的各种计算机视觉任务（如放射图像中的癌症诊断、结肠镜检查中息肉的识别）中显示出了良好的结果，但它在实时手术指导和决策支持方面的应用和价值要复杂得多，尚未得到证明。与诊断放射学、眼底镜或内窥镜的图像和视频不同，手术视频在背景噪声、图像质量和现场物体方面有更多的可变性。此外，手术平面和解剖结构几乎从未被清楚地描绘出来，并且经常隐藏或部分可见在脂肪和纤维组织下。这是在手术中使用计算机视觉来提供有临床意义的数据的一个主要障碍。

3、目前，在我国cvs理念并未在外科医师中完全普及，笔者认为cvs的推广，预防胆管损伤（bile duct injury,bdi）任重道远。而通过加强对cvs的认识，是提高外科医师手术水平的关键。随着近年计算机性能与硬件的提高，腹腔镜手术视频资料以一种数据形式灵活储存在服务器中，可供医生回顾查看与分享。随着大数据时代的来临，许多数据被用以发现、分析与解决问题，丰富的腹腔镜视觉数据也不例外。而人工智能是最擅长通过数据分析解决问题的技术，因此可能推动临床上腹腔镜手术的发展。目前人工智能图像识别技术已在多个医学领域展示了它的能力，包括分类、分割及检测任务。手术操作的分类识别：在手术过程中包含多个手术操作步骤，在每个手术阶段中，特定的操作出现可视为这个阶段的代表，因此利用cnn对手术操作的分类可辅助术者进行手术分析。手术阶段识别和手术时间预测：手术阶段识别在腹腔镜手术过程中不同的阶段是重要的研究课题，具有各种作用，如用于技能评估、教学场景的自动选择、实时工作流程的识别，也可向手术室外的临床工作人员提供有关手术进度的信息。但目前对手术阶段识别属于手动执行的操作，容易出现错误与延误。手术器械与术中解剖的识别：手术器械的分割与检测追踪是计算机辅助手术系统的重要组成部分。由于受到腹腔内特殊的背景影响，如高光反射、模糊、手术器械的运动伪影等，这是一项较为困难的挑战。而许多学者借助cnn成功解决了该问题，这也是目前研究最为广泛的一个方向。

4、综上所述，目前国外对于人工智能在腹腔镜术中的各类应用，已经如火如荼的开展，但是大多数研究样本量较少，且受训练集数量所限，精度准确率较低；在国内，人工智能在医学图像领域，包括放射影像、超声影像、病理图像、心电图、内窥镜图像等诸多领域都有着不俗的表现，在大数据的支持下,基于深度学习的人工智能模型对皮肤病变和糖尿病视网膜病变图像的识别能力，已经与医学专家相同甚至超过医学专家。在整个消化内镜领域的研究显示，人工智能辅助识别可以将腺瘤检出率增加50%,检出率从20%上升至约30%,而腺瘤检出率的提高主要是小的腺瘤检出增多。然而，人工智能辅助术中解剖标识在腹腔镜手术中的应用尚缺乏。

技术实现思路

1、本发明的目的在于克服上述一种或多种现有的技术问题，提供一种基于深度学习的手术解剖部位识别标注方法。

2、为实现上述目的，本发明提供的一种基于深度学习的手术解剖部位识别标注方法，包括：

3、基于安全性关键术野技术标准的手术录像中提取关键帧图像；

4、对所述关键帧图像按照第一颜色区间的像素贡献比进行k-means聚类分组得到若干个第一图像簇；

5、对第一图像簇按照第二颜色区间的像素贡献比进行k-means聚类得到若干个第二图像簇；

6、对第二图像簇按照第三颜色区间的像素贡献比进行k-means聚类得到若干个第三图像簇；

7、融合第三图像簇的中心图像，得到第一数据集；

8、对所述第一数据集的图像进行标注，得到第二数据集；

9、基于所述第二数据集训练区域识别标注模型；

10、利用训练后的区域识别标注模型对手术录像中提取的图像进行识别标注。

11、根据本发明的一个方面，其特征在于，

12、筛选达到安全性关键术野技术标准的手术录像中含有胆囊颈部的三角解剖清晰部分短视频录像；

13、录像采集分辨率为1920x1080p，帧率为25帧；

14、从短视频录像中分割采集所述关键帧图像。

15、根据本发明的一个方面，其特征在于，获取目标颜色的标准三原色数值并将其表示为第一目标三原色数值r2、第二目标三原色数值g2和第三目标三原色数值b2，根据目标颜色的标准三原色数值得到目标颜色的像素贡献比，其中公式为，

16、a=0.63*m/count(px)+0.37(w+h)；

17、其中，a表示像素贡献比；

18、m表示像素点贡献值；

19、count(px)表示像素点的个数；

20、w表示最大目标颜色连续宽度；

21、h表示最大目标颜色连续高度。

22、根据本发明的一个方面，其特征在于，计算像素贡献比中的像素点贡献值的公式为，

23、；

24、其中，k表示阈值，取值为5,10或15；

25、r1表示需要进行聚类的图像的第一原始三原色数值；

26、g1表示需要进行聚类的图像的第二原始三原色数值；

27、b1表示需要进行聚类的图像的第三原始三原色数值。

28、根据本发明的一个方面，其特征在于，计算像素贡献比中的最大目标颜色连续宽度的公式为，

29、w=max(hcon(r2,g2,b2,n))；

30、其中，hcon()表示获得第n行中和目标颜色差值低于阈值的颜色连续宽度；

31、n表示第n行；

32、计算像素贡献比中的最大目标颜色连续高度的公式为，

33、h=max(vcon(r2,g2,b2,q))；

34、其中，vcon()表示获得第q列中和目标颜色差值低于阈值的颜色连续高度；

35、q表示第q列。

36、根据本发明的一个方面，其特征在于，所述第一数据集包含rouviere沟图像、胆总管图像、胆囊管图像、左肝内侧段下缘图像和胆囊图像，对所述第一数据集进行标注，获得所述第二数据集。

37、根据本发明的一个方面，其特征在于，选择远离第三图像簇中聚类中心的边缘图像，得到第三数据集；对第三数据集中图像进行标注，得到第四数据集；基于第四数据集训练区域识别标注模型。

38、为实现上述目的，本发明提供一种基于深度学习的手术解剖部位识别标注系统，包括：

39、关键帧图像获取模块：基于安全性关键术野技术标准的手术录像中提取关键帧图像；

40、图像聚类模块：对所述关键帧图像按照第一颜色区间的像素贡献比进行k-means聚类分组得到若干个第一图像簇；

41、对第一图像簇按照第二颜色区间的像素贡献比进行k-means聚类得到若干个第二图像簇；

42、对第二图像簇按照第三颜色区间的像素贡献比进行k-means聚类得到若干个第三图像簇；

43、第一数据集获取模块：融合第三图像簇的中心图像，得到第一数据集；

44、第二数据集获取模块：对所述第一数据集的图像进行标注，得到第二数据集；

45、区域识别标注模型训练模块：基于所述第二数据集训练区域识别标注模型；

46、图像标注模块：利用训练后的区域识别标注模型对手术录像中提取的图像进行识别标注。

47、为实现上述目的，本发明提供一种电子设备，包括处理器、存储器及存储在存储器上并可在处理器上运行的计算机程序，计算机程序被处理器执行时实现上述针对一种基于深度学习的手术解剖部位识别标注方法。

48、为实现上述目的，本发明提供一种计算机可读存储介质，计算机可读存储介质上存储计算机程序，计算机程序被处理器执行时实现上述针对一种基于深度学习的手术解剖部位识别标注方法。

49、基于此，本发明的有益效果在于：

50、（1）本发明旨在开发人工智能解剖标识系统，训练深度学习模型，识别胆囊切除术中重要人体重要解剖标志以及解剖的安全和危险区域，即使用安全性关键术野，减少术中胆管损伤的发生率，并由具有丰富经验的外科专家评估其结果的有效性。对外科手术医师初学者在掌握手术技能，学习cvs技术提供一定的辅助和提高。

51、（2）以腹腔镜手术录像等图像数据为基础，深度学习的图像识别技术作为依托，完成腹腔镜手术术中标识软件的开发，并利用软件引导低年资青年医师掌握学习cvs技术，提高关键解剖点的认知，进行腹腔镜胆囊切除手术，缩短腹腔镜手术学习曲线，降低因经验不足所致医源性胆道损伤的几率。