学习图像数据创建方法和系统与流程

本发明涉及通过使用内窥镜图像作为学习图像数据来创建学习图像数据的学习图像数据创建方法和系统。

背景技术：

1、例如，亨纳（hunner）型间质性膀胱炎是一种炎症性疾病，其特征是膀胱中识别出存在称为亨纳病变的特定红色粘膜病变。然而，亨纳病变没有客观的诊断指标，亨纳病变的诊断将由膀胱镜医生主观决定。因此，即使是专门研究间质性膀胱炎的有经验的医生，也很难仅基于对膀胱镜图像的观察来区分在卡介苗相关膀胱炎或原位癌中出现的类似红色粘膜病变和真正的红色粘膜病变。为了如上所述区分粘膜特征相似的病变，提高内窥镜检查中病变区分的准确性非常重要，并且还需要在使用通过使用人工智能等支持的医生辅助诊断的情况下提高诊断准确性。

2、传统上，作为用于支持诊断的人工智能，已经有一些技术通过将内窥镜图像作为学习图像数据进行学习来创建学习模型。例如，在日本专利公开2020-141995（专利文献1）中公开了一种技术，其包括生成叠加图像、通过使用叠加图像创建大量用于图像识别的学习图像数据、以及通过使用学习图像数据来创建学习模型，其中叠加图像将利用内窥镜治疗工具提取的前景内窥镜图像与作为前景内窥镜图像的背景的背景内窥镜图像进行叠加。

3、此外，作为识别观察到粘膜图像的粘膜的观察方向的技术，日本专利3720617（专利文献2）公开了在掩模图像（mask image）上添加指示符以识别内窥镜图像的方向。

4、相关技术文件

5、专利文献

6、专利文献1：日本专利公开2020-141995

7、专利文献2：日本专利3720617

技术实现思路

1、技术问题

2、在常规技术中没有认识到以下问题：在内窥镜图像中，由于观察粘膜图像的内窥镜的透镜的影响造成的内窥镜图像周围的粘膜图像失真、以及粘膜图像与掩模图像之间的边界的颜色差异（色调、饱和度和明度的差异），可能会影响人工智能的学习结果。由于上述原因，常规技术通过使用内窥镜图像数据本身来创建学习图像数据，其中在内窥镜图像中掩模图像位于粘膜图像周围。因此，即使使用通过使用学习图像数据的扩展技术创建的扩展图像数据，学习图像数据的质量也很差，结果，在提高学习模型的准确性方面存在局限性。例如，在亨纳型间质性膀胱炎的病例中，由于学习数据的数量无法补偿学习数据的质量的不足，因此上述事实将导致直接影响学习模型的学习准确性的问题。

3、本发明的目的是提供用于创建学习图像数据的方法和系统，由此可以产生在创建学习模型时使用的学习图像数据，而不受内窥镜图像的外围部分的失真以及粘膜图像和掩模图像的颜色差异的影响。

4、解决技术问题的技术方案

5、本发明涉及一种学习图像数据创建方法，用于基于内窥镜图像创建用于创建学习模型的学习图像数据，其中在所述内窥镜图像中，掩模图像存在于粘膜图像外部。本发明的方法包括：创建延伸处理后的学习图像数据，延伸处理后的学习图像数据具有掩模图像的延伸区域图像，延伸区域图像是通过掩模延伸处理产生的，掩模延伸处理将与掩模图像相邻并且其中粘膜图像由于用于观察粘膜的内窥镜的透镜的影响而失真的区域定义为延伸区域图像。此外，优选地包括：通过对延伸处理后的学习图像数据的掩模图像和延伸区域图像执行颜色转换校正来创建掩模颜色替换后的学习图像数据；通过对粘膜图像执行色调校正以使掩模颜色替换后的学习图像数据中的粘膜图像的色调差异不产生影响，来创建粘膜色调校正后的学习图像数据；以及将粘膜色调校正后的学习图像数据定义为学习图像数据。优选地，当没有足够的内窥镜图像学习数据时，扩展所基于的学习数据包含尽可能少的噪声元素。作为基于上述前提的各种研究的结果，本发明的发明人发现，由于透镜等的影响，与掩模图像相邻的粘膜图像可能会失真。然后，基于上面确认的知识，发明人创建延伸处理后的学习图像数据，延伸处理后的学习图像数据具有掩模图像的延伸区域图像，延伸区域图像是通过掩模延伸处理产生的，掩模延伸处理将与掩模图像相邻并且其中粘膜图像由于用于观察粘膜的内窥镜的透镜的影响而失真的区域定义为延伸区域图像。本发明的发明人用如下颜色的图案图像替换掩模图像与延伸区域图像，在所述颜色下，通过经由对延伸处理后的学习图像数据的掩模图像和延伸区域图像执行颜色转换校正来创建的掩模颜色替换后的学习图像数据不会引起粘膜图像失真。接下来，本发明的发明人通过对粘膜图像执行色调校正来创建粘膜色调校正后的学习图像数据，使得掩模颜色替换后的学习图像数据中的粘膜图像的色调差异不影响学习结果。图像的色调差异可以通过与所使用的内窥镜类型相对应的色调校正来校正。注意，色调校正可以在上述颜色转换校正之前执行。当执行转换校正和色调校正时，学习图像数据几乎不包含噪声元素，从而可以提高学习模型的学习精度。

6、注意，本发明的方法可以使用粘膜色调校正后的学习图像数据通过图像扩展技术来创建扩展学习图像，并且可以将扩展学习图像数据定义为学习图像数据。因此，即使学习图像数据的质量不受学习图像数据的数量的支持，也可以提高学习模型的学习精度。

7、普通掩模图像包括确认内窥镜图像的上下方向的指示符。在这种情况下，优选将延伸区域图像延伸到指示符的存在不影响粘膜图像的区域。这样，可以可靠地消除指示符的存在的影响。

8、在粘膜图像的轮廓是圆形或多边形的情况下，优选地，延伸区域图像是围绕粘膜图像的外周形成环形形状的图像。这样，学习图像数据的图像形状被统一，并且可以减少图像形状差异的影响。

9、可以基于粘膜图像的像素的平均值和离散度来执行颜色转换校正，以将掩模图像和延伸区域图像转换为不对粘膜图像产生影响的颜色的图案图像。

10、可以使用粘膜图像的色调、饱和度和明度的最频繁值作为参考对整个粘膜图像的色调、饱和度和明度（亮度）执行色调校正，以使色调、饱和度和明度的分布没有偏差。

11、当通过使用由本发明的方法创建的学习图像数据而学习得到的学习模型来诊断亨纳型间质性膀胱炎患者的膀胱的内窥镜图像时，与常规方法相比，可以显著提高亨纳型间质性膀胱炎的诊断准确性。

12、本发明可以被理解为一种扩展学习图像数据创建系统，其用于基于其中掩模图像存在于粘膜图像外部的内窥镜图像，利用数据处理器创建扩展学习图像数据。在上述情况下，优选的是，数据处理器包括：延伸处理部，延伸处理部创建延伸处理后的学习图像数据，延伸处理后的学习图像数据具有掩模图像的延伸区域图像，延伸区域图像是通过掩模延伸处理产生的，掩模延伸处理将与掩模图像相邻并且其中粘膜图像由于用于观察粘膜的内窥镜的透镜的影响而失真的区域定义为延伸区域图像；颜色替换处理部，颜色替换处理部对延伸处理后的学习图像数据的掩模图像执行颜色转换校正，来创建掩模颜色替换后的学习图像数据；以及色调校正处理部，色调校正处理部校正粘膜图像的色调以使掩模颜色替换后的学习图像数据中的粘膜图像的色调差异不产生影响，来创建粘膜色调校正后的学习图像数据。

13、此外，数据处理器还包括扩展处理部，扩展处理部使用粘膜色调校正后的学习图像数据通过图像扩展技术来创建扩展学习图像数据。