学习用医疗图像数据生成装置、学习用医疗图像数据生成方法以及程序与流程

1.本发明涉及生成学习用的医疗图像数据的学习用医疗图像数据生成装置、学习用医疗图像数据生成方法以及程序。


背景技术：

2.近年来，开发了针对医用图像示出病变部的候选位置并显示鉴别信息的计算机诊断辅助装置(cad：computer-aided diagnosis)。例如，在日本特开2005-185560号公报中，提出了使装置对医用图像进行学习作为教师数据来检测或鉴别病变部的医用图像处理系统。在日本特开2005-185560号公报中，公开了能够更新教师数据而提高cad的专业性的医用图像处理系统。
3.但是，在生成教师数据时，有时难以根据病例识别病变部。如果是该病例领域的作为专家的医生，则能够识别病变部，但对于不是作为该病例领域的专家的医生，有时无法判别病变部的有无及其病变区域。例如，在使用了白色光的通常观察的内窥镜图像中，对于不是作为该病例领域的专家的医生而言，有时难以根据病例而识别病变部。
4.因此，在将难以判别这样的病变部的有无及其病变区域的医用图像作为教师数据的情况下，专家必须实际观察医用图像，进行病变部的病变区域的指定的作业。因此，存在用于将病变部的图像数据提供给医用图像处理系统进行学习的教师数据的生成花费大量的时间的问题。
5.因此，本发明的目的在于提供一种能够简单地生成教师数据的学习用医疗图像数据生成装置、学习用医疗图像数据生成方法以及程序。


技术实现要素：

6.用于解决课题的手段
7.本发明的一个方式的学习用医疗图像数据生成装置具有：第一图像取得部，其取得第一医疗图像；第二图像取得部，其取得不同于所述第一医疗图像的第二医疗图像，所述第二医疗图像是通过拍摄与所述第一医疗图像大致相同的部位而获得的图像；病变区域信息生成部，其生成关于所述第二医疗图像内的病变部的病变区域信息；以及数据生成部，其生成将所述第一医疗图像与所述病变区域信息关联起来而成的学习用医疗图像数据。
8.在本发明的一个方式的学习用医疗图像数据生成方法中，取得第一医疗图像，取得不同于所述第一医疗图像的第二医疗图像，所述第二医疗图像是通过拍摄与所述第一医疗图像大致相同的部位而获得的图像，生成关于所述第二医疗图像内的病变部的病变区域信息，生成将所述第一医疗图像与所述病变区域信息关联起来而成的学习用医疗图像数据。
9.本发明的一个方式的程序使计算机执行如下处理：取得第一医疗图像；取得不同于所述第一医疗图像的第二医疗图像，所述第二医疗图像是通过拍摄与所述第一医疗图像
大致相同的部位而获得的图像；生成关于所述第二医疗图像内的病变部的病变区域信息；以及生成将所述第一医疗图像与所述病变区域信息关联起来而成的学习用医疗图像数据。
附图说明
10.图1是本实施方式所涉及的医用系统的结构图。
11.图2是示出本实施方式的服务器的结构的框图。
12.图3是表示本实施方式所涉及的图像数据的处理流程的例子的流程图。
13.图4是用于说明本实施方式所涉及的教师用数据的生成过程的图。
14.图5是表示本实施方式所涉及的教师数据表的结构的图。
具体实施方式
15.以下，使用附图对实施方式进行说明。
16.(系统结构)
17.图1是本实施方式所涉及的医用系统的结构图。医用系统1是内窥镜系统，包括内窥镜装置2和计算机诊断辅助装置(以下，称为cad装置)3。内窥镜装置2具有：内窥镜4，其具有插入部4a；视频处理器6，其与从内窥镜4延伸出的通用线缆5连接；以及显示装置7，其与视频处理器6连接。内窥镜装置2通过信号线8与cad装置3连接。
18.当医生将插入部4a插入到被检体内时，通过插入部4a的前端部的观察窗而得到的被检体内的部位的图像作为内窥镜图像被显示于显示装置7。医生观察显示于显示装置7的内窥镜图像，进行病变部的发现和鉴别。此外，来自设置于视频处理器6内的光源装置6d的、对检查部位进行照明的照明光从插入部4a的前端通过光导而从插入部4a的前端部的照明窗射出，其中该光导贯穿插入于插入部4a内。
19.视频处理器6具有控制部6a、存储装置6b、操作面板6c以及光源装置6d。医生等能够对操作面板6c进行操作，给予针对内窥镜装置2的各种指示。内窥镜装置2具有第一观察模式和与第一观察模式不同的第二观察模式。内窥镜装置2具有作为所谓通常光观察模式的白色光观察模式和作为所谓特殊光观察模式的窄带光观察模式这2个观察模式作为观察模式。观察模式的切换能够通过医生等对操作面板6c进行操作来进行。由此，医生能够选择2个观察模式中的期望的1个观察模式来观察被检体内。另外，医生还能够在观察中切换观察模式。
20.光源装置6d在观察模式为白色光观察模式时射出白色光，在观察模式为窄带光观察模式时射出规定的窄带光。白色光是包含rgb的波长的宽带光。窄带光例如是中心波长为415nm和540nm这2个窄带光。
21.来自观察部位的反射光通过未图示的摄像元件进行光电转换而生成内窥镜图像。所生成的内窥镜图像显示于显示装置7，并且医生通过按下设置于内窥镜4的操作部4b的释放开关4c，由此能够以静态图像或动态图像存储于存储装置6b。因此，将在各观察模式下得到的静态图像和动态图像的内窥镜图像的图像数据记录在存储装置6b中。
22.控制部6a包括中央处理装置(cpu)、rom、ram。存储装置6b是硬盘装置等可改写的大容量的非易失性存储器。控制部6a通过读出存储于rom以及存储装置6b中的用于各种功能的软件程序并在ram中展开并执行，从而实现内窥镜装置2的各种功能。
23.内窥镜装置2和cad装置3能够通过信号线8进行通信。来自内窥镜装置2的内窥镜图像的图像数据实时地输入到cad装置3。cad装置3检测所输入的内窥镜图像的图像数据中的病变部，并将其检测结果信息输出到内窥镜装置2。内窥镜装置2将检测结果信息与内窥镜图像一起显示于显示装置7。
24.cad装置3具有病变部检测程序ldp。这里，病变部检测程序ldp的病变部检测算法利用将包含病变部的图像数据作为教师数据进行机器学习而得到的模型。因此，cad装置3使用该病变部检测程序ldp，实时地进行从内窥镜装置2接收到的内窥镜图像中的病变部的检测。cad装置3在内窥镜图像中发现病变部时，提取所发现的病变部的区域信息，将病变部的检测消息等发送到内窥镜装置2。在内窥镜装置2的显示装置7上显示来自cad装置3的检测消息。其结果，医生能够一边观察显示于显示装置7的内窥镜图像，一边识别来自cad装置3的病变部检测结果。
25.内窥镜装置2通过网络12与服务器11连接。网络12可以是因特网，也可以是lan。服务器11具有处理器13和存储装置14。如后所述，服务器11具有根据在内窥镜装置2中得到的内窥镜图像的图像数据而生成教师数据的教师数据生成程序tdc。
26.图2是表示服务器11的结构的框图。服务器11具有处理器13、存储装置14、通信电路15、显示装置16、包含键盘和鼠标的输入装置17。处理器13、存储装置14、通信电路15、显示装置16以及输入装置17经由总线18相互连接。此外，显示装置16和输入装置17分别经由接口(i/f)16a、17a与总线18连接。
27.处理器13包括中央处理装置(cpu)、rom、ram。处理器13读出并执行存储于rom以及存储装置14中的程序。此外，处理器13的一部分也可以由fpga(field programmable gate array：现场可编程门阵列)等半导体装置、电子电路等构成。
28.存储装置14包括存储各种程序的程序存储区域14a、存储第一图像g1的第一图像存储区域14b、存储第二图像g2的第二图像存储区域14c、以及存储教师数据的教师数据存储区域14d。第一图像g1是在内窥镜装置2中以白色光观察模式得到的白色光图像，第二图像g2是在内窥镜装置2中以窄带光观察模式得到的窄带光图像。
29.程序存储区域14a包含教师数据生成程序tdc和病变部检测算法生成程序ldc。教师数据生成程序tdc是使用在内窥镜装置2中得到的内窥镜图像，生成用于病变部检测算法的教师数据的软件程序。关于教师数据生成程序tdc的处理在后面叙述。
30.病变部检测算法生成程序ldc的病变部检测算法是使用由教师数据生成程序tdc生成的教师数据进行了学习的算法。病变部检测算法生成程序ldc生成存储在cad装置3中的病变部检测程序ldp的检测算法的部分程序。
31.此外，在此，教师数据生成程序tdc在服务器11中执行，但也可以在个人计算机等计算机中执行。
32.(教师数据的生成处理)
33.对教师数据的生成处理进行说明。图3是表示图像数据的处理流程的例子的流程图。图3表示教师数据生成程序tdc的处理。由处理器13从存储装置14读出并执行教师数据生成程序tdc。
34.在进行教师数据的生成处理之前，将在内窥镜装置2中取得的各观察模式的内窥镜图像经由网络12传送到服务器11。将在白色光观察模式下拍摄而取得的白色光图像作为
第一图像g1存储在第一图像存储区域14b中。将在窄带光观察模式下拍摄而取得的窄带光图像作为第二图像g2存储于第二图像存储区域14c中。因此，将在内窥镜装置2中每次检查时取得的2个观察模式下的多个内窥镜图像的图像数据存储并蓄积在第一图像存储区域14b和第二图像存储区域14c中。
35.另外，在此，从内窥镜装置2经由网络12将第一图像g1和第二图像g2的图像数据传输到服务器11，但也可以将第一图像g1和第二图像g2的图像数据从存储装置6b传输到usb(universal serial bus：通用串行总线)存储器等存储介质并进行记录，将该存储介质安装到服务器11而将第一图像g1和第二图像g2的图像数据存储到第一图像存储区域14b和第二图像存储区域14c。
36.处理器13执行教师数据生成程序tdc，使用第一图像和第二图像生成教师用数据。首先，处理器13从第一图像存储区域14b取得第一图像g1(步骤(以下，简称为s)1)。第一图像g1的取得通过使生成教师用数据的数据生成者从存储于第一图像存储区域14b的多个内窥镜图像中选择1张来进行。例如，使显示装置16显示存储在第一图像存储区域14b中的多个白色光图像，数据生成者通过输入装置17从所显示的多个白色光图像中选择1张。
37.接着，处理器13从第二图像存储区域14c取得第二图像g2(s2)。第二图像g2的取得也通过使生成教师用数据的数据生成者从存储于第二图像存储区域14c的多个内窥镜图像中选择1张来进行。例如，使显示装置16显示存储于第二图像存储区域14c的多个窄带光图像，数据生成者从所显示的多个窄带光图像中选择1张。
38.因此，s1的处理构成取得第一医疗图像的第一图像取得部，s2的处理与第一医疗图像不同，构成第二图像取得部，该第二图像取得部取得拍摄与第一医疗图像大致相同的部位而得到的第二医疗图像。
39.另外，在第一图像存储区域14b中存储的白色光图像是动态图像时，数据生成者一边观看再现中的动态图像，一边选择并取得暂时停止而确定的1张静态图像作为第一图像g1。同样地，在第二图像存储区域14c中存储的窄带光图像是动态图像时，数据生成者一边观看再现中的动态图像，一边选择并取得暂时停止而确定的1张静态图像作为第二图像g2。即，第一医疗图像和第二医疗图像也可以分别是从动态图像中选择出的静态图像。
40.处理器13提取所取得的第二图像g2中的病变部的病变区域(s3)。病变部的病变区域的提取能够根据第二图像g2中的色调的差、规定的特征量的有无等来提取。例如，提取具有规定颜色的亮度值为规定阈值以上的像素值的区域作为病变区域。
41.另外，在此，处理器13通过图像处理提取病变区域，但数据生成者也可以在显示于显示装置16的第二图像g2上，使用鼠标等输入装置17描绘病变部的区域的边界来设定病变区域。
42.处理器13进行第一图像g1和第二图像g2的对位(s4)。在s3中，提取第一图像g1和第二图像g2各自中的2个以上的特征点，基于提取出的2个以上的特征点，检测并调整第一图像g1和第二图像g2的偏移量。另外，也可以对第一图像g1中的血管图案和第二图像g2中的血管图案的位置等进行比较，检测第一图像g1和第二图像g2的偏移量。s4的处理构成进行第一医疗图像与第二医疗图像的对位的对位部。
43.图4是用于说明教师用数据的生成过程的图。在s1、s2中，由数据生成者选择作为白色光图像的第一图像g1和作为窄带光图像的第二图像g2。第一图像g1是白色光图像，病
变部以难以视觉辨认的方式被显示。另一方面，第二图像g2是使用了上述2个窄带光的窄带光图像，病变区域lr以可识别的方式显示在第二图像g2中。由于在与取得了第一图像g1的时机不同的时机取得了第二图像，所以第一图像g1和第二图像g2即使是拍摄被检体内的大致相同的部位而得到的图像，视点位置等也不同。
44.因此，在s4中，检测第一图像g1和第二图像g2各自中的2个以上的特征点，根据2个以上的特征点的位置，计算第二图像g2相对于第一图像g1上的偏移量，根据计算出的偏移量进行第一图像g1和第二图像g2的对位。在图4中，双点划线所示的第二图像g2的中心位置不仅在xy方向上相对于第一图像g1的中心位置偏移，而且第二图像g2相对于第一图像g1绕视线方向旋转了角度θ。因此，在s4中，检测第二图像g2相对于第一图像g1的、xy方向上的位置偏移量和绕视线方向的旋转角θ，进行第一图像的被摄体像与第二图像中的被摄体像的对位。
45.另外，对位也可以包括用于调整被摄体的大小的第二图像g2的尺寸的放大或缩小处理。这是因为，存在取得第一图像g1时的从插入部4a的前端到被摄体的距离与取得第二图像g2时的从插入部4a的前端到被摄体的距离不同的情况。
46.此外，在图4的例子中，检测第二图像g2相对于第一图像g1的、xy方向上的位置偏移量和绕视线方向的旋转角θ，但也可以检测第一图像g1的视线方向与第二图像g2的视线方向所成的角度，对该角度也进行对位。即，在与第一图像g1的视线方向垂直的面和与第二图像g2的视线方向垂直的面不平行时，也可以进行校正以使第二图像g2变形，而使与第二图像g2的视线方向垂直的面和与第一图像g1的视线方向垂直的面平行。
47.在s4之后，处理器13进行遮罩(mask)区域mr的设定(s5)。遮罩区域mr是遮罩在第一图像g1中病变区域lr以外的区域的区域。因此，在图4中，进行了对位后的第二图像g2中的病变区域lr的、第一图像g1中的区域(用双点划线表示)以外的区域是遮罩图像mg的遮罩区域mr(用斜线表示的区域)。在s5中，生成规定遮罩区域mr的遮罩图像mg。
48.另外，这里设定了遮罩区域mr，但在s5中，也可以生成表示病变区域lr的区域的病变区域信息。具体而言，也可以在s5中生成指定在图4中第一图像g1中的双点划线所示的区域(即病变区域lr)的信息。
49.因此，s5的处理构成病变区域信息生成部，该病变区域信息生成部生成关于第二医疗图像(窄带光图像)内的病变部的病变区域信息(遮罩区域信息或病变区域信息)。在s5中，根据相对于第一医疗图像进行了对位后的第二医疗图像内的病变部的病变区域而生成病变区域信息。
50.在s5之后，处理器13生成教师数据，并存储于教师数据存储区域14d的教师数据表tbl(s6)，在此生成的教师数据包含第一图像g1的图像数据和遮罩图像mg的遮罩区域信息mri。即，教师数据构成将第一图像g1与病变区域信息关联起来而成的学习用医疗图像数据。
51.图5是示出教师数据表tbl的结构的图。教师数据表tbl存储多组数据，每组数据由第一图像g1的图像数据和表示该第一图像g1中的病变区域的遮罩区域信息mri构成。如图5所示，例如，第一图像数据“g100001”和遮罩区域信息“mri 00001”构成1组数据。各组的数据构成1个教师数据。由此，s6的处理构成生成将第一医疗图像(白色光图像)与病变区域信息关联起来而成的学习用医疗图像数据的数据生成部。
52.通过执行以上的s1至s6的处理，生成1个教师数据。因此，数据生成者通过反复进行s1至s6的处理，能够简单地生成较多的作为学习用医疗图像数据的教师数据。
53.将所生成的教师数据用作病变部检测程序ldp的病变部检测算法的病变部检测模型的学习用医疗图像数据。通过增加教师数据，更新通过机器学习得到的病变部检测模型，可期待病变部检测算法的病变部检测精度的提高。如虚线所示那样将利用了更新后的病变部检测模型的病变部检测程序ldp从服务器11经由网络12发送到cad装置3，更新病变部检测算法的软件程序。其结果，在内窥镜装置2中，病变部检测精度提高的检测结果信息与内窥镜图像一起显示于显示装置7。
54.因此，根据上述的实施方式，能够提供能够简单地生成教师数据的学习用医疗图像数据生成装置。
55.另外，在上述的实施方式中，进行了第一图像g1和第二图像的对位处理(s4)，但在观察模式的切换时机得到的第一图像g1和第二图像g2的情况下，也可以不进行对位处理。
56.例如，有时在白色光观察模式下取得白色光图像之后立即操作操作面板6c而将观察模式从白色光观察模式切换为窄带光观察模式，在该切换之后立即取得窄带光图像。在这样的情况下，有时内窥镜4的插入部4a的位置和朝向几乎不变化。
57.或者，根据观察模式切换时机，在将即将切换之前的白色光图像(或窄带光图像)和刚切换之后的窄带光图像(或白色光图像)分别自动地取得为第一图像g1和第二图像g2时，取得了第一图像g1和第二图像g2时的内窥镜4的插入部4a的位置和朝向几乎没有变化。
58.因此，在根据这样取得的第一图像g1和第二图像g2生成教师数据的情况下，能够省略图3的s4的处理。
59.另外，在上述实施方式中，内窥镜装置2具有白色光观察模式和窄带光观察模式这2个观察模式，第一图像是白色光图像，第二图像是中心波长为415nm和540nm这2个窄带光的窄带光图像，但只要是能够检测期望的病变的波长，第二图像也可以是中心波长为415nm和540nm以外的波段的窄带光图像。
60.并且，也可以是，内窥镜装置2具有白色光观察模式和窄带光观察模式以外的观察模式，第一图像是白色光图像，第二图像是荧光观察图像。
61.此外，第一图像可以是白色光图像，第二图像可以是利用包含碘的卢戈氏溶液等对观察部位进行染色而得到的染色图像、将靛蓝胭脂红等散布于观察部位而得到的着色图像。
62.并且，第一图像可以是白色光图像，第二图像可以是由其他模态得到的图像(x射线图像、超声波图像等)、包含之后通过钳子进行了活检的区域的图像等。
63.根据上述的实施方式以及各变形例，例如对于除了作为专家的医生以外的医生难以或无法识别病变部的病例，也能够迅速地生成教师数据。其结果，上述实施方式和各变形例的学习用医疗图像数据生成装置有助于迅速提供能够进行降低了病变部的漏看率的、准确度高的活检部位的提示的cad装置。
64.此外，执行以上说明的动作的程序作为计算机程序产品，在软盘、cd-rom等可移动介质、硬盘等存储介质中记录或者存储其整体或者一部分。该程序由计算机读取，执行动作的全部或一部分。或者，能够经由通信网络流通或提供该程序的整体或一部分。使用者通过经由通信网络下载该程序并安装到计算机中，或者从记录介质安装到计算机中，能够容易
地实现本发明的学习用医疗图像数据生成装置。
65.本发明并不限定于上述的实施方式，在不改变本发明的主旨的范围内，能够进行各种变更、改变等。