程序、信息处理方法、信息处理装置以及诊断支持系统与流程

1.本技术涉及一种程序、信息处理方法、信息处理装置以及诊断支持系统。
2.本技术主张基于2020年3月26日提交的日本技术第2020-056712号的优先权，并引用所述日本技术中记载的全部公开内容。


背景技术：

3.在患者的肿瘤检查中，特别是在气管及支气管内、上消化道、胰脏、胆道或肠道等管状器官部位，要将内窥镜插入到相关管状器官部位，通过插入的内窥镜影像进行大部分检查。但是，在内窥镜图像的二维图像信息中，并不知道到各像素之间的距离，且存在图像的几何失真，图像测量时的误差较大，因此，很难直接用内窥镜图像提供图像诊断支持信息。对此，专利文献1中公开的虚拟内窥镜利用x射线ct(computed tomography，计算机断层扫描)图像的数据来提供虚拟内窥镜图像。根据x射线ct的三维图像创建该虚拟内窥镜图像。
4.现有技术文献
5.专利文献
6.专利文献1：日本特开2002-238887号公报


技术实现要素：

7.发明所要解决的课题
8.然而，专利文献1中公开的虚拟内窥镜只显示截面的x射线ct重建图像(虚拟内窥镜图像)，并没有考虑到基于内窥镜图像及虚拟内窥镜图像提供内窥镜操作的相关信息，进行诊断支持。
9.一方面，本发明的目的旨在提供一种能提供关于内窥镜操作的信息，开展有效的诊断支持的程序等。
10.用于解决课题的技术方案
11.本公开的一个实施方式的程序使计算机执行以下处理：从内窥镜获取受试者的内窥镜图像；获取利用x射线ct、x射线锥形束ct、mri-ct、超声波诊断装置等能够用三维图像对所述受试者体内进行拍摄的单元拍摄体内的三维医用图像；基于获取的所述内窥镜图像，生成由所述三维医用图像重建的虚拟内窥镜图像；基于所述虚拟内窥镜图像及所述内窥镜图像，导出所述内窥镜图像中的距离图像信息；以及基于所述距离图像信息及所述三维医用图像，输出关于所述内窥镜操作的操作支持信息。
12.本公开的一个实施方式的信息处理方法使计算机执行以下处理：从内窥镜获取受试者的内窥镜图像；获取利用x射线ct、x射线锥形束ct、mri-ct、超声波诊断装置等能够用三维图像对所述受试者体内进行拍摄的单元拍摄体内的三维医用图像；基于获取的所述内窥镜图像，生成由所述三维医用图像重建的虚拟内窥镜图像；基于所述虚拟内窥镜图像及所述内窥镜图像，导出所述内窥镜图像中的距离图像信息；以及基于所述距离图像信息及
所述三维医用图像，输出关于所述内窥镜操作的操作支持信息。
13.本公开的一个实施方式的信息处理装置具备：内窥镜图像获取部，其从内窥镜获取受试者的内窥镜图像；三维医用图像获取部，其获取利用x射线ct、x射线锥形束ct、mri-ct、超声波诊断装置等能够用三维图像对所述受试者体内进行拍摄的单元拍摄体内的三维医用图像；生成部，其基于获取的所述内窥镜图像，生成由所述三维医用图像重建的虚拟内窥镜图像；导出部，其基于所述虚拟内窥镜图像及所述内窥镜图像，导出所述内窥镜图像中的距离图像信息；以及输出部，其基于所述距离图像信息及所述三维医用图像，输出关于所述内窥镜操作的操作支持信息。
14.本公开的一个实施方式的诊断支持系统具备：内窥镜；自动操作机构，其进行所述内窥镜的自动操作；以及内窥镜处理器，其从所述内窥镜获取受试者的内窥镜图像；所述内窥镜处理器包括：三维医用图像获取部，其获取利用x射线ct、x射线锥形束ct、mri-ct、超声波诊断装置等能够用三维图像对所述受试者体内进行拍摄的单元拍摄体内的三维医用图像；生成部，其基于获取的所述内窥镜图像，生成由所述三维医用图像重建的虚拟内窥镜图像；导出部，其基于所述虚拟内窥镜图像及所述内窥镜图像，导出所述内窥镜图像中的距离图像信息；以及输出部，其基于所述距离图像信息及所述三维医用图像，将关于所述内窥镜操作的操作支持信息输出到所述自动操作机构；所述自动操作机构根据从所述输出部输出的所述操作支持信息，进行所述内窥镜的自动操作。
15.发明效果
16.根据本公开，可以提供一种能提供关于内窥镜操作的信息，开展有效的诊断支持的程序等。
附图说明
17.图1是示出实施方式1所涉及的诊断支持系统概要的示意图。
18.图2是示出诊断支持系统中所包括的内窥镜装置的结构例的框图。
19.图3是示出诊断支持系统中所包括的信息处理装置的结构例的框图。
20.图4是例示内窥镜图像db的数据布局的说明图。
21.图5是说明使用操作信息学习模型输出操作支持信息的处理的说明图。
22.图6是说明使用一致度学习模型输出与内窥镜图像的一致度的处理的说明图。
23.图7是例示信息处理装置的控制部中所包括的功能部的功能框图。
24.图8是示出内窥镜插入距离(s坐标的值)的说明图。
25.图9是关于内窥镜图像和三维医用图像之间的关联的说明图。
26.图10是示出由信息处理装置的控制部执行的处理步骤的一例的流程图。
27.图11是示出集成图像显示画面的一个形态的说明图。
28.图12是例示实施方式2(弯曲历史)所涉及的信息处理装置的控制部中所包括的功能部的功能框图。
29.图13是示出由信息处理装置的控制部执行的处理步骤的一例的流程图。
30.图14是示出实施方式3(自动操作机构)所涉及的诊断支持系统概要的示意图。
31.图15是例示信息处理装置的控制部中所包括的功能部的功能框图。
具体实施方式
32.(实施方式1)
33.在下文中，将参照示出其实施方式的附图来具体说明本发明。图1是示出实施方式1所涉及的诊断支持系统s概要的示意图。诊断支持系统s包括：内窥镜装置10，以及与内窥镜装置10可通信地连接的信息处理装置6。
34.内窥镜装置10将由内窥镜40的摄像元件所拍摄的图像(拍摄图像)传送到内窥镜用处理器20，由内窥镜用处理器20进行伽马校正、白平衡校正、阴影校正等各种图像处理，从而生成操作者容易目视的状态的内窥镜图像。内窥镜装置10将所生成的内窥镜图像输出(发送)到信息处理装置6。信息处理装置6获取了从内窥镜装置10发送的内窥镜图像后，基于这些内窥镜图像进行各种信息处理，并输出关于诊断支持的信息。
35.内窥镜装置10包括内窥镜用处理器20、内窥镜40和显示装置50。显示装置50例如是液晶显示装置或有机el(electro luminescence，电致发光)显示装置。
36.显示装置50设置在带脚轮的收容架16的上层。内窥镜用处理器20收纳在收容架16的中层。收容架16配置在省略图示的内窥镜检查用床的附近。收容架16具有抽屉式棚架，该抽屉式棚架用于装载与内窥镜用处理器20相连接的键盘15。
37.内窥镜用处理器20呈大致长方体形状，并且在一面上具备触摸面板25。在触摸面板25的下部配置有读取部28。读取部28例如是usb连接器、sd(secure digital，安全数字)卡槽、或者cd-rom(compact disc read only memory，只读光盘存储器)驱动器等的、用于进行便携式记录介质的读写的连接用接口。
38.内窥镜40具有插入部44、操作部43、通用软线49和观测器用连接器48。操作部43设置有控制按钮431。插入部44为细长的，一端经由止弯部45与操作部43连接。插入部44从操作部43侧依次具有柔性部441、弯曲部442以及前端部443。弯曲部442因应弯曲旋钮433的操作而弯曲。在插入部44中安装3轴加速度传感器、陀螺仪传感器、地磁传感器、磁线圈传感器或者内窥镜插入形状观测装置(colonavi)等物理检测装置，当将内窥镜40插入受试者的体内时，就可以获取这些物理检测装置的检测结果。
39.通用软线49是细长的，其中第一端连接到操作部43，第二端连接到观测器用连接器48。通用软线49是柔性的。观测器用连接器48呈大致长方体形状。在观测器用连接器48上设有用于连接供气供水用管的供气供水口36(参照图2)。
40.图2是示出诊断支持系统s中所包括的内窥镜装置10的结构例的框图。控制部21是用于执行本实施方式中的程序的运算控制装置。控制部21使用一个或多个cpu(central processing unit，中央处理器)、gpu(graphics processing unit，图形处理器)或者多核cpu等。控制部21经由总线与用于构成内窥镜用处理器20的硬件各部相连接。
41.主存储装置22例如是sram(static random access memory，静态随机存取存储器)、dram(dynamic random access memory，动态随机存储器)、闪存等存储装置。主存储装置22暂时保存由控制部21进行处理过程中所需的信息、以及在控制部21中正在执行的程序。辅助存储装置23例如是sram、闪存或硬盘等存储装置，是容量比主存储装置22大的存储装置。例如可以将获取的拍摄图像、生成的内窥镜图像作为中间数据保存于辅助存储装置23中。
42.通信部24是用于通过有线或无线方式经由网络与信息处理装置6进行通信的通信
模块或通信接口，例如wifi(注册商标)、bluetooth(注册商标)等窄带无线通信模块或4g、lte等宽带无线通信模块。触摸面板25包括液晶显示面板等显示部和层叠在显示部上的输入部。通信部24可与ct装置、mri装置(参照图5)、超声波诊断装置或用于保存从这些装置输出的数据的存储装置(未图示)通信。
43.显示装置i/f26是用于连接内窥镜用处理器20和显示装置50的接口。输入装置i/f27是用于连接内窥镜用处理器20和键盘15等输入装置的接口。
44.光源33例如是白色led、氙气灯等高亮度的白色光源。光源33经由省略图示的驱动器与总线连接。光源33的点亮、熄灭以及亮度的变更由控制部21控制。从光源33照射的照明光入射到光学连接器312上。光学连接器312与观测器用连接器48卡接，并且向内窥镜40提供照明光。
45.泵34产生内窥镜40的供气供水功能用压力。泵34经由省略图示的驱动器与总线连接。泵34的开、关以及压力的变更由控制部21控制。泵34经由供水箱35与设置在观测器用连接器48上的供气供水口36相连接。
46.以下说明与内窥镜用处理器20连接的内窥镜40的功能概要。在观测器用连接器48、通用软线49、操作部43和插入部44的内部，插入有纤维束、线缆束、供气管和供水管等。从光源33射出的照明光经由光学连接器312及纤维束，从设置在前端部443上的照明窗发射。利用设置在前端部443上的摄像元件拍摄由照明光照射的范围。从摄像元件经由线缆束及电连接器311向内窥镜用处理器20传送拍摄图像。
47.内窥镜用处理器20的控制部21通过执行主存储装置22中所存储的程序，从而发挥图像处理部211的功能。图像处理部211对从内窥镜40输出的图像(拍摄图像)进行伽马校正、白平衡校正、阴影校正等各种图像处理，并作为内窥镜图像输出。
48.图3是示出诊断支持系统s中所包括的信息处理装置6的结构例的框图。信息处理装置6包括控制部62、通信部61、存储部63以及输入输出i/f64。信息处理装置6例如是服务器装置、个人计算机等。服务器装置不仅包括单个服务器装置，还包括由多台计算机构成的云服务器装置或虚拟服务器装置。信息处理装置6也可以设置为云服务器，位于可从内窥镜用处理器20访问的外部网络上。
49.控制部62包括一个或多个cpu(central processing unit，中央处理器)、mpu(micro-processing unit，微处理器)、gpu(graphics processing unit，图形处理器)等具备计时功能的运算处理装置，通过读出并执行存储在存储部63中的程序p，可以进行涉及信息处理装置6的各种信息处理、控制处理等。或者，控制部62也可以由量子计算机用芯片构成，信息处理装置6可以是量子计算机。
50.存储部63包括sram(static random access memory，静态随机存取存储器)、dram(dynamic random access memory，动态随机存储器)、闪存等挥发性存储区域以及eeprom或硬盘等非挥发性存储区域。在存储部63中预先存储有程序p以及处理时要参照的数据。关于存储在存储部63中的程序p，也可以存储从信息处理装置6能够读取的记录介质632读出的程序p。另外，也可以从与未图示的通信网相连接的未图示的外部计算机下载程序p，并存储到存储部63中。在存储部63中保存有构成后述多个学习模型(91、92)的实际文件(神经网络(nn)的实例文件)。这些实际文件也可以构成为程序p的一部分。另外，还可以在存储部63中存储后述内窥镜图像db631(database，数据库)。
51.通信部61是用于通过有线或无线方式与内窥镜装置10进行通信的通信模块或通信接口，例如wifi(注册商标)、bluetooth(注册商标)等窄带无线通信模块或4g、lte等宽带无线通信模块。通信部61可与ct装置、mri装置(参照图5)、超声波诊断装置或用于保存从这些装置输出的数据的存储装置(未图示)通信。
52.输入输出i/f64符合例如usb或dsub等通信标准，并且是用于与连接到输入输出i/f64的外部设备进行串行通信的通信接口。输入输出i/f64连接有例如显示器等显示部7、键盘等输入部8，控制部62将基于从输入部8输入的执行命令或事件而进行的信息处理结果输出到显示部7。
53.图4是例示内窥镜图像db631的数据布局的说明图。内窥镜图像db631存储在信息处理装置6的存储部63中，由安装于信息处理装置6中的rdbms(relational database management system，关系数据库管理系统)等数据库管理软件构成。或者，内窥镜图像db631也可以存储在与信息处理装置6可通信地连接的存储装置等能从信息处理装置6访问的预定存储区域中。或者，内窥镜图像db631也可以存储在内窥镜装置10的主存储装置22中。也就是说，预定存储区域包括信息处理装置6的存储部63、内窥镜装置10的主存储装置22以及可从信息处理装置6或内窥镜装置10访问的存储装置。信息处理装置6可以获取内窥镜用处理器20输出的内窥镜图像、检查日期时间以及受试者的属性信息，并登录到内窥镜图像db631中。或者，也可以将从内窥镜用处理器20直接输出的内窥镜图像、检查日期时间以及受试者的属性信息直接登录到内窥镜图像db631中。
54.内窥镜图像db631例如包括受试者主表以及图像表，利用受试者主表和图像表中共同包括的项目(元数据)即受试者id，对两表建立关联。
55.受试者主表包括例如受试者id、性别、出生日期和年龄作为管理项目(元数据)。在受试者id的项目(字段)中，存储用于唯一确定接受内窥镜检查的受试者的id信息。在性别及出生日期的项目(字段)中存储该受试者id的性别及出生日期的生物属性，在年龄的项目(字段)中存储由出生日期计算出的当前时刻的年龄。这些性别、年龄作为受试者的生物信息，通过受试者主表进行管理。
56.图像表包括例如受试者id、检查日期时间、内窥镜图像、帧号、s坐标(插入距离)、三维医用图像、视点位置、视点方向和虚拟内窥镜图像作为管理项目(元数据)。
57.受试者id的项目(字段)用于与由受试者主表所管理的受试者生物属性相关联，存储相关受试者各自的id值。在检查日期时间的项目(字段)中，存储相关受试者id的受试者接受内窥镜检查的日期时间。在内窥镜图像的项目(字段)中，将相关受试者id的内窥镜图像作为对象数据进行存储。内窥镜图像也可以是1帧的例如jpeg格式静止图像或者是数帧的例如avi格式运动图像。在内窥镜图像的项目(字段)中，也可以存储表示作为文件而保存的该内窥镜图像的保存位置(文件路径)的信息。
58.在帧号的项目(字段)中，如果内窥镜图像是运动图像，则存储该运动图像的帧号。通过存储运动图像的帧号，即使内窥镜图像为运动图像，也可以和静止图像一样地进行处理，并且可以和后述三维医用图像或虚拟内窥镜图像的位置信息(体内坐标系中的坐标)相关联。
59.在s坐标(插入距离)的项目(字段)中，作为s坐标的值，存储同一记录中存储的内窥镜图像拍摄时刻内窥镜40的插入距离。插入距离(s坐标)的导出等将在后面叙述。
60.在三维医用图像的项目(字段)中，将基于从ct装置(x射线ct、x射线锥形束ct)或mri装置(mri-ct)、超声波诊断装置等能够用三维图像对体内进行拍摄的单元输出的数据而生成的、例如dicom(digital imaging and communications in medicine，医学数字成像与通信)格式的三维医用图像作为对象数据进行存储。或者，也可以存储表示作为文件而保存的该三维医用图像的保存位置(文件路径)的信息。
61.在视点位置的项目(字段)中，存储在拍摄内窥镜图像的时刻内窥镜40在体内的坐标，即三维医用图像坐标系中的坐标。视点位置的导出等将在后面叙述。
62.在视点方向的项目(字段)中，存储在拍摄内窥镜图像的时刻内窥镜40的方向，即三维医用图像坐标系(体内坐标系中的坐标)中的旋转角。视点方向的导出等将在后面叙述。
63.在虚拟内窥镜图像的项目(字段)中，将由三维医用图像生成的虚拟内窥镜图像作为对象数据进行存储。也可以存储表示作为文件而保存的该虚拟内窥镜图像的保存位置(文件路径)的信息。由三维医用图像生成虚拟内窥镜图像以执行与内窥镜图像的匹配处理，例如，将与内窥镜图像最为一致的虚拟内窥镜图像登录到与该内窥镜图像相同的记录中。虚拟内窥镜图像的生成等将在后面叙述。
64.图5是说明使用操作信息学习模型91输出操作支持信息的处理的说明图。信息处理装置6基于训练数据进行学习，所述训练数据将后述距离图像信息及三维医用图像中所包括的体腔信息作为问题数据，将包括内窥镜40的插入方向、插入量、插入速度及表示插入目的地的目标点坐标等的至少一个的操作支持信息作为回答数据，从而构建(生成)将距离图像信息及三维医用图像作为输入，将包括内窥镜40的插入方向等的操作支持信息作为输出的神经网络(操作信息学习模型91)。
65.假设使用训练数据进行学习的操作信息学习模型91作为人工智能软件的一部分即程序模块而使用。如上所述，操作信息学习模型91在具备控制部62(cpu等)以及存储部63的信息处理装置6中使用，这样由具有运算处理能力的信息处理装置6来执行相关操作，从而构成神经网络系统。也就是说，信息处理装置6的控制部62如下动作：依据存储于存储部63中的操作信息学习模型91的指令，进行运算以提取输入到输入层的距离图像信息及三维医用图像的特征量，并从输出层输出包括内窥镜40的插入方向等的操作支持信息。
66.输入层具有多个神经元用于接受距离图像信息及三维医用图像中所包括的体腔信息，并且将输入的距离图像信息及三维医用图像中所包括的体腔信息传递给中间层。稍后将描述细节，距离图像信息是基于与所获取的内窥镜图像相对应的虚拟内窥镜图像而导出的信息，是该虚拟内窥镜图像中各像素之间的距离的相关信息。内窥镜图像及对应的虚拟内窥镜图像是将同一体内部位的区域作为摄像区域的图像，因此，该距离图像信息相当于内窥镜图像中各像素之间的距离的相关信息。各像素之间的距离是指在三维医用图像坐标系(体内坐标系)中的距离，例如是加上虚拟内窥镜图像中所包括的两个体内部位的纵深而获得的距离。另外，也可以对输入到操作信息学习模型91中的距离图像信息附加内窥镜40的视点位置及方向的相关信息。三维医用图像中所包括的体腔信息是在包括导出了距离图像信息的虚拟内窥镜图像的摄像区域的三维区域中，表示插入内窥镜40的体内器官等的形状(器官的内壁形状)的曲面数据，该曲面数据也可以由例如多项近似式或点集构成。
67.中间层例如呈由一个或多个全连接层组成的单相或多层结构，全连接层中所包括
的多个神经元分别基于输入的距离图像信息及三维医用图像中所包括的体腔信息的值，输出表示激活或去激活的信息。信息处理装置6例如使用误差反向传播法(backpropagation)等来优化在中间层的运算处理中所使用的参数。
68.输出层具有输出包括内窥镜40的插入方向等的操作支持信息的一个或多个神经元，基于从中间层输出的表示各个神经元的激活或去激活的信息，输出该操作支持信息。包括内窥镜40的插入方向等的操作支持信息例如可以是以矢量形式表示该插入方向上内窥镜40的前端部依次通过的、在三维医用图像坐标系(体内坐标系)中的多个坐标值以及旋转角的信息。另外，该操作支持信息也可以包括内窥镜40依次通过时相邻坐标值之间的移动量所对应的速度分量。
69.用作训练数据的距离图像信息及三维医用图像问题数据(问题数据)、以及与这些信息有相关性的包括内窥镜40的插入方向等的操作支持信息将作为在各医疗机构开展的内窥镜40的检查结果数据而被大量保存，通过采用这些结果数据，能够大量生成训练数据用于学习操作信息学习模型91。
70.图6是说明使用一致度学习模型92输出与内窥镜图像的一致度的处理的说明图。信息处理装置6基于将内窥镜图像及虚拟内窥镜图像作为问题数据，将这两个图像的一致度的相关信息作为回答数据的训练数据进行学习，从而构建(生成)将内窥镜图像及虚拟内窥镜图像作为输入，将表示两图像一致度的值等信息作为输出的神经网络(一致度学习模型92)。和操作信息学习模型91一样，假设使用训练数据进行学习的一致度学习模型92作为人工智能软件的一部分即程序模块而使用。
71.输入层具有用于接受内窥镜图像及虚拟内窥镜图像的像素值输入的多个神经元，并且将输入的像素值传递给中间层。中间层具有用于提取内窥镜图像及虚拟内窥镜图像的图像特征量的多个神经元，并将提取的两图像各自的图像特征量传递给输出层。输出层具有一个或多个神经元，用于输出表示所输入的内窥镜图像及虚拟内窥镜图像的一致度的值等该一致度的相关信息，并且基于从中间层输出的两图像各自的图像特征量，输出一致度的相关信息。
72.当一致度学习模型92是例如cnn(convolutional neural network，卷积神经网络)时，中间层具有使用于对从输入层输入的各像素的像素值进行卷积的卷积层与用于对在卷积层中卷积的像素值进行映射(压缩)的池化层交替连接的结构，并在压缩内窥镜图像及虚拟内窥镜图像的像素信息的同时，最终提取内窥镜图像及虚拟内窥镜图像的特征量。输出层例如包括全连接层及柔性最大值层，在全连接层中导出根据两图像各自的图像特征量的特征量矢量的内积得出的余弦相似度，在柔性最大值层中基于余弦相似度导出表示一致度的值(确定值)，并作为一致度的相关信息输出。
73.在构建(生成)一致度学习模型92时，例如也可以使用在vgg16模型(caffemodel:vgg_ilsvrc_16_layers)中安装的dcnn等知识库(已学习的模型)，根据基于内窥镜图像及虚拟内窥镜图像的训练数据进行迁移学习，构建该一致度学习模型92。用作训练数据的内窥镜图像以及对应于该内窥镜图像的虚拟内窥镜图像将作为在各医疗机构开展的内窥镜40检查及ct装置等的结果数据而被大量保存，通过采用这些结果数据，能够大量生成训练数据用于学习一致度学习模型92。
74.在本实施方式中，以操作信息学习模型91和一致度学习模型92例如为cnn等神经
网络(nn)为例进行说明，但这些学习模型(91、92)并不限于nn，也可以是svm(support vector machine，支持向量机)、贝叶斯网络、回归树等用其他学习算法构建的学习模型(91、92)。
75.图7是例示信息处理装置的控制部中所包括的功能部的功能框图。内窥镜用处理器20(内窥镜装置10)的控制部21通过执行主存储装置22中所存储的程序，从而发挥图像处理部211的功能。信息处理装置6的控制部62通过执行存储部63中所存储的程序p，从而发挥获取部621、视点位置导出部622、虚拟内窥镜图像生成部623、一致度判定部624、距离图像信息导出部625及操作支持信息输出部626的功能。
76.内窥镜用处理器20的图像处理部211对从内窥镜输出的图像(拍摄图像)进行伽马校正、白平衡校正、阴影校正等各种图像处理，并作为内窥镜图像输出。图像处理部211将所生成的内窥镜图像及基于内窥镜图像的拍摄时刻的检查日期时间输出(发送)到信息处理装置6。图像处理部211还可以将从键盘15输入的受试者id输出到信息处理装置6。为了测量内窥镜40的周边环境，图像处理部211还可以向信息处理装置6输出从配置在内窥镜40的插入部44(柔性管)上的传感器输出的、关于内窥镜40的插入距离(s坐标)的信息。图像处理部211也可以将从传感器获取的、关于内窥镜40的插入距离的信息例如叠加于内窥镜图像上并显示于显示装置中。
77.用于获取内窥镜40插入体内的距离即s坐标的传感器，例如包括温度传感器、光传感器、压力传感器、润湿传感器(电极)及湿度传感器。例如，当该传感器为光传感器时，光传感器配置在插入部44(柔性管)的内部，即使插入部44(柔性管)被插入体内，仍然能够受光。因此，可以将光传感器接收到更多光的部分识别为体外，将接收到较少光的部分识别为体内。继而，内窥镜用处理器20的控制部21可以基于光传感器所获得的信号，确定位于体腔插入部位即边界位置的光传感器，从而导出插入体内的插入部44(柔性管)的距离(长度)即s坐标。
78.如果是上部内窥镜，对与插入部44(柔性管)相接的未图示的咬嘴等加装辊编码器，使该辊编码器旋转相当于插入部44(柔性管)插入体内的距离，借此可以获取内窥镜40插入体内的距离即s坐标。咬嘴等的辊编码器随着插入部44(柔性管)的进退而旋转，能够测量插入体内的内窥镜40的前端部443和例如与口或鼻等管腔连通的开口部之间的长度，即插入部44(柔性管)的插入距离。辊编码器与内窥镜用处理器20电连接，将所测量的距离传递给内窥镜用处理器20。另外，也可以使用光学式、磁式编码器代替辊编码器。
79.另外，如果是下部内窥镜，通过在肛门部加装相当于咬嘴的物体，就能测量内窥镜插入距离。在将用于测量内窥镜40的插入距离的辅助装置安装到作为被检体入口的体腔插入部位时，通过测量内窥镜40的通过距离，就能够获取内窥镜40插入体内的距离即s坐标。辅助装置可以是例如加装于插入部(柔性管)44的线性标尺等磁场标尺和加装于咬嘴的线性磁头来测量距离，或者可以是加装有辊的内窥镜40的咬嘴。另外，如果将内窥镜40插入鼻或肛门等部位，也可以使用与咬嘴类似的、加装有辊的辅助装置。进而，也可以在内窥镜40的插入部(柔性管)44内置以恒定间隔记录插入距离的芯片。内窥镜用处理器20可以根据咬嘴等获得的、由该芯片记录的s坐标信息，获取内窥镜40插入体内的距离即s坐标。
80.获取部621获取内窥镜用处理器20输出的受试者id、检查日期时间、内窥镜图像及s坐标(插入距离)。获取部621基于获取的受试者id，获取该受试者的三维医用图像，所述三
维医用图像从可通信地连接的ct装置、锥形束ct装置或mri装置、超声波诊断装置等能够用三维图像对体内进行拍摄的单元输出。当从ct装置、锥形束ct装置或mri装置、超声波诊断装置等能够用三维图像对体内进行拍摄的其他检查装置输出的三维医用图像已被保存在例如外部服务器(未图示)中时，信息处理装置6可以访问该外部服务器，并基于从内窥镜用处理器20输出的受试者id，获取该受试者的三维医用图像。
81.三维医用图像是从例如ct装置、锥形束ct装置以及mri装置、超声波诊断装置等能够用三维图像对体内进行拍摄的单元等输出的、由层析图数据构成的体数据所表示的图像，以及从multi slicect装置及采用x射线平板的x射线锥形束ct装置输出的、由体数据所表示的图像。采用x射线ct装置或锥形束ct装置时，图像可以用例如x射线ct进行dual energy(双能量)拍摄，通过有效质量数(effective-z)知晓三维医用图像各像素的组成(体组成)。采用mri装置时，图像可以附加脂肪或乳酸等三维医用图像的各像素组成(体组成)的相关信息。
82.获取部621将获取的s坐标输出到视点位置导出部622。视点位置导出部622基于所获取的s坐标导出对应于该s坐标的三维医用图像的坐标(体内坐标系中的坐标)，即在内窥镜40拍摄时内窥镜40的前端部443所处的视点位置。图8是示出内窥镜40插入距离(s坐标的值)的说明图。如图所示，通过三维医用图像，由内窥镜40拍摄的消化器官等以三维形状展现。在该消化器官等的内壁内侧形成有空间，该空间成为插入内窥镜40的插入路径。内窥镜40的插入距离即s坐标在该插入路径的内侧(消化器官等的内壁的内侧)，是插入路径的路径长度大致等于该插入距离的位置，因此，基于s坐标，可以导出位于消化器官等的内壁内侧的内窥镜40的前端部443的坐标。视点位置导出部622将导出的视点位置的相关信息输出到虚拟内窥镜图像生成部623。
83.获取部621将所获取的三维医用图像输出到虚拟内窥镜图像生成部623。虚拟内窥镜图像生成部623基于所获取的三维医用图像以及从视点位置导出部622获取的视点位置，生成虚拟内窥镜图像。虚拟内窥镜图像是基于对气管及支气管内或肠道等管状器官进行拍摄的x射线ct或mri或x射线锥形束ct的三维医用图像而生成(重建)，通过虚拟内窥镜展现三维医用图像的器官内(体腔内)情况的图像。例如，可以在大肠内充入空气的状态下进行ct拍摄，从大肠内侧对通过该拍摄而获得的三维医用图像进行容积再现，从而生成(重建)大肠的虚拟内窥镜图像。
84.虚拟内窥镜图像生成部623从所获取的三维医用图像中提取受试者体内器官的体素数据。器官包括例如大肠、小肠、肾脏、支气管或血管等，但并不限定于此，也可以是其他器官。另外，在本实施方式中，提取并获取大肠的体素数据。例如，作为对大肠区域进行提取的方法，具体而言，首先基于三维医用图像重建多个垂直于体轴的截面(轴位断层；axial)的轴位断层图像，对于相关各轴位断层图像，采用公知的方法，以基于x射线吸收系数的x射线ct值为阈值求得体表面与体内的边界，并以体表为基准进行分离体外与体内区域的处理。例如，对于重建的轴位断层图像，根据x射线ct值实施二值化处理，并通过轮廓提取处理提取轮廓，将提取出的轮廓内部作为体内(人体)区域进行提取。接着，对于体内区域的轴位断层图像，根据阈值进行二值化处理，提取各轴位断层图像中大肠区域的候选。具体而言，由于大肠管内有空气，因此，设定与空气ct值对应的阈值(例如，小于等于-600hu(hounsfield unit，霍恩斯菲尔德单位))，进行二值化处理，将各轴位断层图像的体内的空
气区域作为大肠区域候选进行提取。虚拟内窥镜图像生成部623以基于视点位置和作为视线方向而设定的旋转角的视线矢量为中心，将呈放射线状延伸的多个光线方向上的体素数据投影到预定的投影面上的中心投影图像作为虚拟内窥镜图像进行重建。另外，作为中心投影的具体方法，例如可以使用公知的容积再现方法等。
85.虚拟内窥镜图像生成部623例如以相当于内窥镜40的前端部443的坐标的视点位置为起点，以例如1
°
的预定单位量逐次变更视点方向即三维医用图像坐标系中的旋转角(θx,θy,θz)，依次生成多个候选的虚拟内窥镜图像。也就是说，虚拟内窥镜图像生成部623例如可以从通过三维医用图像确定的消化器官内部的视点位置，根据被设定为视点方向的多个旋转角投影该消化器官内壁的三维形状，生成多个虚拟内窥镜图像。虚拟内窥镜图像生成部623使所生成的多个虚拟内窥镜图像和生成该虚拟内窥镜图像时所采用的视点方向(旋转角)相关联，并输出到一致度判定部624。
86.获取部621将所获取的内窥镜图像输出到一致度判定部624。一致度判定部624基于所获取的内窥镜图像、从虚拟内窥镜图像生成部623获取的多个虚拟内窥镜图像以及在生成该虚拟内窥镜图像时所采用的视点方向(旋转角)，确定与所获取的内窥镜图像最一致的虚拟内窥镜图像以及在生成该最一致的虚拟内窥镜图像时所采用的视点方向(旋转角)。一致度判定部624通过将所获取的内窥镜图像与多个虚拟内窥镜图像分别进行比较，从而导出内窥镜图像与虚拟内窥镜图像的一致度。
87.一致度判定部624包括一致度学习模型92，其基于输入的内窥镜图像及虚拟内窥镜图像，输出表示两图像一致度的值等信息。一致度判定部624也可以将所获取的内窥镜图像及虚拟内窥镜图像输入到一致度学习模型92中，在一致度学习模型92输出的表示一致度的值(概率值)中，将成为最高值的虚拟内窥镜图像作为对应于该内窥镜图像的虚拟内窥镜图像进行输出。
88.或者，一致度判定部624不限于包括一致度学习模型92的情况，例如也可以通过取内窥镜图像的阴影图像与虚拟内窥镜图像的阴影图像之间的相关性等指标来测量一致度。如果要定量地查看虚拟内窥镜图像与内窥镜图像的一致度，可以查看根据亮度信息求得的阴影图像信息的相关度，判断一致度的高低。或者，一致度判定部624也可以比较所构成的多个虚拟内窥镜图像与内窥镜图像之间的相似度。通过公知的图像处理进行两图像的相似度比较，也可以使用像素数据级的匹配或者由图像提取的特征级的匹配中的任一个。可以通过一致度判定部624，将确定为与内窥镜图像一致度最高的虚拟内窥镜图像以及用于生成该虚拟内窥镜图像的视点方向(旋转角)登录到内窥镜图像db中。一致度判定部624将确定为与内窥镜图像一致度最高的虚拟内窥镜图像以及用于生成该虚拟内窥镜图像的视点位置及方向(旋转角)输出到距离图像信息导出部625。
89.在本实施方式中，一致度判定部624确定与所获取的内窥镜图像最为一致的虚拟内窥镜图像，但并不限定于此。一致度判定部624也可以将一致度在预定值以上的虚拟内窥镜图像确定为能与所获取的内窥镜图像实质上同等看待的虚拟内窥镜图像。通过确定一致度在预定值以上的虚拟内窥镜图像，不需要与作为候选而生成的所有虚拟内窥镜图像全部进行比较，能够实现信息处理装置6的计算负荷及处理时间的减少。或者，一致度判定部624也可以将与所获取的内窥镜图像的差异(差分指数)最小的虚拟内窥镜图像确定为能与所获取的内窥镜图像实质上同等看待的虚拟内窥镜图像。内窥镜图像与虚拟内窥镜图像的差
异(差分指数)相当于该内窥镜图像与虚拟内窥镜图像的一致度的倒数，因此，通过使用导出这种差异(差分指数)的图像比较引擎等，能够有效地获取能与所获取的内窥镜图像实质上同等看待的虚拟内窥镜图像。
90.当一致度不在预定值以上时，一致度判定部624可以通过对从视点位置导出部622获取的视点位置进行微调而获得的视点位置，再次重新生成多个虚拟内窥镜图像，并导出重新生成的多个虚拟内窥镜图像与内窥镜图像的一致度，确定一致度最高的虚拟内窥镜图像。
91.距离图像信息导出部625基于从一致度判定部624获取的虚拟内窥镜图像，导出距离图像信息。距离图像信息是虚拟内窥镜图像中关于虚拟内窥镜图像中各像素之间的距离的信息。各像素之间的距离是指在三维医用图像坐标系(体内坐标系)中的距离，例如是加上虚拟内窥镜图像中所包括的两个体内部位的纵深而获得的距离。虚拟内窥镜图像是将三维医用图像投影变换成二维化的图像，虚拟内窥镜图像中的任意地点对应于三维医用图像中的地点，这些地点表示体内部位的相同位置。该虚拟内窥镜图像中的任意地点可以是图像中最小单位的像素编号(像素坐标)，或者也可以是例如确定预定的体内部位的局部区域(由多个像素构成的区域)的中央部。这样一来，规定任意2个地点就可以导出三维医用图像坐标系中这2个地点之间的距离。也就是说，距离图像信息中的距离相当于与虚拟内窥镜图像的2点相对应的三维医用图像坐标系中的2点的距离。
92.通过虚拟内窥镜图像中的2点确定三维医用图像中的2点。基于所确定的三维医用图像中2点各自的坐标值，可以导出这2点的距离和矢量。将导出的三维医用图像中2点的距离和矢量作为与这2点相对应的虚拟内窥镜图像的2点的距离和向量赋予虚拟内窥镜图像，从而可以生成距离图像即虚拟内窥镜图像中附加有三维医用图像坐标系中的距离信息的虚拟内窥镜图像(距离图像)。距离图像信息导出部625可以将附加有关于各像素之间的距离的信息的虚拟内窥镜图像(距离图像)作为距离图像信息输出。另外，距离图像信息导出部625还可以附加在生成虚拟内窥镜图像时所采用的内窥镜40的视点位置及方向并输出。
93.内窥镜图像对应于基于拍摄该内窥镜图像的内窥镜40的位置(视点位置)和拍摄方向(视点方向)，由三维医用图像重建(生成)的虚拟内窥镜图像。因此，对应于内窥镜图像的虚拟内窥镜图像的距离图像信息也可以应用于该内窥镜图像。即，内窥镜图像中2点之间的距离相当于与该内窥镜图像相对应的虚拟内窥镜图像的2点之间的距离(距离图像中的距离，三维医用图像坐标系的距离)。因此，通过将距离图像(虚拟内窥镜图像)中所包括的距离图像信息应用于内窥镜图像，可以确定该内窥镜图像中所包括的体内部位之间的距离、体内部位的大小等距离信息(内窥镜图像中的距离图像信息)。
94.操作支持信息输出部626获取从距离图像信息导出部625输出的距离图像信息以及内窥镜40的视点位置和方向(旋转角)。操作支持信息输出部626获取从获取部621输出的三维医用图像，并提取该三维医用图像中所包括的体腔信息。如上所述，三维医用图像中所包括的体腔信息是在包括导出了距离图像信息的虚拟内窥镜图像的摄像区域的三维区域中，例如表示插入内窥镜40的体内器官等的形状(器官的内壁形状)的曲面数据。
95.操作支持信息输出部626包括操作信息学习模型91，其基于输入的距离图像信息、内窥镜40的视点位置和方向、以及由曲面数据等表示的三维医用图像中所包括的体腔信息，输出包括内窥镜40的插入方向等的操作支持信息。操作支持信息输出部626将所获取的
距离图像信息、内窥镜40的视点位置和方向、以及由曲面数据等表示的三维医用图像中所包括的体腔信息输入到操作信息学习模型91中，获取从操作信息学习模型91输出的、包括内窥镜40的插入方向等的操作支持信息。
96.如上所述，从操作信息学习模型91输出的操作支持信息例如包括当前时刻即拍摄内窥镜图像的时刻，从内窥镜40的视点位置和方向到表示插入目的地的目标地点为止内窥镜40的插入方向、插入量或插入速度的相关信息。该操作支持信息可以是以矢量形式或矩阵形式表示从内窥镜40的视点位置到目标地点为止的范围内，内窥镜40的前端部443依次通过的、在三维医用图像坐标系(体内坐标系)中的多个坐标值以及旋转角的信息。通过使用内窥镜40依次通过的多个坐标值及旋转角，可以将多个坐标值作为路径点进行连接，从而可以确定插入内窥镜40的路径。操作支持信息输出部626可在导出作为路径点的各个坐标值时，根据插入部(柔性管)44的硬度进行校正，并导出该坐标值。
97.操作支持信息输出部626获取从获取部621输出的内窥镜图像，例如生成在该内窥镜图像中叠加有操作支持信息的图像数据，并输出到显示部7。显示部7基于从操作支持信息输出部626获取的图像数据，显示在内窥镜图像中叠加有操作支持信息的内窥镜图像。
98.将由获取部621获取的受试者id、检查日期时间、内窥镜图像、s坐标、三维医用图像以及由一致度判定部624导出的虚拟内窥镜图像、内窥镜40的视点位置和方向的相关信息关联地保存于内窥镜图像db中。即，信息处理装置的控制部作为db登录部发挥作用，将获取部621以及一致度判定部624获取或导出的各种图像、信息或数据登录到内窥镜图像db中进行保存。
99.图9是关于内窥镜图像和三维医用图像之间的关联的说明图。在本图中，以面向对象的方式表示了三维医用图像、虚拟内窥镜图像以及内窥镜图像中的关联性。
100.如上所述，内窥镜图像db631中登录的三维医用图像、虚拟内窥镜图像以及内窥镜图像基于该内窥镜图像拍摄时刻的视点位置、视点方向而建立关联。视点位置相当于三维医用图像坐标系(体内坐标系)中的坐标(x,y,z)。视点方向相当于三维医用图像坐标系(体内坐标系)中x轴、y轴和z轴上的旋转角(θx,θy,θz)。
101.内窥镜图像的各个像素对应于虚拟内窥镜图像(与该内窥镜图像最一致的虚拟内窥镜图像)的各个像素。虚拟内窥镜图像是根据三维医用图像以视点位置为起点，通过采用由视点方向(旋转角)定义的视点矢量进行矢量变换，投影、生成的图像，并且通过虚拟内窥镜图像的像素来确定三维医用图像坐标系(体内坐标系)中的坐标。
102.如上所述，由于虚拟内窥镜图像的各个像素与内窥镜图像的各个像素相对应，因此，可以基于虚拟内窥镜图像的像素来确定内窥镜图像的像素，即内窥镜图像中所包括的体内部位的三维医用图像坐标系(体内坐标系)中的坐标。也就是说，可以以虚拟内窥镜图像作为中间介质，使内窥镜图像的像素(体内部位)与三维医用图像坐标系(体内坐标系)中的坐标相关联。
103.也可以对三维医用图像附加内窥镜图像的像素的颜色信息、narrow band(窄频带)像素信息，并将该三维医用图像登录到内窥镜图像db631中。在将该差异、颜色信息等内窥镜图像的像素信息附加到三维医用图像时，最好用拍摄用光源446进行亮度校正。如上所述，在三维医用图像坐标系上导出内窥镜图像的像素和视点位置(拍摄用光源446的地点)的距离。因此，可以基于导出的该距离的平方的倒数，校正内窥镜图像的像素信息中所包括
的亮度。当包括三维医用图像坐标系中位于同一坐标上的像素的内窥镜图像有多个时，可以优先距离最近的内窥镜图像，并根据该距离进行加权，以加权平均或者简单平均的方式将内窥镜图像附加到三维医用图像上。
104.在拍摄三维医用图像中，采用x射线ct装置或锥形束ct装置时，图像例如可以进行dual energy拍摄，通过有效质量数(effective-z)知晓三维医用图像各像素的组成(体组成)。另外，采用mri装置时，图像可以附加关于脂肪或乳酸等三维医用图像的各像素组成(体组成)的信息。如上所述，通过对三维医用图像的各像素组成附加有效质量数(effective-z)、关于脂肪或乳酸等体组成的信息，从而可以向医生等提供如下信息：使这些附加的信息与内窥镜图像相关联的信息，所述内窥镜图像与由该三维医用图像的各像素所确定的坐标相关联。
105.图10是示出由信息处理装置6的控制部62执行的处理步骤的一例的流程图。例如，信息处理装置6基于从与本装置相连接的输入部8输入的内容，开始该流程图的处理。
106.信息处理装置6的控制部62获取从内窥镜用处理器20输出的检查日期时间、受试者id、内窥镜图像以及插入距离的相关信息(s101)。控制部62从内窥镜用处理器20获取的内窥镜图像可以是静止图像或运动图像。控制部62在获取内窥镜图像的同时，获取从光传感器等输出的内窥镜40的插入距离的相关信息、检查日期时间(内窥镜图像的拍摄日期时间)以及受试者id等受试者的属性信息。
107.信息处理装置6的控制部62获取从ct装置或mri装置、超声波诊断装置等能够用三维图像对体内进行拍摄的检查装置输出的三维医用图像(s102)。可以将信息处理装置6可通信地连接到ct装置或mri装置、超声波诊断装置等能够用三维图像对体内进行拍摄的检查装置，从而获取三维医用图像。或者，当从ct装置或mri装置、超声波诊断装置等能够用三维图像对体内进行拍摄的检查装置输出的三维医用图像已被保存在例如外部服务器(未图示)中时，信息处理装置6可以访问该外部服务器，并根据从内窥镜用处理器20输出的受试者id，获取该受试者的三维医用图像。或者，内窥镜用处理器20可通信地连接到ct装置或mri装置、超声波诊断装置等能够用三维图像对体内进行拍摄的检查装置，信息处理装置6的控制部62可以经由内窥镜用处理器20，像ct装置或mri装置、超声波诊断装置那样获取能够用三维图像对体内进行拍摄的三维医用图像。
108.信息处理装置6的控制部62基于插入距离(s坐标)导出视点位置(s103)。控制部62经由内窥镜用处理器20，从例如配置于内窥镜40的插入部44(柔性管)内部的光传感器等获取插入距离(s坐标)的相关信息，并基于所获取的插入距离(s坐标)及三维医用图像，导出位于插入了内窥镜40的消化器官等的内壁内侧的内窥镜40的前端部443的坐标。该坐标是以预定地点为原点而设定的三维医用图像坐标系(体内坐标系)中的坐标。
109.信息处理装置6的控制部62基于视点位置生成多个候选的虚拟内窥镜图像(s104)。控制部62以相当于内窥镜40的前端部443的坐标的视点位置为起点，按照预定单位量逐次变更视点方向即三维医用图像坐标系中的旋转角(θx,θy,θz)，依次生成多个候选的虚拟内窥镜图像。例如，当预定单位量是10
°
时，控制部62相对于各轴的旋转角可以具有36个分辨率，即可以生成36的3次方(46656)个候选的虚拟内窥镜图像。
110.信息处理装置6的控制部62确定所生成的多个虚拟内窥镜图像中与内窥镜图像一致度最高的虚拟内窥镜图像(s105)。控制部62例如使用一致度学习模型92，确定与内窥镜
图像一致度最高的虚拟内窥镜图像。或者，也可以通过取内窥镜图像的阴影图像与虚拟内窥镜图像的阴影图像之间的相关性等指标来测量一致度。控制部62确定一致度最高的虚拟内窥镜图像及生成该虚拟内窥镜图像时的视点位置和方向(旋转角度)。
111.信息处理装置6的控制部62通过所获取的虚拟内窥镜图像等，导出距离图像信息(s106)。控制部62导出虚拟内窥镜图像中各像素之间的距离的相关信息即距离图像信息。
112.信息处理装置6的控制部62基于距离图像信息和三维医用图像中所包括的体腔信息，输出操作支持信息(s107)。控制部62对所获取的三维医用图像中所包括的体腔信息进行提取，作为在包括导出了距离图像信息的虚拟内窥镜图像的摄像区域的三维区域中，表示插入内窥镜40的体内器官等的形状(器官的内壁形状)的曲面数据。控制部62将所提取的曲面数据、距离图像信息以及表示内窥镜40的位置和方向的信息输入到操作信息学习模型91中，并输出操作信息学习模型91所输出的操作支持信息。
113.在输出操作支持信息时，控制部62可以生成将该操作支持信息叠加于内窥镜图像、虚拟内窥镜图像或三维医用图像上而获得的图像数据，并且将该图像数据输出到例如显示部。显示部基于从信息处理装置6的控制部62输出的图像数据，显示叠加有操作支持信息的内窥镜图像、虚拟内窥镜图像或三维医用图像。
114.叠加在内窥镜图像、虚拟内窥镜图像或三维医用图像上的操作支持信息包括内窥镜40的插入方向、插入量、插入速度、以及表示插入目的地的目标点坐标等的相关信息，因此，可以向医生等内窥镜40的操作者提供有用的信息，并且可以对医生等提供诊断支持。
115.图11是示出集成图像显示画面71的一个形态的说明图。如上所述，信息处理装置6的控制部62生成包括叠加有内窥镜40的插入方向等操作支持信息的内窥镜图像、虚拟内窥镜图像或三维医用图像的图像数据，并输出到显示部7。集成图像显示画面71是由该图像数据构成的显示画面的一例，显示部7基于该图像数据显示该集成图像显示画面71。
116.集成图像显示画面71例如包括：显示受试者id等书目事项的区域，显示内窥镜图像的区域，显示三维医用图像的区域，显示二维医用图像的区域，显示虚拟内窥镜图像的区域，以及显示当前所显示的内窥镜图像的相关信息以及拍摄内窥镜图像的视点位置等的区域。
117.在显示受试者id等书目事项的区域，显示为确定与内窥镜图像相对应的三维医用图像而采用的受试者id、内窥镜40的检查日期时间、三维医用图像的生成日期等数据管理方面的书目事项。
118.在显示内窥镜图像的区域，实时显示当前时刻内窥镜40所拍摄的内窥镜图像。内窥镜图像中叠加显示了内窥镜40的插入方向等操作支持信息。根据后述显示选项的设定，内窥镜图像可以为半透明显示，通过虚线等显示从与该内窥镜图像相对应的虚拟内窥镜图像中提取出的体内部位且位于内窥镜图像中所显示的体内壁面里侧的体内部位。如此在半透明显示中通过虚线等显示的体内部位可以是例如基于三维医用图像所确定的体内部位的形状信息而提取的病变候选部位。
119.在显示三维医用图像的区域，三维医用图像所表示的消化器官等体内部位作为三维对象而被显示，叠加显示内窥镜40的视点位置以及以该视点位置为起点的插入方向等操作支持信息。通过拖动该三维对象的任意部位，可以旋转三维对象。三维医用图像中，基于由该三维医用图像而确定的体内部位的形状信息所提取的病变候选部位的位置例如可以
用高亮状态显示。
120.在显示二维医用图像的区域，显示对三维医用图像中叠加有内窥镜40的插入方向等操作支持信息的区域进行投影的二维医用图像。生成二维医用图像时所采用的投影矢量可以根据显示三维医用图像的区域中所显示的三维对象的旋转状态连动地确定。
121.在显示虚拟内窥镜图像的区域，显示对于显示内窥镜图像的区域中所显示的内窥镜图像而言，一致度最高的虚拟内窥镜图像。在虚拟内窥镜图像中，和内窥镜图像一样，也可以叠加显示内窥镜40的插入方向等操作支持信息。
122.在显示拍摄内窥镜图像的视点位置等的区域，显示在显示内窥镜图像的区域中所显示的内窥镜图像拍摄时刻内窥镜40在体内的位置(视点位置)以及视点方向(旋转角)。如上所述，信息处理装置6的控制部62(获取部621)从内窥镜40用处理器连续地获取内窥镜图像和表示内窥镜40的插入距离的s坐标，并基于所获取的s坐标，连续地导出该内窥镜40的前端部的位置(视点位置)。另外，信息处理装置6的控制部62(获取部621)在基于与内窥镜图像的一致度来确定对应(相当)于该内窥镜图像的虚拟内窥镜图像时，连续地导出该内窥镜40的前端部的方向(旋转角)。因此，在显示拍摄内窥镜图像的视点位置等的区域，相应于医生等对内窥镜40的操作，实时地显示该内窥镜40的视点位置及视点方向。
123.在显示当前所显示的内窥镜图像的信息的区域，例如显示当前所显示的内窥镜图像的图像中心处体内部位或像素的相关信息。如上所述，该体内部位(像素)的相关信息包括三维医用图像中基于x射线的物质辨别信息即有效质量数(effective-z)，或者脂肪或乳酸等三维医用图像的各像素组成(体组成)的相关信息。因此，可以在该区域中显示基于表示内窥镜图像的图像中心的体内坐标系的坐标，从三维医用图像中提取的有效质量数(effective-z)、体组成的相关信息。另外，关于当前所显示的内窥镜图像中所包括的体内部位有无病变，也可以通过使用输入该内窥镜图像并输出关于有无病变的信息的学习模型，从而在该区域进行显示。这种基于输入的内窥镜图像来输出关于有无病变的信息的学习模型，可以使用例如cnn或rcnn(regions with convolutional neural network，具有卷积神经网络的区域)、fast rcnn、faster rcnn或ssd(single shot multibox detector，单发多盒探测器)、yolo(you only look once，只需一眼)等具有分割网络功能的任意物体检测算法。
124.如上所述，由于可以相应于医生等对内窥镜40的操作而连续地导出内窥镜40的视点位置，因此，也可以计算出该视点位置和例如当前所显示的内窥镜图像的图像中心之间的距离的相关信息，并在该区域显示计算出的距离(从视点位置到图像中心像素的距离)。
125.集成图像显示画面71包括接受关于显示形态的输入的输入区域，在该输入区域，例如配置有设定显示选项的显示选项字段711，以及接受多个显示模式的选择的显示模式选择字段712。
126.在显示选项字段711中，设置有用于设定是否对内窥镜图像、虚拟内窥镜图像或者两图像进行半透明显示的切换开关。通过勾选该切换开关，可以基于虚拟内窥镜图像或三维医用图像中所包括的体内部位的形状数据等，对内窥镜图像所显示的体内壁面进行半透明化处理，并用虚线等显示位于该体内壁面里侧的体内部位。如上所述，位于该体内壁面里侧的体内部位可以是例如基于三维医用图像所确定的体内部位的形状信息而提取的病变候选部位。
127.在显示模式选择字段712中，分别设置有用于选择要与内窥镜图像一同显示的虚拟内窥镜图像、二维医用图像及三维医用图像的切换开关。通过勾选这些与图像相对应的切换开关，显示选中的任意图像。根据显示模式选择字段712中各个切换开关的勾选，可以选择显示虚拟内窥镜图像、二维医用图像及三维医用图像中的任意一个或两个图像，也可以对这3个图像全部显示。可以根据所显示的图像的个数来调整该图像的显示尺寸。
128.根据本实施方式，基于内窥镜图像，例如获取利用x射线ct、x射线锥形束ct、mri-ct或超声波诊断装置等能够用三维图像对受试者体内进行拍摄的检查装置拍摄体内的三维医用图像，由所获取的该三维医用图像重建虚拟内窥镜图像，并基于虚拟内窥镜图像以及内窥镜图像，导出内窥镜图像中的距离图像信息。因此，除了内窥镜图像之外，使用由具有三维空间坐标信息的三维医用图像构成的虚拟内窥镜图像，从而可以高精度地导出内窥镜图像中的距离图像信息。基于该导出的距离图像信息和三维医用图像或虚拟内窥镜图像，可以有效地输出关于内窥镜操作的操作支持信息。另外，x射线ct、x射线锥形束ct、mri-ct或超声波诊断装置是能够以三维图像拍摄体内的检查装置的一例，但并不限定于此。并不限定于从这些检查装置中的任一检查装置获取三维医用图像，也可以从多个检查装置获取。
129.根据本实施方式，由于操作支持信息中包括内窥镜40的插入方向或插入速度的相关信息，因此，通过输出该操作支持信息，能够有效地对医生等内窥镜40的操作者提供关于内窥镜40操作的诊断支持。
130.根据本实施方式，操作支持信息例如在集成图像显示画面71中，叠加显示于当前时刻所拍摄的内窥镜图像以及对应于该内窥镜图像的三维医用图像、二维医用图像或虚拟内窥镜图像上。因此，能够提高医生等内窥镜40的操作者对该操作支持信息的可视性，有效地对医生等提供诊断支持。
131.(实施方式2)
132.与实施方式1的不同之处在于，实施方式2的信息处理装置6通过从内窥镜用处理器20获取的弯曲历史来校正视点位置。图12是例示实施方式2(弯曲历史)所涉及的信息处理装置的控制部中所包括的功能部的功能框图。
133.内窥镜用处理器20的控制部21获取插入体内的内窥镜40的弯曲历史信息，根据所获取的弯曲历史信息，判断内窥镜40的插入状况。例如，内窥镜用处理器20的控制部21可以利用连接到内窥镜用处理器20的内窥镜插入形状检测装置(未图示)来检测弯曲历史信息。该内窥镜插入形状检测装置可以是如下的装置：例如，如日本特开2019-37643号公报所公开，在内窥镜40的插入部44的内部，沿该插入部44的长度方向以预定间隔配置多个磁线圈的装置。屈曲历史信息表示弯曲角度、弯曲方向等弯曲相关的物理参数或信息。
134.和实施方式1一样，信息处理装置6的获取部621从内窥镜用处理器20获取内窥镜图像等，进而获取弯曲历史信息。获取部621将所获取的弯曲历史信息输出到视点位置导出部622。
135.视点位置导出部622根据所获取的弯曲历史信息对插入距离(s坐标)进行校正，和实施方式1一样，基于校正后的插入距离(s坐标)导出视点位置。视点位置导出部622根据弯曲角度和弯曲方向，通过运算处理检测插入部44的形状(例如，向右弯曲30度等)。控制部21基于检测到的插入部44的形状，重新计算(校正)插入距离即s坐标。之后，虚拟内窥镜图像
生成部623等各功能部进行与实施方式1相同的处理，操作支持信息输出部626与实施方式1一样生成操作支持信息并输出。
136.信息处理装置6的视点位置导出部622通过从内窥镜用处理器20获取的弯曲历史来校正视点位置，但并不限定于此。内窥镜用处理器20的控制部21可以基于所获取的弯曲历史信息来校正插入距离，并将校正后的插入距离输出到信息处理装置6。信息处理装置6的获取部621可以获取由内窥镜用处理器20的控制部21基于弯曲历史信息而校正的视点位置，之后进行与实施方式1相同的处理。
137.基于弯曲历史的相关信息、插入距离的相关信息以及通过三维医用图像确定的内窥镜40的插入路径的长度，导出用于使内窥镜图像与三维医用图像相关联的位置信息。利用弯曲历史的相关信息对插入距离的相关信息进行校正，从而可以提高插入距离(s坐标)的精度。因此，可以精确地确定在拍摄内窥镜图像时三维医用图像坐标系中的内窥镜40的视点位置(坐标)和视点方向(旋转角)，有效地生成合适的虚拟内窥镜图像，并能进一步提高内窥镜图像与三维医用图像之间建立关联的精度。
138.图13是示出由信息处理装置的控制部执行的处理步骤的一例的流程图。例如，信息处理装置6基于从与本装置相连接的输入部8输入的内容，开始该流程图的处理。
139.信息处理装置6的控制部62获取从内窥镜用处理器20输出的检查日期时间、受试者id、内窥镜图像、插入距离以及弯曲历史的相关信息(s201)。与实施方式1一样，信息处理装置6的控制部62从内窥镜用处理器20获取内窥镜图像等，进而经由内窥镜用处理器20获取例如由内窥镜插入形状观测装置检测出的弯曲历史的相关信息。或者，信息处理装置6的控制部62也可以直接从内窥镜插入形状观测装置获取弯曲历史的相关信息。
140.信息处理装置6的控制部62获取从ct装置或mri装置、超声波诊断装置等能够用三维图像对体内进行拍摄的检查装置输出的三维医用图像(s202)。与实施方式1的处理s102一样，信息处理装置6的控制部62进行s202的处理。
141.信息处理装置6的控制部62基于从内窥镜用处理器20输出的弯曲历史校正插入距离(s坐标)，并导出视点位置(s203)。控制部62根据弯曲历史中所包括的弯曲角度及弯曲方向，通过运算处理导出插入部44形状(例如，向右弯曲30度等)，并基于导出的插入部44形状，重新计算(校正)插入距离即s坐标。控制部62基于校正后的插入距离(s坐标)，和实施方式1一样导出视点位置。
142.信息处理装置6的控制部62基于视点位置生成多个候选的虚拟内窥镜图像(s204)。信息处理装置6的控制部62确定所生成的多个虚拟内窥镜图像中与内窥镜图像一致度最高的虚拟内窥镜图像(s205)。信息处理装置6的控制部62通过所获取的虚拟内窥镜图像等，导出距离图像信息(s206)。信息处理装置6的控制部62基于距离图像信息和三维医用图像中所包括的体腔信息，输出操作支持信息(s207)。与实施方式1的处理s104、s105、s106及s107一样，信息处理装置6的控制部62进行204、s205、s206及s207的处理。
143.根据本实施方式，基于内窥镜40形状的相关信息、弯曲历史的相关信息、插入距离的相关信息以及三维医用图像，导出三维医用图像坐标系中内窥镜40的坐标信息以及方向的相关信息(视点位置)。因此，可以相应于内窥镜40的形状确定在拍摄内窥镜图像时三维医用图像坐标系中内窥镜40的位置及旋转角(x轴、y轴及z轴的旋转角)，并基于该内窥镜40的位置及旋转角，高精度且有效地导出内窥镜图像中的距离图像信息。
144.(实施方式3)
145.图14是示出实施方式3(自动操作机构434)所涉及的诊断支持系统s概要的示意图。图15是例示信息处理装置6的控制部62中所包括的功能部的功能框图。实施方式3的诊断支持系统s与实施方式1的不同之处在于，该诊断支持系统s中所包括的内窥镜40还具备自动操作机构434。
146.诊断支持系统s中所包括的内窥镜40具备自动操作机构434，其基于从信息处理装置6的控制部62(操作支持信息输出部626)输出的操作支持信息，自动操作控制按钮431和弯曲旋钮433。
147.自动操作机构434与信息处理装置6可通信地连接，获取(接收)从信息处理装置6输出(发送)的操作支持信息。自动操作机构434例如包括：根据所获取的操作支持信息生成控制按钮431或弯曲旋钮433的接通/断开信号或脉冲信号的微机(未图示)；以及基于从微机输出的这些信号，操作或驱动控制按钮431或弯曲旋钮433的电动机及凸轮机构(未图示)。如此基于从信息处理装置6输出的操作支持信息，自动操作机构434、控制按钮431及弯曲旋钮433等互相配合，根据该操作支持信息进行将内窥镜40自动插入受试者体内等自动操作。
148.自动操作机构434从信息处理装置6的控制部62(操作支持信息输出部626)获取的操作支持信息并不限定于插入部44的插入及弯曲等操作支持信息。例如，可以在内窥镜40的插入部44设置空气注入部(未图示)或手部(未图示)，操作支持信息中包括通过空气注入部注入空气或者通过手部摘除(采样)病变部位等操作的相关信息。也就是说，操作支持信息输出部626基于所获取的三维医用图像所确定的体内部位的形状信息以及距离图像信息，生成空气注入部或手部操作的相关信息，并将相关信息包括在操作支持信息中，输出到自动操作机构434。自动操作机构434可以基于所获取的该操作支持信息，自动操作空气注入部或手部。另外，包括在操作支持信息中的空气注入部或手部操作的相关信息也可以在集成图像显示画面71上叠加显示于内窥镜图像等上。
149.根据本实施方式，基于内窥镜图像中的距离图像信息和三维医用图像或虚拟内窥镜图像，可以有效地输出关于内窥镜40操作的操作支持信息，自动操作机构434可以根据从内窥镜用处理器20输出的操作支持信息来进行内窥镜40的自动操作。因此，可以提供诊断支持系统s，对医生等操作内窥镜40的操作者有效地支持相关操作。
150.应该理解的是，本次公开的实施方式在所有方面均为例示性的，而非限制性的。可以相互组合各个实施例中所记载的技术特征，并且旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明范围内。
151.附图标记说明
152.s诊断支持系统
153.10内窥镜装置
154.15键盘
155.16收容架
156.20内窥镜用处理器
157.21控制部
158.211图像处理部
159.22主存储装置
160.23辅助存储装置
161.24通信部
162.25触摸面板
163.26显示装置i/f
164.27输入装置i/f
165.28读取部
166.31内窥镜用连接器
167.311电连接器
168.312光学连接器
169.33光源
170.34泵
171.35供水箱
172.36供气供水口
173.40内窥镜
174.43操作部
175.431控制按钮
176.433弯曲旋钮
177.434自动操作机构
178.44插入部(柔性管)
179.441柔性部
180.442弯曲部
181.443前端部
182.444拍摄部
183.446拍摄用光源
184.45止弯部
185.48观测器用连接器
186.49通用软线
187.50显示装置
188.6信息处理装置
189.61通信部
190.62控制部
191.621获取部
192.622视点位置导出部
193.623虚拟内窥镜图像生成部
194.624一致度判定部
195.625距离图像信息导出部
196.626操作支持信息输出部
197.63存储部
198.631内窥镜图像db
199.632记录介质
200.p程序
201.64输入输出i/f
202.7显示部
203.71集成图像显示画面
204.711显示选项字段
205.712显示模式选择字段
206.8输入部
207.91操作信息学习模型
208.92一致度学习模型。