内窥镜装置及其工作方法以及内窥镜装置用程序与流程

文档序号:29508113发布日期:2022-04-06 19:12阅读:185来源:国知局
内窥镜装置及其工作方法以及内窥镜装置用程序与流程

1.本发明涉及一种测定被摄体的大小的内窥镜装置及其工作方法以及内窥镜装置用程序。


背景技术:

2.在内窥镜装置中,测量距被摄体的距离或者计算被摄体的长度或大小。例如,在专利文献1中,对被摄体照射测量辅助光,从而在被摄体上形成光斑。从对被摄体进行拍摄而获得的摄像图像中确定光斑的位置。然后,根据光斑的位置来设定被摄体中所包含的观察对象中的表示实际尺寸的标识图形,并将由所设定的标识图形构成的测量用标记显示于摄像图像上。测量用标记例如具有向上下左右扩展的比例尺,因此能够通过将所显示的测量用标记与观察对象对齐来测量观察对象的大小。如此,通过使用显示于摄像图像上的测量用标记,能够测量观察对象的大小。
3.以往技术文献
4.专利文献
5.专利文献1:国际公开第2018/051680号


技术实现要素:

6.发明要解决的技术课题
7.通过内窥镜装置拍摄的被摄体的表面有时具有凹凸形状等立体形状。在立体形状上形成由测量辅助光产生的光斑的情况下,显示与观察对象的实际大小不同的大小的测量用标记,有时会产生误差。这是因为在形成有光斑的立体形状上的位置与没有凹凸形状等的立体形状部分时的光斑位置、即立体形状的根部的光斑位置之间产生聚光轴的纵深方向距离的差异。尤其,为了详细地观察或诊断观察对象,在靠近观察对象并且使其位于摄像图像的中心进行观察的情况下,通常在立体形状上形成光斑。因此,特别是在详细地观察观察对象的情况下,有时会在根据光斑的位置显示的比例尺中产生误差。
8.相对于此,可考虑如下方法:预先定义被摄体或观察对象的立体形状,并显示偏移了所预测的误差的比例尺。然而,实际凹凸形状多种多样,并且进行偏移的定义也可能变得复杂。
9.鉴于上述实际情况,本发明的目的在于提供一种针对观察对象显示更准确的比例尺的内窥镜装置及其工作方法以及内窥镜装置用程序。
10.用于解决技术课题的手段
11.本发明为一种内窥镜装置,其具备:测量辅助光光源部,发出用于测量被摄体的测量辅助光;成像元件,对被摄体进行拍摄;及处理器。处理器进行如下处理:确定在被摄体上通过测量辅助光形成的特定区域的位置,根据特定区域的位置来设定表示被摄体的实际尺寸并且具有以端部为基点的刻度的测量用标记,制作以特定区域的位置与测量用标记的刻度的基点重叠的方式在通过成像元件拍摄的被摄体的摄像图像上重叠了测量用标记的特
定图像。
12.优选为,测量用标记的形状为直线的线段或直线的线段的组合。
13.优选为,测量用标记的形状为圆或圆的组合。
14.优选为,测量用标记中,刻度不均匀。
15.优选为,处理器制作在摄像图像以测量用标记的中心位于比特定区域的位置更靠中央侧的方式重叠的特定图像。
16.优选为,测量辅助光光源部以在被摄体上测量辅助光所形成的轨迹与成像元件的光轴所形成的轨迹不同的方式发出测量辅助光。
17.优选为,处理器接收切换所要设定的测量用标记的命令,根据命令切换并设定互不相同的多个测量用标记。
18.优选为,处理器将具有以端部为基点的刻度的测量用标记切换来设定具有以中央部为基点的刻度的测量用标记。
19.优选为,内窥镜装置具备:照明光光源部,发出用于照亮被摄体的照明光;及照明光开关,点亮或熄灭照明光,在通过照明光开关来熄灭照明光的情况下,测量辅助光光源部不发出测量辅助光。
20.并且,本发明为一种内窥镜装置的工作方法,其具备如下步骤:发出用于测量被摄体的测量辅助光;对被摄体进行拍摄;确定在被摄体上通过测量辅助光形成的特定区域的位置;根据特定区域的位置来设定表示被摄体的实际尺寸并且具有以端部为基点的刻度的测量用标记;及制作以特定区域的位置与测量用标记的刻度的基点重叠的方式在通过成像元件拍摄的被摄体的摄像图像重叠了测量用标记的特定图像。
21.并且,本发明为一种内窥镜装置用程序,其为用于内窥镜装置的程序,该内窥镜装置具备:测量辅助光光源部,发出用于测量被摄体的测量辅助光;及成像元件,对被摄体进行拍摄,该内窥镜装置用程序使计算机执行如下功能:确定在被摄体上通过测量辅助光形成的特定区域的位置;根据特定区域的位置来设定表示被摄体的实际尺寸并且具有以端部为基点的刻度的测量用标记;及制作以特定区域的位置与测量用标记的刻度的基点重叠的方式在通过成像元件拍摄的被摄体的摄像图像重叠了测量用标记的特定图像。
22.发明效果
23.根据本发明,能够针对观察对象显示更准确的比例尺。
附图说明
24.图1是内窥镜装置的外观图。
25.图2是表示内窥镜的前端部的俯视图。
26.图3是表示内窥镜装置的功能的框图。
27.图4是表示测量辅助光出射部的功能的框图。
28.图5是通过测量辅助光形成于被摄体上的光斑sp的说明图。
29.图6是表示内窥镜的前端部与观察距离的范围rx内的近端px、中央附近py及远端pz的关系、以及光轴与测量辅助光的关系的说明图。
30.图7是表示信号处理部的功能的框图。
31.图8是形成有光斑sp的摄像图像的图像图。
32.图9是在摄像图像上重叠了测量用标记的特定图像的一例的图像图。
33.图10是在摄像图像上重叠了测量用标记的特定图像的一例的图像图。
34.图11是在摄像图像上重叠了测量用标记的特定图像的一例的图像图。
35.图12是表示测量用标记的种类的说明图,图12(a)是在光斑sp的左方向上具有线段及刻度的测量用标记,图12(b)是在光斑sp的下方向上具有线段及刻度的测量用标记,图12(c)是在光斑sp的右上方向上具有线段及刻度的测量用标记。
36.图13是表示带刻度的十字型、畸变十字型、圆及十字型及测量用点群型的测量用标记的说明图。
37.图14是表示具有立体形状的被摄体中的测量辅助光与观察距离的关系的说明图。
38.图15是在摄像图像上重叠了测量用标记的特定图像的一例的图像图。
39.图16是表示摄像图像中的测量用标记的位置的说明图。
40.图17是说明通过照明光和测量辅助光形成于被摄体上的各自的轨迹的说明图。
41.图18是说明测量用标记的切换的说明图。
42.图19是说明通过内窥镜装置进行的特定图像显示的流程的流程图。
具体实施方式
43.如图1所示,内窥镜装置10具有内窥镜12、光源装置13、处理器装置14、监视器15、以及作为用户界面的键盘16及脚踏开关17。内窥镜12与光源装置13光学连接,并且与处理器装置14电连接。处理器装置14与显示图像的监视器15(显示部)电连接。作为用户界面的键盘16及脚踏开关17与处理器装置14连接,并且用于对处理器装置14的各种设定操作等。另外,用户界面除了图示的键盘16或脚踏开关17以外以,还包括鼠标等。
44.处理器装置14具有进行预先设定的各种命令的处理器按钮14a。处理器按钮14a可以设置于与处理器装置14连接的触摸面板等操作面板的一部分。并且,光源装置13具有进行预先设定的各种命令的光源按钮13a。
45.内窥镜12具有插入到受检体内的插入部21、设置于插入部21的基端部分的操作部22及通用电缆23。操作部22具有供内窥镜12的用户在内窥镜12的操作中进行预先设定的各种命令的观测器按钮12a。通用电缆23为引导光源装置13所发出的照明光的导光部(未图示)、用于传输用于控制内窥镜12的控制信号的控制线、发送对观察对象进行拍摄而获得的图像信号的信号线、向内窥镜12的各部供给电力的电源线等成为一体的电缆。在通用电缆23的前端设置有与光源装置13连接的连接器25。并且,内窥镜12的导光部为捆束光纤的光导件。
46.内窥镜12具备通常模式和测长模式,这2个模式根据命令来切换。模式切换的命令能够设定为处理器按钮14a、观测器按钮12a或脚踏开关17等中的任一个或多个。通过设定,这些按钮作为模式切换开关发挥功能。
47.通常模式为显示对由照明光照亮的观察对象进行拍摄而获得的摄像图像的模式。因此,在通常模式下不显示测量用标记。测长模式为利用照明光及测量辅助光照亮观察对象,并且在通过对观察对象进行摄像而获得的摄像图像上显示用于测定观察对象的大小等的测量用标记的模式。测量辅助光为用于测量观察对象的光。
48.另外,可以对处理器按钮14a、观测器按钮12a或脚踏开关17等中的任一个或多个
设定命令获取摄像图像的静止图像的静止图像获取命令开关的功能(静止图像获取命令部)。用户通过静止图像获取命令开关命令获取静止图像,由此监视器15的画面冻结显示,同时发出表示进行静止图像获取的警告音(例如“哔
‑”
)。然后,例如,在观测器按钮12a的操作定时前后获得的摄像图像的静止图像被保存于处理器装置14内的静止图像保存部55(图3)。并且,在设定为测长模式的情况下,优选与摄像图像的静止图像一起还保存后述的测量信息。另外,静止图像保存部55为硬盘、usb(universal serial bus:通用串行总线)存储器等存储部。在处理器装置14能够与网络连接的情况下,可以代替或除了静止图像保存部55以外,在与网络连接的静止图像保存服务器(未图示)保存摄像图像的静止图像。
49.并且,可以将识别用户的手势的手势识别部(未图示)与处理器装置14连接,并在手势识别部识别出由用户进行的特定的手势的情况下,进行静止图像获取命令。另外,关于模式切换等,可以使用手势识别部来进行。
50.并且,可以将设置于监视器15附近的视线输入部(未图示)与处理器装置14连接,并在视线输入部识别出用户的视线停留在监视器15中的规定区域内一定时间以上的情况下,进行静止图像获取命令。并且,可以将语音识别部(未图示)与处理器装置14连接,并在语音识别部识别出用户所发出的特定的语音的情况下,进行静止图像获取命令。关于模式切换等,可以使用语音识别部来进行。
51.如图2所示,内窥镜12的前端部12d呈大致圆形,并且设置有:物镜31,在构成内窥镜12的摄像光学系统的光学部件中位于最靠被摄体侧的位置;照明透镜32,用于对被摄体照射照明光;测量辅助用透镜33,用于利用后述的测量辅助光照亮被摄体;开口34,用于使处置器具朝向被摄体突出;及送气送水喷嘴35,用于进行送气送水。
52.摄像光学系统44b(图3)的光轴ax沿着与纸面垂直的方向延伸。纵向的第1方向d1与光轴ax正交,横向的第2方向d2与光轴ax及第1方向d1正交。物镜31和测量辅助用透镜33沿着第1方向d1排列。
53.如图3所示,光源装置13具备光源部41和光源控制部42。光源部41(照明光光源部)产生用于照亮被摄体的照明光。从光源部41射出的照明光射入到光导件43,并通过照明透镜32照射到被摄体。作为光源部41,作为照明光的光源,可使用射出白色光的白色光源、或包括白色光源和射出其他颜色的光的光源(例如,射出蓝色光的蓝色光源)的多个光源等。另外,在本实施方式中,对上述的光源按钮13a设定点亮或熄灭照明光的照明光开关的功能。
54.在内窥镜前端部12d的内部设置有照明光学系统44a、摄像光学系统44b及测量辅助光出射部(测量辅助光光源部)45。照明光学系统44a具有照明透镜32,来自光导件32的光经由该照明透镜43照射到观察对象。摄像光学系统44b具有物镜31及成像元件46。来自观察对象的反射光经由物镜31射入到成像元件46。由此,在成像元件46中成像观察对象的反射像。测量辅助光出射部45发出用于测量被摄体的测量辅助光。
55.成像元件46为彩色的摄像传感器,对被摄体的反射像进行拍摄并输出图像信号。该成像元件46优选为ccd(charge coupled device:电荷藕合器件)摄像传感器、cmos(complementary metal-oxide semiconductor:互补金属氧化物半导体)摄像传感器等。本发明中所使用的成像元件46为用于获得r(红色)、g(绿色)、b(蓝色)这3种颜色的rgb图像信号的彩色的摄像传感器。成像元件46由摄像控制部47控制。
56.从成像元件46输出的图像信号被发送到cds/agc电路48。cds/agc电路48对作为模拟信号的图像信号进行相关双采样(cds(correlated double samp ling))、自动增益控制(agc(auto gain control))。经由cds/agc电路48的图像信号通过a/d转换器(a/d(analog/digital:模拟/数字)变频器)49转换为数字图像信号。经a/d转换的数字图像信号经由通信i/f(interface:接口)50输入到处理器装置14。
57.处理器装置14具备与内窥镜12的通信i/f50连接的通信i/f51、信号处理部52、显示控制部53、系统控制部54、静止图像保存部55及静止图像保存控制部56。在处理器装置14中,与信号处理部52、显示控制部53、系统控制部54、静止图像保存部55及静止图像保存控制部56等相关的程序被装载到存储器(未图示)中。通过由处理器构成的系统控制部54而使该程序进行动作,由此实现信号处理部52、显示控制部53、系统控制部54、静止图像保存部55及静止图像保存控制部56等的功能。
58.通信i/f51接收从内窥镜12的通信i/f50传输的图像信号并传递至信号处理部52。信号处理部52内置有暂存从通信i/f51接收的图像信号的存储器,处理存储于存储器中的图像信号的集合即图像信号组而制作摄像图像。另外,在信号处理部52中,在设定为测长模式的情况下,可以对摄像图像实施强调血管等的结构的结构强调处理、扩展了观察对象中的正常部与病变部等的色差的色差强调处理。
59.显示控制部53将通过信号处理部52制作的摄像图像或特定图像显示于监视器15。系统控制部54经由设置于内窥镜12的摄像控制部47进行成像元件46的控制。摄像控制部47还根据成像元件46的控制来进行cds/agc48及a/d49的控制。静止图像保存控制部56进行与保存于静止图像保存部55的摄像图像的静止图像相关的控制。
60.如图4所示,测量辅助光出射部45具备光源45a、测量辅助光生成元件45b、棱镜45c及测量辅助用透镜33。光源45a发出测量辅助光。发出用于测量被摄体的测量辅助光的光源45a射出能够由成像元件46的像素检测的颜色的光(具体而言为可见光),并且包括激光光源ld(laser diode:激光二极管)或led(light emitting diode:发光二极管)等发光元件和聚集从该发光元件射出的光的聚光透镜。
61.光源45a所射出的光的波长例如优选为600nm以上且650nm以下的红色光。或者,可以使用495nm以上且570nm以下的绿色光。测量辅助光生成元件45b将从光源射出的光转换为用于获得测量信息的测量辅助光。为了转换为测量辅助光,具体而言,测量辅助光生成元件45b使用准直透镜或衍射光学元件(d0e,diffractive optical element)等。
62.棱镜45c为用于改变由测量辅助光生成元件45b转换后的测量辅助光的行进方向的光学部件。棱镜45c变更测量辅助光的行进方向,以与包括物镜31及透镜组的摄像光学系统的视野交叉。关于测量辅助光的行进方向的详细内容,在后面进行叙述。从棱镜45c射出的测量辅助光lm通过测量辅助用透镜33照射到被摄体。
63.如图5所示,通过将测量辅助光照射到被摄体,在被摄体上形成特定区域。在本实施方式中,特定区域为光斑sp,成为圆形区域。作为图像获取部的通信i/f51获取对由照明光照亮并且形成有由测量辅助光产生的光斑sp的被摄体进行拍摄而获得的摄像图像57。通信i/f51所获取的摄像图像中的光斑sp的位置由位置确定部61(图7)确定。根据所确定的光斑sp的位置来求出作为内窥镜前端部12d与被摄体的距离的观察距离。根据该观察距离来设定表示实际尺寸的测量用标记。所设定的测量用标记显示于摄像图像上。
64.另外,也可以代替测量辅助用透镜33而没为形成于内窥镜的前端部12d的测量辅助用狭缝。并且,优选对测量辅助用透镜33施加防反射涂层(ar(anti-reflection:抗反射)涂层)(防反射部)。如此设置防反射涂层是因为:若测量辅助光不透射测量辅助用透镜33而反射,从而照射到被摄体的测量辅助光的比例降低,则位置确定部61(图7)难以识别通过测量辅助光形成于被摄体上的光斑sp的位置。
65.测量辅助光出射部45只要能够朝向摄像光学系统的视野射出测量辅助光即可。例如,光源45a可以设置于光源装置,从光源45a射出的光可以通过光纤被引导至测量辅助光生成元件45b。并且,可以设为如下结构:不使用棱镜45c而相对于摄像光学系统44b的光轴ax倾斜地设置光源45a及测量辅助光生成元件45b的朝向,由此在横跨摄像光学系统的视野的方向上射出测量辅助光。
66.关于测量辅助光的行进方向,如图6所示,在测量辅助光的光轴lm进入摄像光学系统的摄影视角(夹在2个实线l1之间的区域内)的状态下,射出测量辅助光。可知:若能够在观察距离的范围rx内进行观察,则在范围rx的近端px、中央附近py及远端pz中,各点的摄像范围(由箭头qx、qy、qz表示)内的通过测量辅助光形成于被摄体上的光斑sp的位置(各箭头qx、qy、qz与光轴lm相交的点)不同。将内窥镜前端部12d的位置作为位置p1。观察距离为内窥镜前端部12d与被摄体的距离。因此,观察距离分别为位置p1与近端px、中央附近py及远端pz之间的距离。详细而言,观察距离成为内窥镜前端部12d的摄像光学系统44b的光轴ax的起点到被摄体的距离。轴dv表示观察距离。另外,摄像光学系统的摄影视角在夹在2个实线l1之间的区域内表示,在该摄影视角中像差少的中央区域(夹在2个虚线l2之间的区域)进行测量。
67.如上所述,在进入摄像光学系统的摄影视角的状态下,射出测量辅助光,由此相对于观察距离的变化的光斑位置的移动的灵敏度高,因此能够高精确度地测量被摄体的大小。利用成像元件46对被测量辅助光照亮的被摄体进行拍摄,由此获得包括光斑sp的摄像图像。在摄像图像中,光斑sp的位置根据摄像光学系统44b的光轴ax与测量辅助光的光轴lm的关系及观察距离而不同,但是观察距离越近,则显示相同的实际尺寸(例如5mm)的像素数越多,观察距离越远,则像素数越少。
68.因此,通过预先存储表示光斑sp的位置与对应于被摄体的实际尺寸的测量信息(像素数)的关系的信息,能够根据光斑sp的位置计算测量信息。
69.如图7所示,为了识别光斑sp的位置及计算与被摄体的观察距离、以及设定各种测量用标记,处理器装置14的信号处理部52具备:位置确定部61,确定摄像图像中的光斑sp的位置,并计算观察距离;及图像加工部62,根据观察距离来设定各种测量用标记,并制作使用各种测量用标记来对摄像图像进行了加工的特定图像。特定图像通过显示控制部53显示于监视器15。
70.在设定为测长模式的情况下,光源部41及测量辅助光出射部45连续发出照明光和测量辅助光。根据情况,测量辅助光可以点亮或减光来发光。另外,摄像图像设为3种颜色的rgb图像,但是也可以是其他彩色图像(亮度信号y、色差信号cr、cb)。因此,在信号处理部52中,在设定为测长模式的情况下,输入由照明光及测量辅助光照亮的摄像图像。摄像图像由通信i/f51(图像获取部)获取。
71.另外,在设定为通常模式的情况下,光源部41持续发出照明光。照明光经由光导件
43照射到被摄体。在通常模式的情况下,测量辅助光出射部45的光源45a停止,因此测量辅助光熄灭。因此,在信号处理部52中,在设定为通常模式的情况下,输入由照明光照亮的摄像图像。摄像图像由通信i/f51(图像获取部)获取。
72.位置确定部61确定在被摄体上通过测量辅助光形成的光斑sp的位置。关于光斑sp的位置的确定,根据在测长模式下利用照明光及测量辅助光照亮被摄体而得的摄像图像来进行。关于摄像图像,经由摄像光学系统及成像元件获取通过测量辅助光形成有光斑sp的被摄体的图像。因此,位置确定部61根据被摄体的图像来确定成像元件上的光斑sp的位置。并且,位置确定部61具有距离计算部63。距离计算部63能够根据光斑sp的位置求出观察距离。
73.图像加工部62具有图像选择部64、标记用表65、测量用标记设定部66、测量用标记切换接收部67及特定图像制作部68。图像选择部64选择基于通常模式的摄像图像和基于测长模式的摄像图像中作为进行基于光斑sp的位置的加工的对象图像的基于测长模式的摄像图像。标记用表65为预先存储了表示对应于观察距离的光斑sp的位置与对应于被摄体的实际尺寸的测量信息(像素数)的关系的信息的表。测量用标记设定部66根据光斑sp的位置来设定表示被摄体上的观察对象的实际尺寸并且具有以端部为基点的刻度的测量用标记。测量用标记切换接收部67接收将多个测量用标记进行切换并设定的命令。特定图像制作部68制作以光斑sp的位置与测量用标记的刻度的基点重叠的方式在摄像图像上重叠了通过测量用标记设定部66设定的测量用标记的特定图像。
74.关于测量用标记设定部66及特定图像制作部68的功能,以下具体地进行说明。如图8所示,在测长模式下,利用照明光及测量辅助光照亮包括作为观察对象的息肉72的被摄体而得的摄像图像71被输入到信号处理部52。例如,息肉72具有球状的立体形状,因此摄像图像71包括息肉72、光斑sp及根据情况的阴影73。
75.位置确定部61根据输入到信号处理部52的摄像图像71来确定光斑sp的位置。测量用标记设定部66参考标记用表65,设定对应于光斑sp的位置的表示观察对象的实际尺寸并且具有以端部为基点的刻度的测量用标记。端部是指在测量用标记的形状中比中央部分更靠近外侧部分的部分或起点或者终点等。
76.如图9所示,特定图像制作部68制作以光斑sp的位置与测量用标记75的刻度的基点重叠的方式在摄像图像71上重叠了通过测量用标记设定部66设定的测量用标记75的特定图像74。为了更准确的测量,测量用标记75优选以显示于光斑sp的位置的方式重叠。因此,即使在与光斑sp分开的位置显示的情况下,也优选尽可能在光斑sp的附近显示。测量用标记75为直线的线段,并且在线段的起点和终点具有与直线的线段垂直的线段即刻度。在测量用标记75为线段等,并且具有起点和终点的情况下,可以将起点和/或终点本身作为刻度,此时,例如,可以没有与直线的线段垂直的线段的形状的刻度。并且,测量用标记75可以在刻度的基点的附近具有数字“10”。这是测量用标记75的刻度标签75a,标注其以能够容易地识别测量用标记75的线段为10mm的实际尺寸。以下,测量用标记所具有的数字具有相同的含义。刻度标签75a的数值能够根据设定来变更,并且,可以是不显示刻度标签75a本身的测量用标记75。
77.关于测量用标记,根据设定来使用各种种类。例如,使用形状为直线的线段或直线的线段的组合、形状为圆或圆的组合、或者直线的线段与圆的组合等。
78.如图10所示,例如,特定图像76包括形状为直线的线段的组合的测量用标记77。测量用标记77为将直线的线段组合成l字型的形状,线段以l字的角部作为基点,沿着纸面上方向和纸面方向延伸,以基点作为起点分别在终点具有刻度。并且,与测量用标记75同样地,测量用标记77在刻度的基点的附近具有作为刻度标签77a的数字“10”。
79.如图11所示,例如,特定图像78包括形状为直线的线段与圆的组合的测量用标记79。测量用标记79为组合圆与作为该圆的直径的线段而成的形状,线段以线段与圆的交点之一作为基点,沿着纸面右方向延伸。在线段或圆中,将线段与圆的交点作为各自的刻度。可以在使线段成为二分之一的点或圆的中心具有刻度80。并且,与测量用标记75或测量用标记77同样地,测量用标记79在刻度的基点的附近具有作为刻度标签79a的数字“10”。
80.如图12所示,除了这些以外,测量用标记例如还能够采取线段从基点沿着纸面左方向延伸的包括刻度标签81a的测量用标记81(图12(a))、线段从基点沿着纸面下方向延伸的包括刻度标签82a的测量用标记82(图12(b))、或线段从基点沿着纸面右上斜方向延伸的包括刻度标签83a的测量用标记83(图12(c))等各种形状。
81.除此以外,如图13所示,还可以设为在十字型的竖线和横线中的至少一者附加了刻度mx的带刻度的十字型。并且,可以设为使竖线、横线中的至少任一者倾斜的畸变十字型。并且,可以设为组合十字型和圆而成的圆及十字型。在这些情况下,刻度能够设为从十字型的各端部到十字型的交点。除此以外,还可以设为从光斑sp组合与实际尺寸相对应的多个测定点ep而成的测量用点群型。此时,能够将从光斑sp到测定点ep的距离设为刻度。
82.并且,测量用标记的数量可以是一个,也可以是多个,还可以根据实际尺寸来改变测量用标记的颜色。并且,关于测量用标记的尺寸,可以设为与观察对象相对应的尺寸的测量用标记,也可以设为小于或大于观察状态的尺寸的测量用标记,测量用标记的实际尺寸可以根据观察对象、观察目的来设定任意值(例如,2mm、3mm、10mm等)。
83.另外,测量用标记中,刻度可以不均匀。例如,在测量立体形状的观察对象的情况下,测量用标记设定部66设定具有考虑到观察对象的立体形状的应变的测量标记。立体形状的考虑通过如下等来进行:根据由距离计算部63计算出的距观察对象的距离来推断出立体形状的高度、或者通过摄像图像的图像分析来推断出立体的大小或形状。在图像分析中,可以利用使用了已学习摄像图像的学习完毕模型的机器学习技术。
84.例如,如图14所示,通过测量辅助光lm,在息肉72的顶点72a形成光斑sp2。从光斑sp2计算的距观察对象的距离为内窥镜前端部12d的位置p1与光斑sp2的位置p2的距离d5。并且,通过测量辅助光lm,在息肉72的端部72b形成光斑sp1。从光斑sp1计算的距观察对象的距离为内窥镜前端部12d的位置p1与光斑sp1的位置p3的距离d6。因此,息肉72的高度为距离d6与距离d5之差的距离d3。
85.测量用标记设定部66例如通过存储距离d6和距离d3来计算距离d3,作为观察对象的高度。并且,还使用通过观察图像的图像分析等来推断出的观察对象的大小和/或形状的信息来掌握立体形状。测量用标记设定部66设定具有考虑到如此掌握的观察对象的立体形状的应变的测量用标记。
86.例如,如图15所示,测量用标记设定部66根据息肉72的高度、大小及形状的信息等设定具有考虑到息肉72的立体形状的应变的测量用标记85。测量用标记85具有刻度85a、刻度85b及刻度85c。刻度85a位于测量用标记85的起点,刻度85c位于测量用标记85的终点。刻
度85b位于比测量用标记85的中央更靠终点侧。并且,刻度标签85d和刻度标签85e的数字“10”分别表示从刻度85a到刻度85b的实测尺寸为10mm、从刻度85b到刻度85c的实测尺寸为10mm。在测量用标记85中,从刻度85a到刻度85b的距离和从刻度85b到刻度85c的距离在观察图像上不是相同的长度,但是由于实际息肉72为球状,因此测量用标记85的刻度表示实际尺寸。测量用标记设定部66设定测量用标记85,特定图像制作部68在摄像图像上重叠测量用标记85来制作特定图像84。
87.如上所述,测量用标记设定部66根据光斑sp的位置来设定表示实际尺寸并且具有以端部为基点的刻度的测量用标记,特定图像制作部68制作以光斑sp的位置与测量用标记的刻度的基点重叠的方式在摄像图像上重叠了测量用标记设定部66所设定的测量用标记的特定图像。为了更详细地观察用户欲进行测量的观察对象,通常使其位于基于内窥镜的摄像图像的中央而进行详细观察是自然的。因此,如上所述,通过制作重叠了测量用标记的特定图像,能够更适当地配置测量用标记的位置。因此,例如,与将测量用标记配置于摄像图像周缘部的情况相比,能够针对观察对象显示更准确的比例尺。
88.并且,用户欲进行测量的观察对象有时具有立体形状。因此,如上所述,通过制作重叠了测量标记的特定图像,在光斑sp形成于立体形状的顶点部分的情况下,能够减小测定成基于测量用标记的测量值比实际观察对象的距离短或者比实际观察对象的大小小的误差,显示更接近实际距离的测量用标记。因此,能够针对观察对象显示更准确的比例尺。根据以上内容,能够防止过低估计观察对象、例如息肉的大小,能够进行更适当的诊断。
89.另外,特定图像制作部68优选制作在摄像图像上以测量用标记的中心位于比光斑sp的位置更靠中央侧的方式重叠测量用标记的特定图像。为了更详细地观察欲进行测量的观察对象,通常使其位于基于内窥镜的摄像图像的中央而进行详细观察是自然的。因此,通过制作将测量用标记配置于比光斑sp更靠中央的位置的特定图像,能够配置更适当的测量用标记。
90.例如,如图16所示,在特定图像86中,测量用标记的中心位于比光斑sp的位置更靠特定图像86的中央侧的区域即区域87,由此能够更适当地配置测量用标记的位置。在图16中,区域87为由斜线表示的区域。因此,例如,与将测量用标记配置于摄像图像周缘部的情况相比,能够针对观察对象显示更准确的比例尺。另外,摄像图像周缘部能够设为特定图像86中的除了区域87以外的区域。
91.并且,测量辅助光出射部45优选以在被摄体上测量辅助光所形成的轨迹与成像元件的光轴(摄像光学系统的光轴)所形成的轨迹不同的方式发出测量辅助光。并且,轨迹不同是指轨迹不一致。由此,观察对象靠近摄像图像的中央,并且光斑sp形成于比摄像光学系统的光轴附近更靠外侧的位置,因此能够将观察对象配置于中央,从而容易对观察对象进行观察。
92.例如,如图17所示,调整测量辅助光,以使在记录了在被摄体上测量辅助光所形成的轨迹93和摄像光学系统的光轴所形成的轨迹92的摄像图像91中,摄像光学系统的光轴位于观察点94时,由测量辅助光产生的光斑sp1在摄像图像91中位于观察点94的左侧,并且,然后移动观察的地点,摄像光学系统的光轴位于观察点95时,由测量辅助光产生的光斑sp2在摄像图像91中位于观察点95的左侧。另外,测量辅助光所形成的轨迹93优选位于摄像光学系统的光轴在被摄体上形成的轨迹的外侧,也可以是左侧或右侧、或者上侧或下侧。因
此,测量用标记配置于比光斑sp更靠近摄像图像的中心的位置,因此能够针对观察对象显示更准确的比例尺。
93.另外,测量用标记根据需要切换而显示。测量用标记切换接收部67接收切换所要设定的测量用标记的命令。测量用标记设定部66根据测量用标记切换接收部67的命令将互不相同的多个测量用标记进行切换并设定。如上所述,关于表示实际尺寸并且具有以端部为基点的刻度的测量用标记,能够设定各种形状的标记。因此,例如,通过预先向处理器按钮14a、观测器按钮12a或脚踏开关17等中的任一个或多个分配切换测量用标记的设定的命令,用户能够在观察期间切换到最适合的测量用标记来制作特定图像。
94.并且,测量用标记设定部可以将具有以端部为基点的刻度的测量用标记切换来设定具有以中央部为基点的刻度的测量用标记。在设定具有以中央部为基点的刻度的测量用标记的情况下,也优选以光斑sp与测量用标记的刻度的基点重叠的方式制作在摄像图像上重叠了测量用标记的特定图像。
95.如图18所示,在特定图像101中,将如连接2个球那样的息肉102作为观察对象的情况下,以光斑sp与测量用标记103的端部重叠的方式,在摄像图像上重叠了测量用标记103。关于测量用标记103的刻度,刻度标签103a显示为“10”,因此从起点到终点的长度以实测尺寸计为10mm。在此,为了测定息肉102的总长度,对作为测量用标记切换接收部67的、例如脚踏开关17进行操作。脚踏开关17具有左开关17a和右开关17b(图1)。左开关17a为循环地相继切换并显示不同的多个测量用标记的切换开关。多个测量用标记除了具有以端部为基点的刻度的测量用标记以外,还包括具有以中央部为基点的刻度的测量用标记。右开关17b为确认开关,在显示出所期望的测量用标记的情况下,用脚踩踏右开关17b来进行操作。
96.例如,从特定图像101设为特定图像104的情况为从测量用标记103切换到测量用标记105的情况。此时,光斑sp的位置不改变,将测量用标记从测量用标记103切换到测量用标记105。由于光斑sp的位置未改变,因此用户将摄像光学系统向右侧移动,以能够测量息肉102。测量用标记为十字型标记,线段从中央向上下左右延伸,刻度标签105a显示为“5”,因此各线段表示5mm的实测尺寸。由此,能够测定并掌握息肉102的大小或长度。
97.并且,从特定图像101设为特定图像106的情况为从测量用标记103切换到测量用标记107的情况。此时,变更光斑sp的位置而使其移动到摄像图像的中心部。由此,能够在摄像图像的中央观察、拍摄或测量观察对象。根据特定图像106,刻度标签107a显示为“5”,因此得知息肉102中如连接2个球那样的立体形状的较短的长度约为10mm。
98.并且,通过测量用标记切换接收部67能够从特定图像101切换到特定图像104,也能够从特定图像104切换到特定图像101。并且,同样地,能够从特定图像101切换到特定图像106,也能够从特定图像106切换到特定图像101。并且,能够从特定图像104切换到特定图像106,也能够从特定图像106切换到特定图像104。并且,除了切换形状不同的测量用标记以外,还可以切换到形状相同且刻度不同的测量用标记。由此,能够根据需要简单地设定用户认为是更适当的测量用标记。
99.另外,在通过点亮或熄灭用于照亮被摄体的照明光的照明光开关来熄灭照明光的情况下,测量辅助光出射部45优选不发出测量辅助光。如上所述,光源装置13(照明光光源部)的光源按钮13a(图1)具有照明光开关的功能。在内窥镜不在体内的情况等、通过光源按钮13a熄灭照明光的情况下,测量辅助光出射部45不发出测量辅助光。在本实施方式中,测
量辅助光为激光,因此从安全的观点出发,在内窥镜在体外的情况下优选不点亮,但是通过对照明光开关赋予测量辅助光的联锁功能来通过照明光开关熄灭照明光的情况下,即使进行了点亮测量辅助光的命令,也能够防止发出无意的测量辅助光。另外,关于测量辅助光的点亮,由于在切换到测长模式的情况下进行点亮,因此如上所述,即使无意地操作了设定有模式切换的命令的处理器按钮14a、观测器按钮12a或脚踏开关17等中的任一个或多个,例如在内窥镜在体外的情况下通过照明光开关来熄灭照明光时,也能够防止发出测量辅助光。
100.接着,关于基于上述结构的作用,参考图19的流程图进行说明。首先,在通常模式下观察被摄体(步骤st110)。例如,在被摄体中发现需要观察及测量的观察对象等情况下,转移到测长模式(步骤st120中为是)。在不转移到测长模式的情况下(步骤st120中为否),持续进行通常模式下的观察。
101.在转移到测长模式的情况下,在测长模式下进行观察(步骤st130)。测量辅助光出射部45发出测量辅助光(步骤st140),通过成像元件获取拍摄了被摄体的摄像图像(步骤st150)。位置确定部61根据摄像图像来确定光斑st的位置(步骤st160)。根据情况,距离计算部63计算内窥镜前端部12d与被摄体的距离(步骤st170),并发送到测量用标记设定部66等。
102.测量用标记设定部66使用所获得的信息来设定测量用标记(步骤st180)。测量用标记设定部66根据由位置确定部61确定的光斑sp的位置来设定表示实际尺寸并且具有以端部为基点的刻度的测量用标记。在切换测量用标记的情况下(步骤st190中为否),返回到设定测量用标记之前。在不切换测量用标记的情况下(步骤st190中为是),进入特定图像的制作。关于特定图像,制作以光斑sp的位置与测量用标记的刻度的基点重叠的方式在摄像图像上重叠了测量用标记的特定图像(步骤st200)。制作特定图像之后,根据情况,将特定图像显示于监视器15(图1)等(步骤st210)。
103.在上述实施方式中,信号处理部52、显示控制部53或系统控制部54等执行各种处理的处理部(processing unit)的硬件结构为如以下所示的各种处理器(processor)。在各种处理器中包括执行软件(程序)而作为各种处理部发挥功能的通用的处理器即cpu(central processing unit:中央处理单元)、fpga(field programmable gate array:现场可编程门阵列)等制造之后能够变更电路结构的处理器即可编程逻辑器件(programmable logic dev ice:pld)、具有为了执行各种处理而专门设计的电路结构的处理器即专用电路等。
104.1个处理部可以由这些各种处理器中的1个构成,也可以由相同种类或不同种类的2个以上的处理器的组合(例如,多个fpga、cpu与fpga的组合)构成。并且,也可以由1个处理器构成多个处理部。作为由1个处理器构成多个处理部的例子,首先,有如以客户端、服务器等计算机为代表那样,由1个以上的cpu和软件的组合构成一个处理器,且该处理器作为多个处理部发挥功能的方式。其次,有如以片上系统(system on chip:soc)等为代表那样,使用由1个ic(integrated circuit:集成电路)芯片实现包括多个处理部的整个系统的功能的处理器的方式。如此,作为硬件结构,各种处理部使用1个以上的上述各种处理器构成。
105.而且,更具体而言,这些各种处理器的硬件结构为组合半导体元件等电路元件而成的形态的电路(c ircuitry)。本发明的另一方式为一种内窥镜装置,其具备:测量辅助光
光源部,发出用于测量被摄体的测量辅助光;及成像元件,对被摄体进行拍摄,该内窥镜装置中,处理器进行如下处理:确定在被摄体上通过测量辅助光形成的特定区域的位置,根据所确定的特定区域的位置来设定表示实际尺寸并且具有以端部为基点的刻度的测量用标记,制作以特定区域的位置与测量用标记的刻度的基点重叠的方式在通过成像元件拍摄的被摄体的摄像图像上重叠了测量用标记的特定图像。
106.本发明不限于上述实施方式,当然,只要不脱离本发明的主旨,则能够采用各种结构。而且,本发明除了程序以外,还涉及到存储程序的存储介质。
107.符号说明
108.10-内窥镜装置,12-内窥镜,12a-观测器按钮,12d-前端部,13-光源装置,13a-光源按钮,14-处理器装置,14a-处理器按钮,15-监视器,16-键盘,17-脚踏开关,17a-左开关,17b-右开关,21-插入部,22-操作部,23-通用电缆,25-连接器,31-物镜,32-照明透镜,33-测量辅助用透镜,34-开口,35-送气送水喷嘴,41-光源部,42-光源控制部,43-光导件,44a-照明光学系统,44b-摄像光学系统,45-测量辅助光出射部,45a-光源,45b-测量辅助光生成元件,45c-棱镜,46-成像元件,47-摄像控制部,48-cds/agc电路,49-a/d转换器,50、51-通信i/f,52-信号处理部,53-显示控制部,54-系统控制部,55-静止图像保存部,56-静止图像保存控制部,57、91-摄像图像,61-位置确定部,62-图像加工部,63-距离计算部,64-图像选择部,65-标记用表,66-测量用标记设定部,67-测量用标记切换接收部,68-特定图像制作部,71、74、76、78、84、86、101、104、106-特定图像,72、102-息肉,72a-顶点,72b-端部,73-阴影,75、77、79、81、82、83、85、103、105、107-测量用标记,75a、77a、80a、81a、82a、83a、85d、85e、103a、105a、107a-刻度标签,85a、85b、85c-刻度,87-区域,92、93-轨迹,94、95-观察点,l1-实线,l2-虚线,d1-第1方向,d2-第2方向,d3-光斑sp1的高度,d5、d6-观察距离,dv-观察距离,lm-测量辅助光的光轴,ax-摄像光学系统的光轴,px-近端,py-中央附近,pz-远端,p1~p3-位置,qx、qy、qz-摄影范围,rx-观察距离的范围,sp、sp1、sp2-光斑,ep-测定点,mx-刻度,st110~st210-步骤。
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1