内窥镜系统以及像素校正方法与流程

文档序号:12295381阅读:464来源:国知局
内窥镜系统以及像素校正方法与流程
本发明涉及一种被导入生物体内来获取该生物体内的图像的内窥镜系统以及对设置于内窥镜系统的摄像元件的像素进行校正的像素校正方法。

背景技术:
以往,CCD(ChargeCoupledDevice:电荷耦合元件)、CMOS(ComplementaryMetalOxideSemiconductor:互补金属氧化物半导体)等固体摄像元件由接收光并进行光电转换后输出电信号的多个像素构成。众所周知的是,在这种固体摄像元件中存在输出与光的受光量之间没有相关性的异常的电信号的缺陷像素。该缺陷像素的种类中存在稳定缺陷像素和闪烁缺陷像素,其中,该稳定缺陷像素是由于灰尘向受光面的附着、元件的结晶缺陷等而始终输出异常的电信号的像素,该闪烁缺陷像素是由于由电流的紊乱产生的RTS(RandomTelegraphSignal:随机电报信号)噪声而不定期地输出异常的电信号的像素,该电流的紊乱由以下情况引起,即随着固体摄像元件的小型化,在MOS晶体管内移动的电子被存在于栅极绝缘膜的陷阱能级捕获。在拍摄运动图像时,闪烁缺陷像素作为不定期地产生的图像噪声而出现在摄像图像中。作为用于去除该图像噪声的技术,已知如下一种技术:在对摄像元件进行了遮光的状态下使固体摄像元件进行多次摄像,基于进行该摄像而得到的多个图像来检测闪烁缺陷像素,并对检测出的闪烁缺陷像素的电信号进行校正(参照专利文献1)。专利文献1:日本特开2013-211785号公报

技术实现要素:
发明要解决的问题然而,闪烁缺陷像素不定期地输出异常的电信号,因此即使是上述的专利文献1也有时无法检测闪烁缺陷像素。因此,期望一种能够可靠地检测摄像元件内的闪烁缺陷像素并进行校正的技术。本发明是鉴于上述而完成的,其目的在于提供一种能够可靠地检测摄像元件内的闪烁缺陷像素并进行校正的内窥镜系统、像素校正方法。用于解决问题的方案为了解决上述问题并且实现目的,本发明所涉及的内窥镜系统的特征在于,具备:光源部,其射出用于对被检体进行照明的照明光;摄像元件,在该摄像元件中以二维状排列有多个像素,各像素通过接收光并进行光电转换来输出电信号,该摄像元件以规定的帧频拍摄所述被摄体并输出所述被检体的图像数据;照明控制部,其使所述光源部以规定的周期熄灭;差计算部,其计算暗时图像与暗时基准图像之间的差数据,其中,该暗时图像与在所述照明控制部使所述光源部熄灭的熄灭时由所述摄像元件输出的所述图像数据对应,该暗时基准图像是为了检测所述电信号不定期地变化的闪烁缺陷像素而预先生成的;闪烁缺陷像素检测部,其基于由所述差计算部计算出的所述差数据来检测所述摄像元件中的所述闪烁缺陷像素;以及像素校正部,其使用由所述闪烁缺陷像素检测部检测出的所述闪烁缺陷像素的周边的其它像素所输出的所述电信号对该闪烁缺陷像素所输出的所述电信号进行校正。另外,本发明所涉及的内窥镜系统的特征在于,在上述发明中还具备:显示装置,其显示与由所述摄像元件生成的所述图像数据对应的图像;以及图像输出定时调整部,其暂时保持由所述摄像元件生成的所述图像数据并以规定的定时向所述显示装置输出该图像数据,其中,在每单位时间内,所述照明控制部使所述光源部熄灭n(n≥1)次,并且在将所述规定的帧频设为N的情况下使一帧内的所述光源部的熄灭时间为1/N来使所述光源部熄灭,所述图像输出定时调整部将向所述显示装置输出所述图像数据的输出时的帧频设为N-n来输出所述图像数据。另外,本发明所涉及的内窥镜系统的特征在于,在上述发明中,所述照明控制部使所述光源部在单位时间内的第一帧熄灭。另外,本发明所涉及的内窥镜系统的特征在于,在上述发明中,所述照明控制部将使所述光源部熄灭的熄灭期间内的帧设为等于或多于所述光源部点亮的点亮期间内的帧。另外,本发明所涉及的内窥镜系统的特征在于,在上述发明中,所述光源部具有LED光源。另外,本发明所涉及的内窥镜系统的特征在于,在上述发明中,所述暗时基准图像是在该内窥镜系统出厂时或将该内窥镜系统插入到所述被检体的体腔内使用的检查时、将由所述摄像元件依次生成的多个所述暗时图像进行平均而得到的。另外,本发明所涉及的内窥镜系统的特征在于,在上述发明中还具备能够插入到所述被检体的体腔内的胶囊型的壳体,所述光源部、所述摄像元件、所述照明控制部、所述差计算部、所述闪烁缺陷像素检测部以及所述像素校正部被设置在所述壳体内。另外,本发明所涉及的像素校正方法是由内窥镜系统执行的像素校正方法,其特征在于,包括以下步骤:射出步骤,射出用于对被摄体进行照明的照明光;摄像步骤,使摄像元件以规定的帧频拍摄所述被摄体并输出所述被摄体的图像数据,其中,在所述摄像元件中以二维状排列有多个像素,各像素通过接收光并进行光电转换来输出电信号;照明控制步骤,使所述照明光以规定的周期停止;差计算步骤,计算暗时图像与暗时基准图像之间的差数据,其中,该暗时图像与在所述照明控制步骤中使所述照明光停止的熄灭时在所述摄像步骤中输出的所述图像数据对应,该暗时基准图像是为了检测所述电信号不定期地变化的闪烁缺陷像素而预先生成的;闪烁缺陷像素检测步骤,基于在所述差计算步骤中计算出的所述差数据来检测所述摄像元件中的所述闪烁缺陷像素;以及像素校正步骤,使用在所述闪烁缺陷像素检测步骤中检测出的所述闪烁缺陷像素的周边的其它像素所输出的所述电信号对该闪烁缺陷像素所输出的所述电信号进行校正。发明的效果根据本发明,起到能够可靠地检测摄像元件内的闪烁缺陷像素并进行校正的效果。附图说明图1是表示本发明的实施方式1所涉及的内窥镜系统的概要结构的图。图2是表示本发明的实施方式1所涉及的内窥镜系统的主要部分的功能结构的框图。图3是表示由本发明的实施方式1所涉及的内窥镜系统执行的处理的概要的流程图。图4是示意性地表示与由本发明的实施方式1所涉及的内窥镜系统的摄像元件以规定的帧频生成的图像数据对应的图像的图。图5是示意性地表示由本发明的实施方式1所涉及的内窥镜系统的差计算部计算的差数据的图。图6是示意性地表示与由本发明的实施方式1所涉及的内窥镜系统的像素校正部进行像素校正后得到的图像数据对应的图像的图。图7是表示本发明的实施方式2所涉及的内窥镜系统的主要部分的功能结构的框图。图8是表示由本发明的实施方式2所涉及的内窥镜系统执行的处理的概要的流程图。图9是示意性地说明由本发明的实施方式2所涉及的内窥镜系统的加法平均处理部生成的暗时基准图像数据的生成方法的概要的图。图10是表示与由本发明的实施方式2所涉及的内窥镜系统的加法平均处理部生成的暗时基准图像数据对应的暗时基准图像的一例的图。图11是示意性地说明本发明的实施方式2所涉及的内窥镜系统的图像插值部对图像进行插值的插值方法的概要的图。具体实施方式以下,作为用于实施本发明的方式(以下称为“实施方式”),以拍摄并显示患者等被检体的体腔内的图像的医疗用的内窥镜系统为例进行说明。另外,本发明并不限定于该实施方式。并且,在附图的记载中,对同一部分附加相同的附图标记。另外需要注意的是,附图是示意性的,各构件的厚度与宽度之间的关系、各构件的比例等与现实有所不同。另外,附图相互之间也包括尺寸、比例互不相同的部分。(实施方式1)图1是表示本发明的实施方式1所涉及的内窥镜系统的概要结构的图。图2是表示本发明的实施方式1所涉及的内窥镜系统的主要部分的功能结构的框图。图1和图2所示的内窥镜系统1具备:内窥镜装置2(电子观测器),其通过将前端部插入到被检体的体腔内来拍摄被检体的体内图像;光源装置3,其产生用于从内窥镜装置2的前端对被摄体进行照明的照明光;显示装置4,其能够显示由内窥镜装置2拍摄到的体内图像;以及处理装置5(外部处理器),其对由内窥镜装置2拍摄到的体内图像实施规定的图像处理后向显示装置4输出,并且对内窥镜系统1整体的动作进行整体控制。首先,对内窥镜装置2的结构进行说明。内窥镜装置2具备:插入部21,其具有弹性且呈细长形状;操作部22,其连接于插入部21的基端侧,接收各种操作信号的输入;以及通用线23,其从操作部22向与插入部21延伸的方向不同的方向延伸,内置有用于连接光源装置3和处理装置5的各种线缆。插入部21具有:前端部24,其内置有后述的摄像元件;弯曲自如的弯曲部25,其由多个弯曲片构成;以及长条状的弹性管部26,其连接于弯曲部25的基端侧,具有弹性。前端部24具有:光导件241,其使用玻璃纤维等构成并形成由光源装置3发出的光的导光路径;照明透镜242,其设置于光导件241的前端;聚光用的光学系统243;摄像元件244,其设置在光学系统243的成像位置,在该摄像元件244中以二维状排列有多个像素,各像素接收由光学系统243会聚的光并光电转换为电信号;内窥镜记录部245,其记录与内窥镜装置2有关的各种信息;以及摄像控制部246,其控制摄像元件244。光学系统243使用一个或多个透镜构成,通过沿光轴L移动来改变使视角变化的光学变焦以及焦点。在摄像元件244中以二维状排列有多个像素,各像素通过接收光并进行光电转换来输出电信号,该摄像元件244以规定的帧频拍摄被摄体(体腔)并输出被摄体的图像数据。具体地说,使用以二维矩阵状配设有多个像素的CCD(ChargeCoupledDevice:电荷耦合元件)或CMOS(ComplementaryMetalOxideSemiconductor:互补金属氧化物半导体)等图像传感器来构成摄像元件244,其中,各像素分别具有蓄积与光量相应的电荷的光电二极管和将光电二极管所蓄积的电荷放大的放大器。摄像元件244将由各像素生成的电信号作为图像数据(RAW数据)向处理装置5输出。内窥镜记录部245记录与内窥镜装置2有关的各种信息、例如用于识别内窥镜装置2的识别信息、摄像元件244的识别信息等。内窥镜记录部245使用易失性存储器等构成。摄像控制部246基于从处理装置5输入的指示信息来控制摄像元件244的动作。具体地说,摄像控制部246基于从处理装置5输入的指示信息来控制摄像元件244的帧频。例如,摄像控制部246使摄像元件244以60fps输出图像数据。操作部22具有:弯曲旋钮221,其使弯曲部25向上下方向和左右方向弯曲;处置器具插入部222,其用于向体腔内插入生物体钳子、激光手术刀以及检查探头等处置器具;以及作为操作输入部的多个开关223,各开关223除了输入光源装置3、处理装置5的操作指示信号以外,还输入送空气单元、送水单元以及送气体单元等外围设备的操作指示信号。从处置器具插入部222插入的处置器具经由前端部24的处置器具通道(未图示)而从开口部(未图示)露出。通用线23至少内置有光导件241和一条或汇集多条线缆而成的集合线缆。集合线缆是在内窥镜装置2与光源装置3和处理装置5之间发送接收信号的信号线,包括用于发送接收设定数据的信号线、用于发送接收图像信号的信号线以及用于发送接收用于驱动摄像元件244的驱动用的定时信号的信号线等。通用线23具有相对于光源装置3装卸自如的连接器部27。连接器部27延伸设置有线圈状的线圈线缆27a,在线圈线缆27a的延伸端具有相对于处理装置5装卸自如的连接器部28。接着,对光源装置3的结构进行说明。光源装置3具备光源部31、光源驱动器32以及照明控制部33。光源部31射出用于照射被检体的照明光。光源部31具有聚光透镜311和光源312。聚光透镜311使用一个或多个透镜构成,会聚由光源312发出的光。光源312使用LED(LightEmittingDiode:发光二极管)构成,产生白色光。此外,光源312也可以是以下结构:使用红色LED、绿色LED以及蓝色LED构成,通过使各LED同时发光来产生白色光。光源驱动器32在照明控制部33的控制下对光源312供给电量,由此使光源312间歇地产生白色光。由光源312发出的光经由聚光透镜311和光导件241而从前端部24的前端照射出。照明控制部33基于从处理装置5输入的指示信号来控制光源312的点亮定时。具体地说,照明控制部33使光源312以规定的周期熄灭。更具体地说,在每单位时间内,照明控制部33使光源部31熄灭n(n≥1)次,并且在将由摄像元件244生成的图像数据的帧频设为N的情况下使光源部31的熄灭时间为1/N来使光源部31熄灭。例如,在由摄像元件244生成的图像数据的帧频为61fps的情况下,照明控制部33使光源312只熄灭1帧,并且使光源部31的熄灭时间为1/61(sec)来使光源部31熄灭。照明控制部33使用CPU等构成。接着,对显示装置4的结构进行说明。显示装置4显示从处理装置5输入的体内图像。另外,显示装置4显示与内窥镜系统1有关的各种信息。显示装置4使用液晶或有机EL(ElectroLuminescence:电致发光)等构成。接着,对处理装置5的结构进行说明。处理装置5具备图像获取部51、差计算部52、闪烁缺陷像素检测部53、记录部54、图像输出定时调整部55、图像处理部56、基准时钟生成部57以及处理控制部58。图像获取部51获取由摄像元件244生成的图像数据。具体地说,图像获取部51在处理控制部58的控制下以规定的帧频从摄像元件244获取图像数据。另外,图像获取部51在处理控制部58的控制下从摄像元件244获取到的图像数据为以正常的曝光拍摄到的正常曝光图像数据的情况下,向图像输出定时调整部55输出该正常曝光图像数据,另一方面,在从摄像元件244获取到的图像数据为暗时图像数据的情况下,向差计算部52输出该暗时图像数据。差计算部52计算暗时图像与暗时基准图像之间的差数据(差值),并向闪烁缺陷像素检测部53输出该计算结果,其中,该暗时图像与从图像获取部51输入的暗时图像数据对应,该暗时基准图像与后述的记录部54的暗时基准图像数据记录部542所记录的暗时基准图像数据对应。具体地说,差计算部52计算暗时图像的各个像素的像素值(电信号)与暗时基准图像的各个像素的像素值(电信号)之间的差数据,并向闪烁缺陷像素检测部53输出该计算结果。闪烁缺陷像素检测部53基于从差计算部52输入的差数据来检测摄像元件244中的闪烁缺陷像素。具体地说,闪烁缺陷像素检测部53针对从差计算部52输入的差数据中的每个像素判定像素值是否为规定的阈值以上,检测像素值为规定的阈值以上的像素作为闪烁缺陷像素。闪烁缺陷像素检测部53向校正像素信息记录部541输出所检测出的闪烁缺陷像素在摄像元件244上的位置信息(像素地址)。记录部54记录用于使内窥镜系统1进行动作的各种程序以及内窥镜系统1的动作所需的各种参数等。另外,记录部54具有校正像素信息记录部541以及暗时基准图像数据记录部542,其中,该校正像素信息记录部541记录摄像元件244的缺陷像素的位置信息和闪烁缺陷像素的位置信息,该暗时基准图像数据记录部542记录检测闪烁缺陷像素时使用的暗时基准图像数据。暗时基准图像数据是在内窥镜装置2出厂前或开始运用内窥镜系统1时将多个暗时图像数据进行平均而得到的。在该暗时基准图像数据中包含缺陷像素信息。记录部54使用SDRAM(SynchronousDynamicRandomAccessMemory:同步动态随机存储器)、Flash存储器等记录介质以及HDD(HardDiskDrive:硬盘驱动器)等构成。图像输出定时调整部55在处理控制部58的控制下暂时保持从图像获取部51输入的正常图像数据,并以规定的定时向图像处理部56输出该正常图像数据。具体地说,在将由摄像元件244生成的图像数据的帧频设为N的情况下,图像输出定时调整部55使向图像处理部56输出从摄像元件244经由图像获取部51而输入的正常图像数据的输出时的帧频为N-n来输出该正常图像数据。例如,在摄像元件244的图像数据的帧频为61fps且光源部31的熄灭次数为1次(n=1)时,图像输出定时调整部55以60fps向图像处理部56输出从摄像元件244经由图像获取部51而依次输入的正常图像数据。图像处理部56对从图像输出定时调整部55输入的图像数据进行各种图像处理后向显示装置4输出。具体地说,图像处理部56对图像数据至少进行包括以下处理的图像处理:用于校正黑色输出的光学黑色(OB)减法处理、用于调整图像数据的色调的白平衡(WB)调整处理、颜色矩阵运算处理、伽马校正处理、颜色再现处理以及边缘强调处理等。另外,图像处理部56具有像素校正部561。像素校正部561进行以下的校正处理:基于记录部54的校正像素信息记录部541所记录的缺陷像素信息和闪烁缺陷像素信息来使用缺陷像素和闪烁缺陷像素各自的周边像素或相邻像素的电信号对缺陷像素和闪烁缺陷像素各自的电信号进行校正。基准时钟生成部57生成作为内窥镜系统1的各结构部的动作的基准的基准时钟信号,并对内窥镜系统1的各结构供给所生成的基准时钟信号。处理控制部58进行包括内窥镜装置2和光源装置3在内的各结构部的驱动控制以及针对各结构部的信息的输入输出控制等。处理控制部58使用CPU等构成。对由具有以上结构的内窥镜系统1执行的处理进行说明。图3是表示由内窥镜系统1执行的处理的概要的流程图。如图3所示,内窥镜系统1使摄像元件244以规定的帧频开始摄像,并且使光源装置3与摄像元件244的帧频同步地开始射出照明光(步骤S101)。具体地说,摄像控制部246使摄像元件244以规定的帧频开始摄像。例如,如图4所示,摄像控制部246使摄像元件244以61fps开始被检体的体腔内的摄像。另外,照明控制部33与摄像元件244的帧频同步地使光源312以规定的周期熄灭。例如图4所示那样,在摄像元件244以61fps拍摄被检体的体腔内的情况下,照明控制部33使光源312在第一帧熄灭。在该情况下,摄像元件244生成暗时图像数据。此外,在图4中,各图像F1~F61中的像素G1表示缺陷像素,像素G2表示闪烁缺陷像素。并且,以下用阴影表现闪烁缺陷像素输出了正常的图像信号的情况,用空白表现闪烁缺陷像素输出了异常的图像信号的情况。在图4所示的情况下,示出在第一帧的暗时图像F1、第二帧的正常曝光图像F2以及第61帧的正常曝光图像F61上产生了闪烁缺陷像素G2的状态。接着,图像获取部51获取由摄像元件244生成的图像数据(步骤S102)。之后,处理控制部58判定由图像获取部51从摄像元件244获取到的图像数据是否为暗时图像数据(步骤S103)。具体地说,处理控制部58判定由图像获取部51从摄像元件244获取到的图像数据是否为在照明控制部33使光源312熄灭的熄灭时由摄像元件244生成的图像数据。在处理控制部58判断为由图像获取部51从摄像元件244获取到的图像数据是暗时图像数据的情况下(步骤S103:“是”),内窥镜系统1转移到后述的步骤S104。与此相对,在处理控制部58判断为由图像获取部51从摄像元件244获取到的图像数据不是暗时图像数据的情况下(步骤S103:“否”),内窥镜系统1转移到后述的步骤S108。在步骤S104中,处理控制部58向差计算部52输出由图像获取部51从摄像元件244获取到的暗时图像数据。接着,差计算部52基于与从图像获取部51输入的暗时图像数据对应的暗时图像以及与暗时基准图像数据记录部542所记录的暗时基准图像数据对应的暗时基准图像来计算差数据(步骤S105)。图5是说明由差计算部52计算的差数据的计算方法的示意图。如图5所示,差计算部52通过从暗时图像F1减去暗时基准图像FS来计算暗时图像F1中的每个像素的像素值(图像信号)与暗时基准图像FS中的每个像素的像素值(图像信号)之间的差数据FG。此外,在图5中,为了明确闪烁缺陷像素G2的像素值而用黑圆来表现。在步骤S105之后,闪烁缺陷像素检测部53基于由差计算部52计算出的差数据来检测摄像元件244中的闪烁缺陷像素(步骤S106)。具体地说,闪烁缺陷像素检测部53针对由差计算部52计算出的差数据中的每个像素判定像素值是否超过规定的阈值,并检测超过规定的阈值的像素作为校正对象的闪烁缺陷像素。例如,在图5所示的情况下,闪烁缺陷像素检测部53检测差数据FG的闪烁缺陷像素G2。接着,处理控制部58将与由闪烁缺陷像素检测部53检测出的摄像元件244内的闪烁缺陷像素的位置有关的闪烁缺陷像素信息记录到校正像素信息记录部541(步骤S107)。在步骤S107之后,内窥镜系统1转移到后述的步骤S113。在步骤S108中,处理控制部58向图像输出定时调整部55输出由图像获取部51从摄像元件244获取到的正常曝光图像数据。接着,图像输出定时调整部55暂时存储(保持)从图像获取部51输入的正常曝光图像数据(步骤S109)。之后,图像输出定时调整部55以规定的定时向图像处理部56输出正常曝光图像数据(步骤S110)。具体地说,图像输出定时调整部55将正常曝光图像数据以使由摄像元件244生成的图像数据的帧频在每单位时间内为相同的帧频的方式向图像处理部56输出。例如,图像输出定时调整部55以60fps向图像处理部56输出正常曝光图像数据。接着,像素校正部561进行如下的像素校正处理:基于校正像素信息记录部541所记录的缺陷像素信息和闪烁缺陷像素信息,对与从图像输出定时调整部55输入的正常曝光图像数据对应的正常曝光图像内的缺陷像素和闪烁缺陷像素,使用其它周边像素的电信号进行校正(步骤S111)。具体地说,像素校正部561如图6所示那样基于校正像素信息记录部541所记录的缺陷像素信息和闪烁缺陷像素信息,对从图像输出定时调整部55依次输入的正常曝光图像F2~F61内的缺陷像素G1,使用缺陷像素G1的周边像素、例如与缺陷像素G1相邻的四个像素的电信号进行校正,并且对从图像输出定时调整部55依次输入的正常曝光图像F2~F61内的闪烁缺陷像素G2,使用闪烁缺陷像素G2的周边像素的电信号对闪烁缺陷像素G2进行校正,从而生成与显示图像数据对应的显示图像F1’~F60’(图6的(a)→图6的(b))。在该情况下,图像处理部56对正常曝光图像数据进行使上述的正常曝光图像数据显影所需的基本的图像处理。之后,图像处理部56向显示装置4输出显示图像数据(步骤S112)。由此,如图6的(b)所示,显示装置4能够依次显示缺陷像素G1的像素和闪烁缺陷像素G2的像素被校正后的显示图像F1’~F60’,从而能够显示高分辨率的图像。在步骤S112之后,内窥镜系统1转移到步骤S113。在步骤S107之后或步骤S112之后,在从开关223输入了使由内窥镜系统1进行的被检体的体腔内的摄像结束的指示信号的情况下(步骤S113:“是”),内窥镜系统1结束本处理。与此相对,在没有从开关223输入使由内窥镜系统1进行的被检体的体腔内的摄像结束的指示信号的情况下(步骤S113:“否”),内窥镜系统1返回到步骤S102。根据以上所说明的本发明的实施方式1,能够可靠地检测摄像元件244内的闪烁缺陷像素并进行校正,因此能够显示高分辨率的图像。(实施方式2)接着,对本发明的实施方式2进行说明。在上述的实施方式1中,暗时基准图像数据被记录在暗时基准图像数据记录部542中,但在本实施方式2中,在检查被检体时或检查前生成暗时基准图像数据。具体地说,在本实施方式2中,使光源部以规定的周期熄灭。并且,在本实施方式2中,依次记录在光源部熄灭时由摄像元件生成的多个暗时图像数据并按每个像素的电信号进行平均,由此来生成暗时基准图像数据。因此,以下在对本实施方式2所涉及的内窥镜系统的结构进行说明之后,对由本实施方式2所涉及的内窥镜系统执行的处理进行说明。此外,对与上述的实施方式1所涉及的内窥镜系统1相同的结构附加相同的附图标记并省略说明。图7是表示本发明的实施方式2所涉及的内窥镜系统的主要部分的功能的框图。图7所示的内窥镜系统1a具备内窥镜装置2、光源装置3a、显示装置4以及处理装置5a。首先,对光源装置3a的结构进行说明。光源装置3a具备光源部31、光源驱动器32以及照明控制部33a。照明控制部33a与由摄像元件244生成的图像数据的帧频同步地使光源部31以规定的周期熄灭。具体地说,在每单位时间内,照明控制部33a使光源部31熄灭n(n≥1)次,并且在将由摄像元件244生成的图像数据的帧频设为N的情况下使光源部31的熄灭时间为1/N来使光源部31熄灭。例如,在由摄像元件244生成的图像数据的帧频为60fps的情况下,照明控制部33a使光源312在1帧、11帧、21帧、31帧、41帧以及51帧的各自的摄像期间内熄灭。在该情况下,照明控制部33a使1帧内的光源部31的熄灭时间为1/60(sec)来使光源部31熄灭。另外,也可以是,例如在由摄像元件244生成的图像数据的帧频为120fps的情况下,照明控制部33a使光源部31在偶数帧或奇数帧的摄像期间内熄灭。接着,对处理装置5a的结构进行说明。处理装置5a具备图像获取部51、差计算部52、闪烁缺陷像素检测部53、记录部54、图像输出定时调整部55、图像处理部56a、基准时钟生成部57、处理控制部58以及加法平均处理部59。图像处理部56a具有像素校正部561和图像插值部562。在从图像输出定时调整部55输入的正常曝光图像数据的输入定时与暗时图像数据的帧匹配的情况下,图像插值部562基于前一正常曝光图像数据和当前的正常曝光图像数据来生成与暗时图像数据的帧匹配的正常曝光图像数据后向显示装置4输出。加法平均处理部59将从图像获取部51依次输入的多个暗时图像数据相加后进行平均化来生成暗时基准图像数据。具体地说,在被检体的检查时或检查中内窥镜装置2的前端部24被插入到被检体的体腔内的情况下,加法平均处理部59对从图像获取部51依次输入的多个暗时图像数据进行平均化来生成暗时基准图像数据。加法平均处理部59向暗时基准图像数据记录部542输出暗时基准图像数据来依次更新暗时基准图像数据。对由具有以上结构的内窥镜系统1a执行的处理进行说明。图8是表示由内窥镜系统1a执行的处理的概要的流程图。图8所示的步骤S201~步骤S203分别与上述的图3的步骤S101~步骤S103对应。在步骤S204中,处理控制部58向差计算部52和加法平均处理部59输出图像获取部51从摄像元件244获取到的暗时图像数据。接着,加法平均处理部59存储从图像获取部51输入的暗时图像数据,并对所存储的多个暗时图像数据进行平均化,由此生成暗时基准图像数据并记录到暗时基准图像数据记录部542中(步骤S205)。具体地说,如图9所示,加法平均处理部59存储与从图像获取部51依次输入的多个暗时图像数据对应的多个暗时图像F1、F11、F21、F31、F41,针对所存储的多个暗时图像F1、F11、F21、F31、F41中的每个像素将像素值(电信号)相加后除以暗时图像的个数,由此生成暗时基准图像数据。图10是表示与暗时基准图像数据对应的暗时基准图像FS的显示例的图。此外,在图9中,依次输入了暗时图像F1、F11、F21、F31、F41,但是例如也可以利用摄像元件244在暗时图像F1与暗时图像F11之间连续地生成与正常曝光图像数据对应的正常曝光图像。步骤S206~步骤S212分别与上述的图3的步骤S105~步骤S111对应。在步骤S213中,在从像素校正部561输入的正常曝光图像数据与暗时图像数据的帧匹配的情况下(步骤S213:“是”),图像插值部562基于前一正常曝光图像数据和当前的正常曝光图像数据来对与暗时图像数据的帧匹配的正常曝光图像数据进行插值(步骤S214)。具体地说,如图11的(a)所示,在从像素校正部561输入的正常曝光图像数据与暗时图像数据的帧F11匹配的情况下,图像插值部562对与前一正常曝光图像数据对应的前一正常曝光图像F10’和与当前的正常曝光图像数据对应的当前正常曝光图像F12’乘以规定的系数、例如0.5后进行合成,由此对与暗时图像数据的帧匹配的正常曝光图像F11’进行插值(图11的(a)→图11的(b))。接着,图像插值部562将暗时图像数据的帧F11’的正常曝光图像数据作为显示图像数据向显示装置4输出(步骤S215)。由此,防止由摄像元件244生成的图像数据的掉帧,因此能够平滑地显示被检体的体腔内的体内图像。在步骤S215之后,内窥镜系统1a转移到步骤S216。步骤S216与上述的图3的步骤S113对应。在步骤S213中,在从像素校正部561输入的正常曝光图像数据不与暗时图像数据的帧匹配的情况下(步骤S213:“否”),内窥镜系统1a转移到步骤S216。根据以上所说明的本发明的实施方式2,能够可靠地对摄像元件244内的闪烁缺陷像素进行校正,因此能够显示高分辨率的图像。另外,根据本发明的实施方式2,在检查被检体时生成了暗时基准图像数据,因此即使在检查时或检查中产生了闪烁缺陷像素的情况下,也能够在检查中可靠地检测出该闪烁缺陷像素并进行校正。此外,在本发明的实施方式2中,也可以在被检体的检查结束时将暗时基准图像数据记录部542所记录的暗时基准图像数据删除。由此,能够防止处理装置5a的记录部54的存储器容量的大型化。(其它实施方式)在本发明中,照明控制部与摄像元件的帧频同步地使光源部熄灭,但是也可以是,将使光源部熄灭的熄灭期间内的帧(帧的时间)设为等于或多于光源部点亮的点亮期间内的帧(光源部点亮的点亮期间内的帧的时间等于或大于熄灭期间内的帧的时间),并且将作为熄灭时的摄像元件的曝光时间(摄像时间)的帧内的时间设为点亮时的摄像元件的曝光时间以上。由此,摄像元件的各像素的受光时间变长,因此能够更可靠地检测闪烁缺陷像素。当然,也可以是,将使光源部熄灭的熄灭期间内的帧的时间设为比光源部点亮的点亮期间内的帧的时间长,并且将作为熄灭时的摄像元件的曝光时间(摄像时间)的帧内的时间设为比点亮时的摄像元件的曝光时间长。另外,在本发明中,以能够插入到被检体内的内窥镜装置为例进行了说明,但是在能够导入到被检体内的胶囊型的壳体内设置有摄像元件、光源装置以及处理装置的胶囊型内窥镜装置也能够应用本发明。另外,在本发明中,通过由照明控制部使光源熄灭来使摄像元件生成暗时图像数据,但是也可以是,例如在光源的光路上设置具有遮光区域的旋转滤光器,通过使该旋转滤光器旋转来使光源装置熄灭。另外,在本发明中,像素校正部实时地对闪烁缺陷像素进行校正,但是也可以是,例如使记录介质依次记录由摄像元件连续生成的图像数据,在使该记录介质中记录的图像数据再现时对闪烁缺陷像素进行校正。此外,在本说明书中的流程图的说明中,使用“首先”、“之后”以及“接着”等表现方式来明示出步骤之间的处理的前后关系,但是实施本发明所需的处理的顺序并不唯一地限定于这些表现方式。即,本说明书所记载的流程图中的处理的顺序能够在没有矛盾的范围内进行变更。这样,本发明可包括此处没有记载的各种实施方式,能够在由专利权利要求书确定的技术思想的范围内进行各种设计变更等。附图标记说明1、1a:内窥镜系统;2:内窥镜装置;3、3a:光源装置;4:显示装置;5、5a:处理装置;31:光源部;32:光源驱动器;33、33a:照明控制部;51:图像获取部;52:差计算部;53:闪烁缺陷像素检测部;54:记录部;55:图像输出定时调整部;56、56a:图像处理部;57:基准时钟生成部;58:处理控制部;59:加法平均处理部;243:光学系统;244:摄像元件;245:内窥镜记录部;246:摄像控制部;311:聚光透镜;312:光源;541:校正像素信息记录部;542:暗时基准图像数据记录部;561:像素校正部;562:图像插值部;G1:缺陷像素;G2:闪烁缺陷像素。
当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1