图像处理装置、图像处理方法和图像处理程序与流程

本发明涉及对输入图像信号实施信号处理的图像处理装置、图像处理方法和图像处理程序

背景技术：

以往，在医疗领域中，在对患者等被检体的脏器进行观察时使用内窥镜系统。一般而言，内窥镜系统具有：内窥镜，其具有被插入到被检体的体腔内的插入部，该插入部在前端设置有摄像元件；以及处理装置，其经由缆线而与插入部的基端侧连接，进行与摄像元件生成的摄像信号对应的体内图像的图像处理，使显示部等显示体内图像。

在对体内图像进行观察时，存在希望观察胃粘膜的发红、平坦的病变等对比度较低的对象而不是血管或粘膜构造等对比度较高的对象这样的期望。针对该期望，公开了如下技术：在通过摄像而取得的图像中，对规定的颜色成分的信号和规定的颜色成分间的色差信号实施强调处理，由此取得对对比度较低的对象进行了强调的图像(例如参照专利文献1)。

现有技术文献

专利文献

专利文献1：日本特许第5159904号公报

技术实现要素：

发明要解决的课题

但是，在专利文献1公开的技术中，由于对规定的颜色成分实施强调处理，因此会生成色调与不实施强调处理而生成的体内图像的色调不同的体内图像。在使用色调发生变化的体内图像进行病变诊断的情况下，需要建立与此前培养的诊断学不同的诊断学。

此外，在显示部中显示体内图像时，在处理装置中，有时结合显示部的显示方式来实施灰度压缩处理。此时，一般而言，对为了显示而生成的体内图像实施灰度压缩处理，因此，实施了强调处理的部分也被压缩。因此，即使通过专利文献1公开的技术实施了强调处理，该强调部分的对比度也降低，成为视觉辨认性较低的图像。

本发明是鉴于上述情况而完成的，其目的在于，提供能够生成抑制色调的变化且具有良好的视觉辨认性的图像的图像处理装置、图像处理方法和图像处理程序。

用于解决课题的手段

为了解决上述课题并实现目的，本发明的图像处理装置的特征在于，所述图像处理装置具有：基础成分提取部，其从影像信号中包含的图像成分中提取基础成分；成分调整部，其以如下方式进行所述基础成分的成分调整，即，与所述影像信号对应的图像的明亮度越大，则所述基础成分相对于所述图像成分占据的比例越大；以及细节成分提取部，其使用所述图像成分和所述成分调整部进行成分调整后的基础成分提取细节成分。

此外，本发明的图像处理装置的特征在于，在上述发明中，所述成分调整部在所述图像的亮度值大于预先设定的阈值的情况下，进行所述基础成分的成分调整。

此外，本发明的图像处理装置的特征在于，在上述发明中，所述成分调整部对所述基础成分和所述图像成分进行α混合。

此外，本发明的图像处理装置的特征在于，在上述发明中，所述成分调整部进行所述图像的边缘检测，设定亮度值大的区域即高亮度区域，根据所设定的所述高亮度区域进行所述基础成分的成分调整。

此外，本发明的图像处理装置的特征在于，在上述发明中，所述图像处理装置还具有明亮度校正部，该明亮度校正部对由所述成分调整部进行成分调整后的基础成分进行明亮度校正。

此外，本发明的图像处理装置的特征在于，在上述发明中，所述图像处理装置还具有：细节成分强调部，其对所述细节成分提取部提取出的细节成分实施强调处理；以及合成部，其对由所述成分调整部进行成分调整后的基础成分和由细节成分强调部进行所述强调处理后的细节成分进行合成。

此外，本发明的图像处理装置的特征在于，在上述发明中，所述细节成分强调部对包含所述细节成分的细节成分信号的增益进行放大。

此外，本发明的图像处理装置对影像信号中包含的图像成分实施处理，其特征在于，处理器进行以下处理：从所述图像成分中提取基础成分；以如下方式进行所述基础成分的成分调整，即，与所述影像信号对应的图像的明亮度越大，则所述基础成分相对于所述图像成分占据的比例越大；以及使用所述图像成分和进行成分调整后的基础成分提取细节成分。

此外，本发明的图像处理方法的特征在于，所述图像处理方法具有以下步骤：

从影像信号中包含的图像成分中提取基础成分；以如下方式进行所述基础成分的成分调整，即，与所述影像信号对应的图像的明亮度越大，则所述基础成分相对于所述图像成分占据的比例越大；以及使用所述图像成分和进行成分调整后的基础成分提取细节成分。

此外，本发明的图像处理程序的特征在于，所述图像处理程序使计算机执行以下步骤：基础成分提取步骤，从影像信号中包含的图像成分中提取基础成分；成分调整步骤，以如下方式进行所述基础成分的成分调整，即，与所述影像信号对应的图像的明亮度越大，则所述基础成分相对于所述图像成分占据的比例越大；以及细节成分提取步骤，使用所述图像成分和在所述成分调整步骤中进行成分调整后的基础成分提取细节成分。

发明效果

根据本发明，发挥能够生成抑制色调的变化且具有良好的视觉辨认性的图像这样的效果。

附图说明

图1是示出本发明的实施方式1的内窥镜系统的概略结构的图。

图2是示出本发明的实施方式1的内窥镜系统的概略结构的框图。

图3是用于说明本发明的实施方式1的处理装置进行的权重计算处理的图。

图4是示出本发明的实施方式1的处理装置进行的图像处理方法的流程图。

图5是说明本发明的实施方式1的内窥镜系统的图像处理方法的图，是分别识别某个像素行上的各像素位置处的输入图像和基础成分图像的像素值的图。

图6是说明本发明的实施方式1的内窥镜系统的图像处理方法的图，是示出某个像素行上的各像素位置处的细节成分图像的像素值的图。

图7是示出基于摄像信号的图像(a)、本发明的实施方式1的处理装置生成的图像(b)、使用未调整的基础成分生成的图像(c)的图。

图8是示出本发明的实施方式1的变形例1的内窥镜系统的概略结构的框图。

图9是示出本发明的实施方式1的变形例2的内窥镜系统的概略结构的框图。

图10是示出本发明的实施方式2的内窥镜系统的概略结构的框图。

图11是用于说明本发明的实施方式2的处理装置进行的明亮度校正处理的图。

图12是示出本发明的实施方式3的内窥镜系统的概略结构的框图。

图13是示出本发明的实施方式3的处理装置进行的图像处理方法的流程图。

图14是说明本发明的实施方式3的内窥镜系统的图像处理方法的图，是分别识别某个像素行上的各像素位置处的输入图像和基础成分图像的像素值的图。

图15是说明本发明的实施方式3的内窥镜系统的图像处理方法的图，是示出某个像素行上的各像素位置处的细节成分图像的像素值的图。

具体实施方式

下面，对用于实施本发明的方式(以下称为“实施方式”)进行说明。在实施方式中，作为包含本发明的图像处理装置的系统的一例，说明对患者等被检体内的图像进行摄像并显示的医疗用的内窥镜系统。此外，本发明不由该实施方式进行限定。进而，在附图的记载中，对相同部分标注相同标号进行说明。

(实施方式1)

图1是示出本发明的实施方式1的内窥镜系统的概略结构的图。图2是示出本实施方式1的内窥镜系统的概略结构的框图。另外，在图2中，实线的箭头示出与图像有关的电信号的传输，虚线的箭头示出与控制有关的电信号的传输。

图1和图2所示的内窥镜系统1具有：内窥镜2，其将前端部插入到被检体内，由此对被检体的体内图像进行摄像；处理装置3，其具有产生从内窥镜2的前端射出的照明光的光源部3a，对内窥镜2进行摄像而得到的摄像信号实施规定的信号处理，并且对内窥镜系统1整体的动作进行总括控制；以及显示装置4，其显示通过处理装置3的信号处理而生成的体内图像。

内窥镜2具有：插入部21，其具有挠性且呈细长形状；操作部22，其与插入部21的基端侧连接，受理各种操作信号的输入；以及通用软线23，其从操作部22向与插入部21延伸的方向不同的方向延伸，内置与处理装置3(包含光源部3a)连接的各种缆线。

插入部21具有：前端部24，其内置有摄像元件244，该摄像元件244呈二维状排列有通过接收光并进行光电转换而生成信号的像素；弯曲自如的弯曲部25，其由多个弯曲块构成；以及具有挠性的长条状的挠性管部26，其与弯曲部25的基端侧连接。插入部21被插入到被检体的体腔内，通过摄像元件244对位于外光无法到达的位置的活体组织等被摄体进行摄像。

前端部24具有：光导241，其使用玻璃纤维等构成，构成由光源部3a发出的光的导光路；照明透镜242，其设置在光导241的前端；会聚用的光学系统243；以及摄像元件244，其设置在光学系统243的成像位置，接收光学系统243会聚的光并将其光电转换为电信号，实施规定的信号处理。

光学系统243使用一个或多个透镜构成，具有使视场角变化的光学变焦功能和使焦点变化的对焦功能。

摄像元件244对来自光学系统243的光进行光电转换而生成电信号(摄像信号)。具体而言，摄像元件244具有：受光部244a，其呈矩阵状排列有多个像素，这多个像素分别具有蓄积与光量对应的电荷的光电二极管和将从光电二极管转送的电荷转换为电压电平的电容器等，各像素对来自光学系统243的光进行光电转换而生成电信号；以及读出部244b，其依次读出受光部244a的多个像素中的任意设定为读出对象的像素生成的电信号，作为摄像信号进行输出。在受光部244a中设置有滤色器，各像素接收红色(r)、绿色(g)和蓝色(b)的各颜色成分的波段中的任意波段的光。摄像元件244按照从处理装置3接收到的驱动信号对前端部24的各种动作进行控制。摄像元件244例如使用ccd(chargecoupleddevice)图像传感器、cmos(complementarymetaloxidesemiconductor)图像传感器实现。

操作部22具有：弯曲旋钮221，其使弯曲部25在上下方向和左右方向上弯曲；处置器具插入部222，其将活检钳子、电刀和检查探针等处置器具插入到被检体内；以及操作输入部即多个开关223，其输入处理装置3以及送气单元、送水单元、画面显示控制等周边设备的操作指示信号。从处置器具插入部222插入的处置器具经由前端部24的处置器具通道(未图示)而从开口部(未图示)露出。

通用软线23至少内置有光导241和汇集了一个或多个信号线的集合缆线245。集合缆线245包含用于传输摄像信号的信号线、用于传输用于对摄像元件244进行驱动的驱动信号的信号线、用于收发包含与内窥镜2(摄像元件244)有关的固有信息等在内的信息的信号线。另外，在本实施方式中，设为使用信号线传输电信号来进行说明，但是，也可以传输光信号，还可以通过无线通信在内窥镜2与处理装置3之间传输信号。

接着，对处理装置3的结构进行说明。处理装置3具有摄像信号取得部301、基础成分提取部302、基础成分调整部303、细节成分提取部304、细节成分强调部305、明亮度校正部306、灰度压缩部307、合成部308、显示图像生成部309、输入部310、存储部311、控制部312。该处理装置3可以由一个壳体构成，也可以由多个壳体构成。

摄像信号取得部301从内窥镜2接收摄像元件244输出的摄像信号。摄像信号取得部301对所取得的摄像信号实施噪声去除、a/d转换、同时化处理(例如在使用滤色器等得到每个颜色成分的摄像信号的情况下进行)等信号处理。摄像信号取得部301生成输入图像信号sc，该输入图像信号sc包含通过上述信号处理赋予了rgb的各颜色成分的输入图像。摄像信号取得部301将所生成的输入图像信号sc输入到基础成分提取部302、基础成分调整部303和细节成分提取部304，并且输入到存储部311进行存储。摄像信号取得部301使用cpu(centralprocessingunit)等通用处理器、asic(applicationspecificintegratedcircuit)、可改写处理内容的可编程逻辑器件即fpga(fieldprogrammablegatearray)等执行特定的功能的各种运算电路等专用处理器构成。

基础成分提取部302从摄像信号取得部301取得输入图像信号sc，从输入图像信号sc的图像成分中提取视觉上相关性较弱的成分。这里所说的图像成分是用于生成图像的成分，即由后述基础成分和/或细节成分构成的成分。提取处理例如能够使用lightnessandretinextheory,e.h.land,j.j.mccann,journaloftheopticalsocietyofamerica,61(1),1(1971)中记载的技术(retinex理论)进行。在基于retinex理论的提取处理中，视觉上相关性较弱的成分是与物体的照明光成分相当的成分。视觉上相关性较弱的成分一般被称为基础成分。另一方面，视觉上相关性较强的成分是与物体的反射率成分相当的成分。视觉上相关性较强的成分一般被称为细节成分。细节成分是将构成图像的信号除以基础成分而得到的成分。细节成分包含物体的轮廓(边缘)成分、纹理成分等对比度成分。基础成分提取部302将包含提取出的基础成分的信号(以下称为“基础成分信号sb”)输入到基础成分调整部303。另外，基础成分提取部302在被输入rgb的各颜色成分的输入图像信号的情况下，对各颜色成分的信号分别进行提取处理。在以后的信号处理中，也对各颜色成分实施同样的处理。基础成分提取部302使用cpu等通用处理器、asic、fpga等执行特定的功能的各种运算电路等专用处理器构成。

基础成分提取部302的提取处理例如能够使用temporallycoherentlocaltonemappingofhdrvideo,t.o.aydinetal,acmtransactionsongraphics,vol33,november2014中记载的edge-awarefiltering技术进行。此外，基础成分提取部302也可以将空间频率分成多个频带来提取基础成分。

基础成分调整部303对基础成分提取部302提取出的基础成分进行调整。基础成分调整部303具有权重计算部303a和成分校正部303b。基础成分调整部303将成分调整后的基础成分信号sb_1输入到细节成分提取部304和明亮度校正部306。基础成分调整部303使用cpu等通用处理器、asic、fpga等执行特定的功能的各种运算电路等专用处理器构成。

权重计算部303a计算基础成分的调整中使用的权重。具体而言，首先，权重计算部303a根据输入图像信号sc，将输入图像的rgb转换为ycrcb，取得亮度值(y)。然后，权重计算部303a参照存储部311取得权重计算用的曲线图，并且，经由输入部310或存储部311取得与亮度值有关的阈值和上限值。另外，在本实施方式1中，设为使用亮度值(y)进行说明，但是，也可以使用rgb的各颜色成分的信号值中的最大值等亮度值以外的基准信号。

图3是用于说明本发明的实施方式1的处理装置进行的权重计算处理的图。权重计算部303a在所取得的曲线图中应用阈值和上限值，生成图3所示的权重计算直线l1。权重计算部303a根据所生成的权重计算直线l1来计算与所输入的亮度值对应的权重。权重计算部303a例如按照每个像素位置计算权重。由此，生成对各像素位置赋予了权重的权重图。另外，阈值以下的亮度值的权重成为零，对于上限值以上的亮度值，设定权重的上限值(例如1)。阈值和上限值可以使用预先存储在存储部311中的值，也可以使用用户借助输入部310输入的值。

成分校正部303b根据权重计算部303a计算出的权重图，对基础成分进行校正。具体而言，成分校正部303b对基础成分提取部302提取出的基础成分加上与权重对应的输入图像。例如，在设基础成分提取部302提取出的基础成分为dprebase、输入图像为dinrgb、校正后的基础成分为dc-base、权重为w时，通过下式(1)得到校正后的基础成分。

dc-base＝(1-w)×dprebase+w×dinrgb…(1)

由此，权重越大，则校正后的基础成分中的输入图像的比例越大。例如，在权重为1的情况下，校正后的基础成分与输入图像相同。这样，在基础成分调整部303中，对输入图像信号sc的图像成分和基础成分提取部302提取出的基础成分进行α混合，由此进行基础成分的成分调整。生成包含由成分校正部303b校正后的基础成分在内的基础成分信号sb_1。

细节成分提取部304使用输入图像信号sc和基础成分信号sb_1提取细节成分。具体而言，细节成分提取部304从输入图像去除基础成分，提取细节成分。细节成分提取部304将包含细节成分的信号(以下称为“细节成分信号sd”)输入到细节成分强调部305。细节成分提取部304使用cpu等通用处理器、asic、fpga等执行特定的功能的各种运算电路等专用处理器构成。

细节成分强调部305对细节成分提取部304提取出的细节成分实施强调处理。细节成分强调部305参照存储部311取得预先设定的函数，进行根据该函数增大各像素位置处的各颜色成分的信号值的增益放大处理。具体而言，细节成分强调部305在设细节成分信号包含的颜色成分的信号中的红色成分的信号值为rdetail、绿色成分的信号值为gdetail、蓝色成分的信号值为bdetail时，计算各颜色成分的信号值作为rdetail^α、gdetail^β、bdetail^γ。这里，在本实施方式1中，α、β和γ是相互独立设定的参数，根据预先设定的函数来决定。例如，针对参数α、β和γ分别设定亮度的函数f(y)，根据所输入的亮度值y计算参数α、β和γ。该函数f(y)可以是一次函数，也可以是指数函数。细节成分强调部305将进行了强调处理后的细节成分信号sd_1输入到合成部308。细节成分强调部305使用cpu等通用处理器、asic、fpga等执行特定的功能的各种运算电路等专用处理器构成。

另外，可以设参数α、β和γ为相同的值，也可以分别设定为任意值。例如借助输入部310设定参数α、β和γ。

明亮度校正部306对基础成分调整部303生成的调整后的基础成分信号sb_1实施明亮度校正处理。明亮度校正部306例如使用预先设定的校正函数进行亮度值的校正处理。明亮度校正部306至少进行增大明亮度较暗的部分的亮度值这样的校正处理。明亮度校正部306将实施了校正处理后的基础成分信号sb_2输入到灰度压缩部307。明亮度校正部306使用cpu等通用处理器、asic、fpga等执行特定的功能的各种运算电路等专用处理器构成。

灰度压缩部307对明亮度校正部306实施了校正处理后的基础成分信号sb_2实施灰度压缩处理。灰度压缩部307实施γ校正处理等公知的灰度压缩处理。灰度压缩部307将灰度压缩后的基础成分信号sb_3输入到合成部308。灰度压缩部307使用cpu等通用处理器、asic、fpga等执行特定的功能的各种运算电路等专用处理器构成。

合成部308对由细节成分强调部305实施了强调处理后的细节成分信号sd_1和灰度压缩部307生成的进行灰度压缩处理后的基础成分信号sb_3进行合成。合成部308通过对细节成分信号sd_1和基础成分信号sb_3进行合成，生成能够提高视觉辨认性的合成图像信号ss。合成部308将所生成的合成图像信号ss输入到显示图像生成部309。合成部308使用cpu等通用处理器、asic、fpga等执行特定的功能的各种运算电路等专用处理器构成。

显示图像生成部309对合成部308生成的合成图像信号ss实施使其成为显示装置4中能够显示的方式的信号的处理，生成显示用的图像信号st。例如，将rgb的各颜色成分的合成图像信号分配给rgb的各通道。显示图像生成部309将所生成的图像信号st输出到显示装置4。显示图像生成部309使用cpu等通用处理器、asic、fpga等执行特定的功能的各种运算电路等专用处理器构成。

输入部310使用键盘、鼠标、开关、触摸面板实现，受理指示内窥镜系统1的动作的动作指示信号等各种信号的输入。另外，输入部310也可以包含设置在操作部22中的开关、外部的平板型计算机等移动型终端。

存储部311存储用于使内窥镜系统1进行动作的各种程序和包含内窥镜系统1的动作所需要的各种参数等在内的数据。此外，存储部311存储处理装置3的识别信息。这里，在识别信息中包含处理装置3的固有信息(id)、年份和规格信息等。

存储部311具有信号处理信息存储部311a，该信号处理信息存储部311a存储权重计算部303a使用的曲线图数据、亮度值的阈值、上限值、细节成分强调部305进行强调处理时使用的函数等强调处理信息。

此外，存储部311存储包含用于执行处理装置3的图像处理方法的图像处理程序在内的各种程序。各种程序还能够记录在硬盘、闪存、cd-rom、dvd-rom、软盘等计算机可读取的记录介质中广泛流通。另外，上述各种程序还能够通过经由通信网络下载来取得。这里所说的通信网络例如通过现有的公共线路网、lan(localareanetwork)、wan(wideareanetwork)等实现，有线、无线都可以。

具有以上结构的存储部311使用预先安装了各种程序等的rom(readonlymemory)以及存储各处理的运算参数和数据等的ram(randomaccessmemory)、硬盘等实现。

控制部312进行包含摄像元件244和光源部3a在内的各结构部的驱动控制、以及针对各结构部的信息的输入输出控制等。控制部312参照存储部311中存储的摄像控制用的控制信息数据(例如读出定时等)，作为驱动信号而经由集合缆线245中包含的规定的信号线发送到摄像元件244。此外，控制部312读出信号处理信息存储部311a中存储的函数并将其输入到细节成分强调部305，使其执行强调处理。控制部312使用cpu等通用处理器、asic、fpga等执行特定的功能的各种运算电路等专用处理器构成。

接着，对光源部3a的结构进行说明。光源部3a具有照明部321和照明控制部322。照明部321在照明控制部322的控制下，依次切换不同曝光量的照明光并对被摄体(被检体)射出。照明部321具有光源321a和光源驱动器321b。

光源321a使用射出白色光的led光源、一个或多个透镜等构成，通过驱动led光源而射出光(照明光)。光源321a产生的照明光经由光导241而从前端部24的前端朝向被摄体射出。另外，光源321a也可以使用红色led光源、绿色led光源和蓝色led光源构成，射出照明光。此外，光源321a也可以使用激光光源、氙灯、卤素灯等灯。

光源驱动器321b在照明控制部322的控制下对光源321a供给电流，由此使光源321a射出照明光。

照明控制部322根据来自控制部312的控制信号控制对光源321a供给的电力量，并且控制光源321a的驱动定时。

显示装置4经由影像缆线显示与处理装置3(显示图像生成部309)生成的图像信号st对应的显示图像。显示装置4使用液晶或有机el(electroluminescence)等监视器构成。

在以上说明的内窥镜系统1中，根据输入到处理装置3的摄像信号，基础成分提取部302提取摄像信号中包含的成分中的基础成分，基础成分调整部303进行提取出的基础成分的成分调整，细节成分提取部304根据成分调整后的基础成分提取细节成分。通过灰度压缩部307对成分调整后的基础成分实施灰度压缩处理。然后，合成部308对进行了强调处理后的细节成分信号和进行灰度压缩后的基础成分信号进行合成，显示图像生成部309生成根据合成后的信号实施了显示用的信号处理的图像信号，显示装置4显示基于图像信号的显示图像。

图4是示出本实施方式1的处理装置进行的图像处理方法的流程图。下面，设为各部在控制部312的控制下进行动作来进行说明。摄像信号取得部301从内窥镜2取得摄像信号后(步骤s101：是)，生成包含通过信号处理而赋予了红色、绿色和蓝色的颜色成分的图像的输入图像信号sc，将其输入到基础成分提取部302、基础成分调整部303和细节成分提取部304。另一方面，摄像信号取得部301在未从内窥镜2输入摄像信号的情况下(步骤s101：否)，反复进行摄像信号的输入确认。

基础成分提取部302被输入输入图像信号sc后，从该输入图像信号sc中提取基础成分，生成包含该基础成分的基础成分信号sb(步骤s102)。基础成分提取部302将包含通过上述提取处理而提取出的基础成分在内的基础成分信号sb输入到基础成分调整部303。

基础成分调整部303被输入基础成分信号sb后，对该基础成分信号sb实施上述调整处理(步骤s103～s104)。在步骤s103中，权重计算部303a根据输入图像的亮度值，按照每个像素位置计算权重。权重计算部303a使用上述曲线图计算各像素位置的权重。在接着步骤s103的步骤s104中，成分校正部303b根据权重计算部303a计算出的权重对基础成分进行校正。具体而言，成分校正部303b使用上述式(1)进行基础成分的校正。

图5是说明本发明的实施方式1的内窥镜系统的图像处理方法的图，是分别示出某个像素行上的各像素位置处的输入图像和基础成分图像的像素值的图。输入图像是与输入图像信号sc对应的图像，基础成分图像是与基础成分信号sb或成分调整后的基础成分信号sb_1对应的图像。图5所示的像素行是同一像素行，示出该像素行中的任意选择出的范围的像素的位置处的像素值。在图5中，作为一例，关于绿色的颜色成分，虚线lorg示出输入图像的像素值，实线l10示出与未进行成分调整的基础成分信号sb对应的基础成分的像素值，单点划线l100示出与成分调整后的基础成分信号sb_1对应的基础成分的像素值。

对虚线lorg和实线l10进行比较时，可知从输入图像中提取了与低频成分相当的成分作为基础成分。这相当于视觉上相关性较弱的成分。此外，对实线l10和单点划线l100进行比较时，可知在输入图像中的像素值大的像素位置处，相对于基础成分提取部302提取出的基础成分，成分调整后的基础成分的像素值大。这样，在本实施方式1中，在成分调整后的基础成分中包含以往可包含在细节成分中的成分。

在接着步骤s104的步骤s105中，明亮度校正部306对基础成分调整部303生成的成分调整后的基础成分信号sb_1实施明亮度校正处理。明亮度校正部306将实施了校正处理后的基础成分信号sb_2输入到灰度压缩部307。

在接着步骤s105的步骤s106中，灰度压缩部307对明亮度校正部306实施了校正处理后的基础成分信号sb_2实施灰度压缩处理。灰度压缩部307实施γ校正处理等公知的灰度压缩处理。灰度压缩部307将灰度压缩后的基础成分信号sb_3输入到合成部308。

在与步骤s105、s106并行进行的步骤s107中，细节成分提取部304使用输入图像信号sc和基础成分信号sb_1提取细节成分。具体而言，细节成分提取部304从输入图像中去除基础成分，提取细节成分。细节成分提取部304将所生成的细节成分信号sd输入到细节成分强调部305。

图6是说明本发明的实施方式1的内窥镜系统的图像处理方法的图，是示出某个像素行上的各像素位置处的细节成分图像的像素值的图。图6所示的像素行示出与图5所示的像素行相同的像素行和相同的选择范围的像素的位置处的像素值。在图6中，作为一例，关于绿色的颜色成分，虚线l20示出根据与基础成分信号sb对应的基础成分提取出的细节成分的像素值，实线l200示出根据与成分调整后的基础成分信号sb_1对应的基础成分提取出的细节成分的像素值。

细节成分是从输入图像的亮度变化中去除成分调整后的基础成分而得到的成分，是包含较多反射率成分的成分。其相当于视觉上相关性较强的成分。如图6所示，可知在输入图像中的像素值大的像素位置处，在根据由基础成分提取部302提取出的基础成分而提取出的细节成分中包含与该像素值对应的成分，与此相对，根据成分调整后的基础成分提取出的细节成分不包含与该像素值对应的以往可作为细节成分提取的成分，或者该成分较少。

然后，细节成分强调部305对所输入的细节成分信号sd实施强调处理(步骤s108)。具体而言，细节成分强调部305参照信号处理信息存储部311a，取得各颜色成分中设定的函数(例如α、β和γ)，增大细节成分信号sd的各颜色成分的输入信号值。细节成分强调部305将进行了强调处理后的细节成分信号sd_1输入到合成部308。

合成部308在从灰度压缩部307输入灰度压缩后的基础成分信号sb_3、并从细节成分强调部305输入强调处理后的细节成分信号sd_1后，对该基础成分信号sb_3和细节成分信号sd_1进行合成，生成合成图像信号ss(步骤s109)。合成部308将所生成的合成图像信号ss输入到显示图像生成部309。

显示图像生成部309在从合成部308输入合成图像信号ss后，对该合成图像信号ss实施使其成为显示装置4中能够显示的方式的信号的处理，生成显示用的图像信号st(步骤s110)。显示图像生成部309将所生成的图像信号st输出到显示装置4。显示装置4显示与所输入的图像信号st对应的图像(步骤s111)。

图7是示出基于摄像信号的图像(a)、本发明的实施方式1的处理装置生成的图像(b)、使用未调整的基础成分生成的图像(c)的图。图7的(b)所示的合成图像与图7的(a)所示的输入图像相比强调了细节成分，并且，与图7的(c)所示的使用未进行成分调整的基础成分生成的合成图像相比抑制了泛白部分。另外，图7的(b)和图7的(c)示出在成分校正部303b进行成分调整后实施平滑化处理、使用该平滑化处理后的基础成分信号生成的图像。

显示图像生成部309生成图像信号st后，控制部312判断是否输入了新的摄像信号，在判断为输入了新的摄像信号的情况下，针对该新的摄像信号进行步骤s102起的图像信号的生成处理。

在上述本发明的实施方式1中，基础成分调整部303针对基础成分提取部302提取出的基础成分计算基于亮度值的权重，根据该权重进行基础成分的成分调整。由此，在成分调整后的基础成分中包含输入图像中的像素值大的像素位置的高亮度成分，在根据该基础成分提取出的细节成分中，该高亮度成分的比例较小。其结果，在强调了细节成分的情况下，不会对与高亮度区域对应的泛白部分进行强调。根据本实施方式1，能够生成抑制色调的变化且具有良好的视觉辨认性的图像。

另外，在上述实施方式1中，设为按照每个像素位置计算权重来进行说明，但是不限于此，也可以按照由附近的多个像素构成的每个像素组计算权重。此外，权重的计算可以按照每1帧进行，也可以按照每多帧进行。权重的计算间隔可以根据帧率来设定。

(实施方式1的变形例1)

在本变形例1中，根据亮度值的直方图决定基础成分的调整中使用的阈值。图8是示出本实施方式1的变形例1的内窥镜系统的概略结构的框图。另外，在图8中，实线的箭头示出与图像有关的电信号的传输，虚线的箭头示出与控制有关的电信号的传输。

本变形例的内窥镜系统1a代替上述实施方式1的内窥镜系统1的处理装置3而具有处理装置3a。下面，仅对与上述实施方式1不同的结构和处理进行说明。处理装置3a代替上述实施方式1的基础成分调整部303而具有基础成分调整部303a。在本变形例1中，基础成分提取部302将提取后的基础成分信号sb输入到基础成分调整部303a。

基础成分调整部303a具有上述权重计算部303a和成分校正部303b、以及直方图生成部303c。直方图生成部303c生成与输入图像的亮度值有关的直方图。

权重计算部303a根据直方图生成部303c生成的直方图，将高亮度区域中孤立的区域的最低亮度值设定为上述阈值，或者从最高亮度起依次加上频度，将成为所设定的频度数的亮度值设定为上述阈值。关于此后的处理，权重计算部303a与上述实施方式1同样，根据阈值和上限值生成用于计算权重的曲线图，计算各像素位置的权重。然后，通过成分校正部303b得到成分调整后的基础成分，根据该基础成分进行细节成分的提取和合成图像的生成。

根据上述本变形例1，关于权重的计算，每当输入输入图像信号时，设定阈值，因此，能够进行与输入图像对应的阈值的设定。

(实施方式1的变形例2)

在本变形例2中，进行输入图像的边缘检测，将由检测到的边缘包围的区域设定为高亮度区域，根据所设定的区域决定权重。图9是示出本实施方式1的变形例2的内窥镜系统的概略结构的框图。另外，在图9中，实线的箭头示出与图像有关的电信号的传输，虚线的箭头示出与控制有关的电信号的传输。

本变形例的内窥镜系统1b代替上述实施方式1的内窥镜系统1的处理装置3而具有处理装置3b。下面，仅对与上述实施方式1不同的结构和处理进行说明。处理装置3b代替上述实施方式1的基础成分调整部303而具有基础成分调整部303b。在本变形例2中，基础成分提取部302将提取后的基础成分信号sb输入到基础成分调整部303b。

基础成分调整部303b具有上述权重计算部303a和成分校正部303b、以及高亮度区域设定部303d。高亮度区域设定部303d进行输入图像的边缘检测，将由检测到的边缘包围的区域的内部设定为高亮度区域。边缘检测能够使用公知的边缘检测。

权重计算部303a将高亮度区域设定部303d设定的高亮度区域的内部的权重设定为1，将高亮度区域的外部的权重设定为0。然后，通过成分校正部303b得到成分调整后的基础成分，根据该基础成分进行细节成分的提取和合成图像的生成。

根据上述本变形例2，根据所设定的高亮度区域将权重设定为0或1，因此，关于认定为高亮度的区域，基础成分被置换为输入图像。由此，将泛白部分的成分作为基础成分，在对细节成分进行了强调的情况下，也能够防止对泛白部分进行强调。

(实施方式2)

在本实施方式2中，明亮度校正部生成按照每个像素位置赋予了增益系数的增益图，根据该增益图进行基础成分的明亮度校正。图10是示出本实施方式2的内窥镜系统的概略结构的框图。另外，对与上述实施方式1的内窥镜系统1的结构要素相同的结构要素标注相同标号。在图10中，实线的箭头示出与图像有关的电信号的传输，虚线的箭头示出与控制有关的电信号的传输。

本实施方式2的内窥镜系统1c相对于上述实施方式1的内窥镜系统1的结构，代替处理装置3而具有处理装置3c。处理装置3c代替上述实施方式1的明亮度校正部306而具有明亮度校正部306a。其他结构与实施方式1的结构相同。下面，仅对与上述实施方式1不同的结构和处理进行说明。

明亮度校正部306a对基础成分调整部303生成的成分调整后的基础成分信号sb_1实施明亮度校正处理。明亮度校正部306a具有增益图生成部306a和增益调整部306b。例如使用预先设定的校正函数进行亮度值的校正处理。明亮度校正部306a使用cpu等通用处理器、asic、fpga等执行特定的功能的各种运算电路等专用处理器构成。

增益图生成部306a根据基础成分的最大像素值ibase-max(x,y)和基础成分的像素值ibase(x,y)计算增益图。具体而言，首先，增益图生成部306a提取红色成分的像素值ibase-r(x,y)、绿色成分的像素值ibase-g(x,y)和蓝色成分的像素值ibase-b(x,y)中的最大的像素值，将该像素值设为最大像素值ibase-max(x,y)。然后，增益图生成部306a针对具有提取出的最大的像素值的颜色成分的像素值，使用下式(2)进行明亮度校正。

【数学式1】

另外，在式(2)中，ibase′是校正后的基础成分的像素值，th是不变亮度值，ζ是系数。此外，igam＝ibase-max^1/ζ。不变亮度值th和系数ζ是作为参数给出的变量，例如能够根据模式来设定。例如，作为模式，举出s/n优先模式、明亮度校正优先模式、进行s/n优先模式和明亮度校正优先模式各自的中间处理的中间模式。

图11是用于说明本发明的实施方式2的处理装置进行的明亮度校正处理的图。当固定不变亮度值th、并设上述s/n优先模式的系数为ζ1、明亮度校正优先模式的系数为ζ2(>ζ1)、中间模式的系数为ζ3(>ζ2)时，关于各模式中的明亮度校正的特性，如果是系数ζ1则成为特性曲线lζ1，如果是系数ζ2则成为特性曲线lζ2，如果是系数ζ3则成为特性曲线lζ3。如特性曲线lζ1～lζ3所示，在本明亮度校正处理中，输入值越小，输出值的放大率越大，当超过某个输入值后，输出与输入值相同的输出值。

增益图生成部306a使用明亮度校正前的基础成分的最大像素值ibase-max和明亮度校正后的基础成分的像素值ibase′生成增益图。具体而言，增益图生成部306a在设像素(x,y)中的增益值为g(x,y)时，通过下式(3)计算增益值g(x,y)。

g(x,y)＝ibase′(x,y)/ibase-max(x,y)…(3)

通过式(3)，赋予各像素位置处的增益值。

增益调整部306b使用增益图生成部306a生成的增益图进行各颜色成分的增益调整。具体而言，增益调整部306b针对像素(x,y)，当设红色成分的增益调整后的像素值为ibase-r′(x,y)、绿色成分的增益调整后的像素值为ibase-g′(x,y)、蓝色成分的增益调整后的像素值为ibase-b′(x,y)时，按照下式(4)进行各颜色成分的增益调整。

ibase-r′(x,y)＝g(x,y)×ibase-r(x,y)

ibase-g′(x,y)＝g(x,y)×ibase-g(x,y)…(4)

ibase-b′(x,y)＝g(x,y)×ibase-b(x,y)

增益调整部306b将对各颜色成分进行了增益调整后的基础成分信号sb_2输入到灰度压缩部307。然后，灰度压缩部307根据所取得的基础成分信号sb_2进行灰度压缩处理，将进行了灰度压缩处理后的基础成分信号sb_3输入到合成部308。合成部308对所输入的基础成分信号sb_3和细节成分信号sd_1进行合成，生成合成图像信号ss。

在上述本发明的实施方式2中，明亮度校正部306a根据按照每个像素位置提取出的一个颜色成分的像素值进行增益值的计算，生成增益图，针对其他颜色成分，也利用该增益值进行增益调整。根据本实施方式2，在各颜色成分的信号处理中针对每个像素位置使用相同的增益值，因此，能够在信号处理前后保持各颜色成分间的相对强度比，所生成的彩色图像的色调不会变化。

此外，在上述实施方式2中，增益图生成部306a提取在各像素位置处具有最大像素值的颜色成分的像素值，计算增益值，因此，在全部像素位置处，能够抑制增益调整后的亮度值超过上限值而产生的剪辑。

(实施方式3)

在本实施方式3中，明亮度校正部生成按照每个像素位置赋予了增益系数的增益图，根据该增益图进行基础成分的明亮度校正。图12是示出本实施方式3的内窥镜系统的概略结构的框图。另外，对与上述实施方式1的内窥镜系统1的结构要素相同的结构要素标注相同标号。在图12中，实线的箭头示出与图像有关的电信号的传输，虚线的箭头示出与控制有关的电信号的传输。

本实施方式3的内窥镜系统1d相对于上述实施方式1的内窥镜系统1的结构，代替处理装置3而具有处理装置3d。处理装置3d在上述实施方式1的结构的基础上具有平滑化部313。其他结构与实施方式1的结构相同。

平滑化部313对基础成分调整部303生成的基础成分信号sb_1实施平滑处理，对信号波形进行平滑化。平滑处理能够使用公知的方法。

图13是示出本实施方式3的处理装置进行的图像处理方法的流程图。下面，设为各部在控制部312的控制下进行动作来进行说明。摄像信号取得部301从内窥镜2取得摄像信号后(步骤s201：是)，生成包含通过信号处理而赋予了红色、绿色和蓝色的颜色成分的图像在内的输入图像信号sc，将其输入到基础成分提取部302、基础成分调整部303和细节成分提取部304。另一方面，摄像信号取得部301在未从内窥镜2输入摄像信号的情况下(步骤s201：否)，反复进行摄像信号的输入确认。

基础成分提取部302被输入输入图像信号sc后，从该输入图像信号sc中提取基础成分，生成包含该基础成分的基础成分信号sb(步骤s202)。基础成分提取部302将包含通过上述提取处理而提取出的基础成分在内的基础成分信号sb输入到基础成分调整部303。

基础成分调整部303被输入基础成分信号sb后，对该基础成分信号sb实施上述调整处理(步骤s203～s204)。在步骤s203中，权重计算部303a根据输入图像的亮度值，按照每个像素位置计算权重。权重计算部303a使用上述曲线图计算各像素位置的权重。在接着步骤s203的步骤s204中，成分校正部303b根据权重计算部303a计算出的权重对基础成分进行校正。具体而言，成分校正部303b使用上述式(1)进行基础成分的校正。

然后，平滑化部313进行基础成分调整部303生成的成分调整后的基础成分信号sb_1的平滑化(步骤s205)。平滑化部313将实施了上述平滑处理后的基础成分信号sb_2输入到细节成分提取部304和明亮度校正部306。

图14是说明本发明的实施方式3的内窥镜系统的图像处理方法的图，是分别示出某个像素行上的各像素位置处的输入图像和基础成分图像的像素值的图。输入图像是与输入图像信号sc对应的图像，基础成分图像是与未进行成分调整而进行了平滑化的基础成分信号sb或在成分调整后进行了平滑化的基础成分信号sb_2对应的图像。图14所示的像素行是同一像素行，示出该像素行中任意选择出的范围的像素的位置处的像素值。在图14中，作为一例，关于绿色的颜色成分，虚线lorg示出输入图像的像素值，实线l30示出与未进行成分调整的基础成分信号sb对应的基础成分的像素值，单点划线l300示出与成分调整后的基础成分信号sb_2对应的基础成分的像素值。

对虚线lorg和实线l30进行比较时，与上述实施方式1同样，可知从输入图像中提取与低频成分相当的成分作为基础成分。此外，对实线l30和单点划线l300进行比较时，可知在输入图像中的像素值大的像素位置处，相对于基础成分提取部302提取出的基础成分，成分调整后的基础成分的像素值大。此外，这样，在本实施方式1中，在成分调整后的基础成分中包含以往可包含在细节成分中的成分。

在接着步骤s205的步骤s206中，明亮度校正部306对平滑化处理后的基础成分信号sb_2实施明亮度校正处理。明亮度校正部306将实施了校正处理后的基础成分信号sb_3输入到灰度压缩部307。

在接着步骤s206的步骤s207中，灰度压缩部307对由明亮度校正部306实施了校正处理后的基础成分信号sb_3实施灰度压缩处理。灰度压缩部307实施γ校正处理等公知的灰度压缩处理。灰度压缩部307将灰度压缩后的基础成分信号sb_4输入到合成部308。

在与步骤s206、s207并行进行的步骤s208中，细节成分提取部304使用输入图像信号sc和平滑化后的基础成分信号sb_2提取细节成分。具体而言，细节成分提取部304从输入图像中去除基础成分，提取细节成分。细节成分提取部304将所生成的细节成分信号sd输入到细节成分强调部305。

图15是说明本发明的实施方式3的内窥镜系统的图像处理方法的图，是示出某个像素行上的各像素位置处的细节成分图像的像素值的图。图15所示的像素行示出与图14所示的像素行相同的像素行和相同的选择范围的像素的位置处的像素值。在图15中，作为一例，关于绿色的颜色成分，虚线l40示出根据与未进行成分调整而进行了平滑化的基础成分信号sb对应的基础成分提取出的细节成分的像素值，实线l400示出根据与成分调整后进行了平滑化的基础成分信号sb_2对应的基础成分提取出的细节成分的像素值。

与上述实施方式1同样，细节成分是从输入图像的亮度变化中去除成分调整后的基础成分而得到的成分，是包含较多反射率成分的成分。如图15所示，可知在输入图像中的像素值大的像素位置处，在根据由基础成分提取部302提取出的基础成分而提取出的细节成分中包含与该像素值对应的成分，与此相对，根据成分调整后的基础成分提取出的细节成分不包含与该像素值对应的以往可作为细节成分提取的成分，或者该成分较少。

然后，细节成分强调部305对所输入的细节成分信号sd实施强调处理(步骤s209)。具体而言，细节成分强调部305参照信号处理信息存储部311a，取得各颜色成分中设定的函数(例如α、β和γ)，增大细节成分信号sd的各颜色成分的输入信号值。细节成分强调部305将进行了强调处理后的细节成分信号sd_1输入到合成部308。

合成部308在从灰度压缩部307输入基础成分信号sb_4、并从细节成分强调部305输入强调处理后的细节成分信号sd_1后，对该基础成分信号sb_4和细节成分信号sd_1进行合成，生成合成图像信号ss(步骤s210)。合成部308将所生成的合成图像信号ss输入到显示图像生成部309。

显示图像生成部309在从合成部308输入合成图像信号ss后，对该合成图像信号ss实施使其成为显示装置4中能够显示的方式的信号的处理，生成显示用的图像信号st(步骤s211)。显示图像生成部309将所生成的图像信号st输出到显示装置4。显示装置4显示与所输入的图像信号st对应的图像(步骤s212)。

显示图像生成部309生成图像信号st后，控制部312判断是否输入新的摄像信号，在判断为输入了新的摄像信号的情况下，针对该新的摄像信号进行步骤s202起的图像信号的生成处理。

在上述本发明的实施方式3中，基础成分调整部303针对基础成分提取部302提取出的基础成分计算基于亮度值的权重，根据该权重进行基础成分的成分调整，然后，对成分调整后的基础成分信号的波形进行平滑化。由此，在成分调整后的基础成分中包含输入图像中的像素值大的像素位置的高亮度成分，在根据该基础成分提取出的细节成分中，该高亮度成分的比例较小。其结果，在强调了细节成分的情况下，不会对与高亮度区域对应的泛白部分进行强调。根据本实施方式3，能够生成抑制色调的变化且具有良好的视觉辨认性的图像。

另外，在上述实施方式1～3中，设为摄像信号取得部301生成包含被赋予了rgb的各颜色成分的图像在内的输入图像信号sc来进行说明，但是，也可以根据ycbcr颜色空间生成具有包含亮度(y)成分和色差成分的ycbcr颜色空间的输入图像信号sc，还可以使用由色相(hue)、彩度(saturationchroma)、明度(valuelightnessbrightness)这三个成分构成的hsv颜色空间、利用三维空间的l^*a^*b^*颜色空间等，生成具有分成颜色和亮度的成分的输入图像信号sc。

此外，在上述实施方式1～3中，设为生成使用所取得的摄像信号提取基础成分和细节成分并进行合成而得到的合成图像来进行说明，但是，不限于图像生成，例如还可以将提取出的细节成分应用于病变检测或各种测定处理。

此外，在上述实施方式1～3中，设为细节成分强调部305使用预先设定的参数α、β和γ实施细节成分信号sd的强调处理来进行说明，但是，也可以根据与基础成分对应的区域、病变的种类、观察模式、观察部位、观察深度、构造等来设定α、β和γ的数值，自适应地实施强调处理。作为观察模式，举出照射通常的白色光而取得摄像信号的通常观察模式、照射特殊光而取得摄像信号的特殊光观察模式。

此外，也可以根据规定的像素区域的亮度值(平均值或最频值等)决定参数α、β和γ的数值。在进行摄像而得到的图像中，明亮度的调整量(增益图)按照每个图像而变化，即使是相同的亮度值，增益系数也根据像素位置而不同。作为用于自适应地对这种调整量的差异进行调整的指标，例如公知有icam06：arefinedimageappearancemodelforhdrimagerendering,jiangtaokuang,etal,j.vis.commun.imager,18(2007)406-414中记载的方法。具体而言，针对该文献中记载的细节成分信号的调整式即sd_1＝sd^(f+0.8)的指数部分(f+0.8)，对按照每个颜色成分决定的参数即α′、β′或γ′进行幂运算，由此按照每个颜色成分设定调整式。例如，红色成分的调整式为sd_1＝sd^{(f+0.8)^α′}。细节成分强调部305使用按照每个颜色成分设定的调整式进行细节成分信号的强调处理。另外，式中的f是基于适合于各像素位置处的低频域的图像乃至空间变化的函数。

此外，在上述实施方式1～3中，设为从光源部3a射出白色光、且受光部244a接收rgb的各颜色成分的光的同时式照明/摄像方式来进行了说明，但是，也可以是光源部3a单独依次射出rgb的颜色成分的波段的光、且受光部244a分别接收各颜色成分的光的面顺序式的照明/摄像方式。

此外，在上述实施方式1～3中，设为光源部3a与内窥镜2分开构成来进行了说明，但是，例如，也可以是在内窥镜2的前端设置半导体光源等将光源装置设置在内窥镜2中的结构。进而，也可以对内窥镜2赋予处理装置3的功能。

此外，在上述实施方式1～3中，设为光源部3a与处理装置3一体来进行说明，但是，光源部3a和处理装置3也可以分开，例如在处理装置3的外部设置照明部321和照明控制部322。

此外，在上述实施方式1～3中，设为本发明的图像处理装置设置在观察对象为被检体内的活体组织等的使用软性内窥镜2的内窥镜系统1中来进行了说明，但是，还能够应用于使用在硬性内窥镜、观测材料特性的工业用内窥镜、胶囊型内窥镜、纤维镜、光学视管等光学内窥镜的目镜部上连接摄像头的结构的内窥镜系统。本发明的图像处理装置不论体内、体外都能够应用，对包含外部生成的摄像信号和图像信号的影像信号实施提取处理、成分调整处理、合成处理。

此外，在上述实施方式1～3中，举例说明了内窥镜系统，但是，例如还能够应用于对设置在数字静态照相机等上的evf(electronicviewfinder)输出影像的情况。

此外，在上述实施方式1～3中，各块的功能可以安装在一个芯片上，也可以分开安装在多个芯片上。此外，在将各块的功能分开在多个芯片中的情况下，可以将一部分芯片配置在其他壳体上，也可以将安装在一部分芯片上的功能配置在云服务器上。

产业上的可利用性

如上所述，本发明的图像处理装置、图像处理方法和图像处理程序在生成具有良好的视觉辨认性的图像的方面是有用的。

标号说明

1、1a、1b、1c、1d：内窥镜系统；2：内窥镜；3、3a、3b、3c、3d：处理装置；3a：光源部；4：显示装置；21：插入部；22：操作部；23：通用软线；24：前端部；25：弯曲部；26：挠性管部；301：摄像信号取得部；302：基础成分提取部；303、303a、303b：基础成分调整部；304：细节成分提取部；305：细节成分强调部；306：明亮度校正部；307：灰度压缩部；308：合成部；309：显示图像生成部；310：输入部；311：存储部；311a：信号处理信息存储部；312：控制部；313：平滑化部；321：照明部；322：照明控制部。