图像处理装置的制造方法

图像处理装置的制造方法
【专利摘要】滤波处理部(25)对第2图像应用抑制高频成分的滤波器，所述第2图像是对使用内窥镜拍摄的第1图像应用至少包含放大处理的图像处理而生成的。图像缩小部(26)对应用滤波器后的第2图像应用缩小处理而生成第3图像。滤波器设定部(24)至少根据与能够在第1图像中再现的最高频率成分相关的信息和与应该在第3图像中再现的最高频率成分相关的信息，设定滤波器的特性。
【专利说明】
图像处理装置
技术领域
[0001] 本发明涉及生成内窥镜图像的缩小图像的图像处理装置。
【背景技术】
[0002] 在内窥镜中使用的摄像元件(例如CCD、CMD、CMOS)的尺寸是多种多样的。例如，根 据观察脏器/部位、内窥镜的粗细/功能的差异，摄像元件的尺寸差异较大。在观察支气管或 胆道等较细管腔的情况下，使用安装有低像素数的摄像元件的细直径的内窥镜。并且，为了 发现食道、胃、大肠等的病变，使用细直径~粗直径的各种粗细的内窥镜，根据粗细，安装了 低像素数~高像素数的各种摄像元件。一般而言，较粗的内窥镜的前端部的空间还存在富 余，能够安装优先图像质量的高像素数的摄像元件。
[0003] 此外，在对观察脏器/部位进行详细观察的情况下，使用安装有高像素数的摄像元 件的内窥镜。另一方面，在对脏器/部位实施处置等的情况下，使用与目的对应的内窥镜。在 前者的情况下，优先考虑拍摄高图像质量且高分辨率的图像。在后者的情况下，优先考虑用 于供处置器械通过的通道的直径/数量和送水功能等、处置用的部件，因此摄像元件的尺寸 相对较小。这样在内窥镜中，根据基于所要求的功能的设计条件，使用像素数和尺寸不同的 各种摄像元件。
[0004] 并且，伴随技术的进步，在内窥镜中使用的摄像元件日益高像素化。另一方面，通 常旧型号的内窥镜也以能够与新系统的照相机控制单元((XU: Camera Contro 1 Un i t)连接 的方式，被设计成维持兼容性。虽然从内窥镜图像的视频化起经过了 20年以上，但三代前的 内窥镜也能够与新系统的照相机控制单元连接。在这样的状况下，对几代前的内窥镜和最 新的内窥镜进行比较时，摄像元件的像素数产生了 10倍、20倍这样的较大差异。
[0005] 由内窥镜拍摄的图像在照相机控制单元中，被转换为显示或记录用的图像（以下 适当称作观察记录图像）。通常，将由内窥镜拍摄的图像放大而生成观察记录图像。进而，为 了观察记录图像的一览显示，将观察记录图像缩小而生成索引图像（也可以称作缩略图 像）。观察记录图像和索引图像通常以恒定的尺寸生成。
[0006] 现有技术文献
[0007] 专利文献
[0008] 专利文献1:日本特开2012-5044号公报

【发明内容】

[0009]发明所要解决的课题
[0010]在缩小观察记录图像而生成索引图像的情况下，有时产生混叠失真(Aliasing、混 叠）。为了抑制混叠失真，有效的是对缩小前的观察记录图像应用频带抑制处理。在该频带 抑制过度的情况下，有时产生过度的平滑化。另一方面，在频带抑制过小的情况下，无法充 分去除混叠失真。特别是在内窥镜图像中，由于转换为观察记录图像前的原始图像的尺寸 是多种多样的，因此容易产生由于过度的平滑化而引起的或由于混叠失真而引起的、索引 图像的图像质量下降。
[0011] 本发明正是鉴于这种状况而完成的，其目的在于提供一种高品质地缩小观察记录 图像的技术。
[0012] 用于解决课题的手段
[0013] 本发明的某个方式的图像处理装置具有:滤波处理部，其对第2图像应用抑制高频 成分的滤波器，所述第2图像是对使用内窥镜拍摄的第1图像应用至少包含放大处理的图像 处理而生成的；图像缩小部，其对应用所述滤波器后的第2图像应用缩小处理而生成第3图 像；以及滤波器设定部，其至少根据与能够在所述第1图像中再现的最高频率成分相关的信 息和与应该在所述第3图像中再现的最高频率成分相关的信息，设定所述滤波器的特性。 [0014]另外，以上的结构要素的任意组合、在方法、装置、系统、记录介质、计算机程序等 之间对本发明的表达进行转换后的方式作为本发明的方式，也是有效的。
[0015] 发明的效果
[0016] 根据本发明，能够高品质地缩小观察记录图像。
【附图说明】
[0017] 图1是示出在本实施方式的说明中出现的拍摄图像、观察记录图像、索引图像之间 的关系的图。
[0018] 图2是示出由低像素摄像元件、中等像素摄像元件和高像素摄像元件拍摄的拍摄 图像、根据拍摄图像而生成的观察记录图像、以及根据观察记录图像而生成的索引图像的 各图像尺寸的一例的图。
[0019] 图3是示出具有理想特性的低通型滤波器的频率响应的图。
[0020] 图4是示出被应用于高像素观察记录图像的低通型滤波器的频率响应的图。
[0021] 图5是示出被应用于中等像素观察记录图像的低通型滤波器的频率响应的图。
[0022] 图6是示出被应用于低像素观察记录图像的低通型滤波器的频率响应的图。
[0023] 图7是示出高斯滤波器的频率响应的图。
[0024] 图8是示出组合图7的高斯滤波器而成的滤波器的频率响应的图。
[0025] 图9是示出相对于观察记录图像的生成的、包含内窥镜和照相机控制单元在内的 系统整体的MTF的频率响应的一例的图。
[0026]图10是对图8追加了 113仏，1)*115仏，1)*115仏，1)的滤波器的频率响应的图（*表示 卷积运算）。
[0027]图11是示出本发明实施方式的医用图像管理系统的结构的图。
[0028]图12是示出图11的内窥镜50和照相机控制单元的内部结构的图。
[0029]图13是示出图11的图像归档装置的内部结构的图。
[0030]图14是示出本发明实施方式的索引图像生成方法的流程图。
[0031 ]图15是示出图14的流程图的步骤S13的子例程的图。
【具体实施方式】
[0032]以下，说明本发明实施方式的索引图像生成处理的基本原理。图1是示出在本实施 方式的说明中出现的拍摄图像II、观察记录图像12、索引图像13之间的关系的图。通常，观 察记录图像12的尺寸(ISX2XISY2)比拍摄图像II的尺寸(ISX1XISY1)大。即，近年来，高精 细的HDTV(High Definition Television:高清电视)普及，在内窥镜系统中也使用高分辨 率的画面尺寸1920X1080等。针对该画面尺寸，对例如以ISX1XISY1 = 800X800拍摄的图 像进行放大处理，从而显示ISX2XISY2 = 1000X1000的内窥镜图像。另外，在一直以来普及 的SDTV(Standard Def inition Television:标准清晰度电视）的情况下，ISX2 X ISY2大多 情况最大为640X480左右，在这样的情况下有时缩小拍摄图像II而生成观察记录图像12， 但在该情况下，由于认为在图像12中已经充分应用了的频带抑制处理，因此不需要考虑拍 摄图像II的尺寸ISX1XISY1。此外，在根据拍摄图像II生成观察记录图像12时，在放大处理 之前或之后，还执行伽马校正、颜色校正等图像处理。由此，生成容易视觉辨认的观察记录 图像12。在生成观察记录图像12后，基本上删除拍摄图像II。
[0033]拍摄图像II的尺寸（ISX1XISY1)根据内窥镜所包含的固体摄像元件的差异而多 种多样，但观察记录图像12的尺寸（ISX2XISY2)的种类受到限制。这是为了使得医生等尽 可能地能够用同等的尺寸对观察记录图像12进行观察。
[0034] 索引图像13的尺寸（ISX3XISY3)在大多情况下，不论拍摄图像II的尺寸（ISX1X ISY1)和观察记录图像12的尺寸(ISX2XISY2)如何，都设为恒定的尺寸。索引图像大多在一 览显示中被利用，因此在将尺寸统一时，能够更清晰地显示一览显示画面。
[0035]以下，说明根据由低像素摄像元件拍摄的低像素拍摄图像IL1、由中等像素摄像元 件拍摄的中等像素拍摄图像頂1、和由高像素摄像元件拍摄的高像素拍摄图像IH1生成索引 图像13的例子。
[0036]图2是示出由低像素摄像元件、中等像素摄像元件和高像素摄像元件拍摄的拍摄 图像IL1、頂1、IH1、根据拍摄图像IL1、頂1、IH1而生成的观察记录图像IL2、IM2、IH2、以及根 据观察记录图像IL2、IM2、IH2而生成的索引图像IL3、頂3、IH3的各图像尺寸的一例的图。以 下在本说明书中，为了简化，将摄像元件的有效像素数和拍摄图像的像素数视作相同的值 来进行说明。
[0037]更具体而言，图2示出了由低像素摄像元件拍摄的低像素拍摄图像IL1、由中等像 素摄像元件拍摄的中等像素拍摄图像IM1、由高像素摄像元件拍摄的高像素拍摄图像IH1、 根据低像素拍摄图像IL1而生成的低像素观察记录图像IL2、根据中等像素拍摄图像IM1而 生成的中等像素观察记录图像IM2、根据高像素拍摄图像IH1而生成的高像素观察记录图像 IH2、根据低像素观察记录图像IL2而生成的低像素索引图像IL3、根据中等像素观察记录图 像IM2而生成的中等像素索引图像IM3、和根据高像素观察记录图像IH2而生成的高像素索 引图像IH3的各图像尺寸的一例。
[0038]通常，在缩小图像而生成索引图像的情况下，不对拍摄图像IL1、頂1、IH1而对观察 记录图像IL2、IM2、IH2应用缩小处理。缩小处理能够使用单纯的间隔剔除法、双三次法、线 性插值法等通常的缩小算法。在由于缩小而产生混叠失真的情况下，在应用缩小处理之前， 应用频带抑制处理。频带抑制处理通常使用平滑化滤波或低通型滤波。
[0039]作为单纯的频带抑制处理，根据观察记录图像IL2的水平方向的像素数ISX2/垂直 方向的像素数ISY2与索引图像13的水平方向的像素数ISX3/垂直方向的像素数ISY3的比 率，计算最高频率，对观察记录图像IL2应用具有对超过该最高频率的频带成分进行抑制的 效果的滤波器。该最高频率相当于奈奎斯特频率的概念。例如，将高像素观察记录图像IH2 (图像尺寸为1000X1000)缩小为高像素索引图像IH3(图像尺寸160X160)时的、高像素观 察记录图像IH2中的最高频率fn2用下述式(1)计算。
[0040] fn2 = (160/1000) XM · · ·式（1)
[00411其中，Μ是与能够在图像上再现的最大空间频率对应的数值，例如在设为2M= 256 的情况下，M= 128。例如，与以下情况对应:能够在图像尺寸、具体为水平/垂直方向的像素 数是256的图像上，最大显示128组的黑白的线对。在上述式（1)中代入M= 128时，最高频率 作2为20.4。
[0042]图3是示出具有理想特性的低通型滤波器的频率响应的图。横轴表示空间频率，纵 轴表示频率响应。该滤波器是作为索引图像13的生成的预处理而对观察记录图像12应用的 滤波器。在图3所不的滤波器中，在最尚频率fn2以下的空间频率中，频率响应为1，在超过最 高频率fn2的空间频率中，频率响应为0。另外，也可以替代低通型滤波器，而使用具有近似 的特性的滤波器。
[0043]以上对频带抑制在理论上进行了说明，但混叠失真的产生实际上还取决于是怎样 的拍摄对象。在主要观察生物体粘膜表面的内窥镜图像中，通常，拍摄接近所允许的最大频 率的细微的构造的情况较少。但是，在内窥镜图像中，也存在容易产生混叠失真的图像。例 如晕影的边缘部由于示出急剧的变化，因此容易产生混叠失真。此外，在色素/染色剂的散 布或NBI(Narrow Band Imaging:窄带成像)等特殊光观察中拍摄比较细微的构造，产生混 叠失真的可能性增大。考虑到这些，在设计平均能够得到良好的图像质量的低通型滤波器 等方面，考虑通过针对索引图像13的目视评价，决定应用于观察记录图像12的滤波器。
[0044] 但是，本来存在于观察记录图像IL2、IM2、IH3的最大的频率成分基本上通过摄像 元件的像素数规定。即使观察记录图像IL2的尺寸（ISX2XISY2)相等、或为相同程度，在根 据由高像素摄像元件拍摄的高像素拍摄图像IH1而生成的高像素观察记录图像IH2、和根据 由低像素摄像元件拍摄的低像素拍摄图像IL1而生成的低像素观察记录图像IL2中，可存在 于各个图像上的最大的频率成分有较大差异。
[0045] 在将为了高像素观察记录图像IH2用而生成的频带抑制滤波器应用于低像素观察 记录图像IL2时，对细微的高频带的构造成分原本较少的图像进一步施加平滑化效果。因 此，在缩小应用该频带抑制滤波器后的低像素观察记录图像IL2而生成的索引图像IL3中产 生模糊。
[0046] 反之，在将能够针对低像素观察记录图像IL2或中等像素观察记录图像頂2得到目 视上良好的图像质量的缩小图像的频带抑制滤波器应用于高像素观察记录图像IH2时，无 法得到充分的频带抑制效果。即，在缩小应用该频带抑制滤波器后的高像素观察记录图像 IH2而生成的索引图像IH3中产生混叠失真。
[0047]鉴于上述情况，在本发明的实施方式中，考虑通过摄像元件的像素数规定的最高 频率，变更频带抑制滤波器的频率特性。由此，不论针对由多种多样的像素数的摄像元件的 哪一个拍摄的图像，都能够应用恰当的缩小处理，能够得到良好的图像质量的缩小图像。在 使用数字滤波器的情况下，变更数字滤波器的系数来变更频带抑制滤波器的频率特性。此 外，在用多个滤波器的组合来实现的情况下，变更多个滤波器的组合方式、和/或反复应用 次数来变更频带抑制滤波器的频率特性。
[0048]首先，说明缩小高像素观察记录图像IH2的情况下的最高频率。在根据高像素拍摄 图像IH1而生成高像素索引图像IH3的情况下，着眼于高像素拍摄图像IH1的尺寸（ISX1X ISY1)和高像素索引图像IH3的尺寸（ISX3XISY3)。在图2中，记载了高像素拍摄图像IL1的 水平方向的像素数ISX1与垂直方向的像素数ISY1、高像素索引图像IH3的水平方向的像素 数ISX3与垂直方向的像素数ISY3分别相等的例子。
[0049] 另外，在水平方向的像素数与垂直方向的像素数不同的情况下，例如以最大程度 地避免混叠失真产生的方式来选择像素数。具体而言，在高像素拍摄图像IL1的水平方向的 像素数ISX1和垂直方向的像素数ISY1中选择较大的像素数，在高像素索引图像IH3的水平 方向的像素数ISX3和垂直方向的像素数ISY3中选择较小的像素数。另外，也可以替代像素 数而考虑分辨率。拍摄图像II中的最高频率fnl用下述式(2)计算。
[0050] fnl = (ISX3/ISXl) XM · · ·式（2)
[00511在使用高像素摄像元件的情况下，根据（160/800) X 128，最高频率fnl为25.6。同 样，在使用中等像素摄像元件的情况下为34.1，在使用低像素摄像元件的情况下为51.2。 [0052] 实际的频带抑制处理（即滤波处理)被应用于观察记录图像12,因此滤波器的频率 特性考虑到观察记录图像12的尺寸(ISX2 X ISY2)。实际上使用比例转换后的最高频率fns。 比例转换后的最高频率fns用下述式(3)计算。
[0053] fns = ((ISX3/ISXl)XM)X(ISX2/ISXl) · · ·式（3)
[0054]在使用高像素摄像元件的情况下，进行比例转换后的最高频率fns为32。同样，在 使用中等像素摄像元件的情况下为56.8,在使用低像素摄像元件的情况下为82.4。通过从 拍摄图像II放大为观察记录图像12,与频率的一个周期对应的波长变长，因此向低频一侧 变化。
[0055]图4是示出被应用于高像素观察记录图像IH2的低通型滤波器的频率响应的图。图 5是示出被应用于中等像素观察记录图像IM2的低通型滤波器的频率响应的图。图6是示出 被应用于低像素观察记录图像IL2的低通型滤波器的频率响应的图。图4-图6均描绘出理想 特性的低通型滤波器。在图4-图6中示出理想特性的低通型滤波器的频率特性，但实际上难 以用现实的滤波器尺寸来实现同等的特性。因此，通过频带抑制-缩小-清晰度校正，抑制 过度的模糊产生。之后，将高像素观察记录图像IH2、中等像素观察记录图像頂2和低像素观 察记录图像IL2中的最高频率分别设为fnH=32、fnM = 57和fnL = 83。这是将上述最高频率 的小数点以下进位而得到的数值。
[0056]以下，说明通过使用了数字滤波器的滤波(更具体而言，为卷积运算)来实现上述 频带抑制处理的方法。在以下的例子中，通过小尺寸的滤波器的组合来高速地实现期望的 频带抑制。具体而言，通过nXn(n是3以上的整数(奇数)）的高斯滤波器的组合来实现。 [0057]下述式(4)示出使用了高斯系数的掩模尺寸为3X3的高斯滤波器h3(k，l)。下述式 (5)示出掩模尺寸为5X5的高斯滤波器h5(k，l)。下述式(6)示出掩模尺寸为7X7的高斯滤 波器h7(k，l)。高斯滤波器与单纯地将关注像素周边的亮度值进行平均的移动平均滤波器 不同，是越接近关注像素的亮度值，越增大实施积和运算时的权重的滤波器。使用高斯分布 的函数来决定各系数。高斯滤波器具有与低通型滤波器(低通滤波器)同等的作用。
[0061] 上述式(5)所示的5X5的高斯滤波器h5(k，l)和上述式(6)所示的7X7的高斯滤波 器h7(k，l)通过对3X3的高斯滤波器h3(k，l)内插0而生成。由此，能够与3X3的高斯滤波器 h3 (k，1)同样地将相乘次数抑制为9次，能够进行高速运算。
[0062] 图7是示出高斯滤波器的频率响应的图。在图7中，示出上述式(4)所示的3X3的高 斯滤波器h3(k，l)、上述式(5)所示的5X5的高斯滤波器h5(k，l)、上述式(6)所示的7X7的 高斯滤波器h7 (k，1)、9 X 9的高斯滤波器h9 (k，1)的频率响应。9 X 9的高斯滤波器h9 (k，1)也 是对3X3的高斯滤波器h3(k，l)内插了0而得到的。
[0063] 通过组合这些基本的高斯滤波器，能够实现各种频率特性。即，通过任意组合这些 高斯滤波器并进行卷积运算，能够实现各种频率特性。另外，也可以多次使用相同的高斯滤 波器。
[0064] 图8是示出组合图7的高斯滤波器而成的滤波器的频率响应的图。在图8中，示出h3 (让，1)#13(1^，1)的滤波器、113(1^，1)*115(1^，1)的滤波器和113(1^，1)*115(1^，1)#17(1^，1)的滤波 器的频率响应。*表示卷积运算。
[0065] 在上述例子中，将低像素观察记录图像IL2中的最高频率fnL设为83。在h3(k，l)* h3(k，l)的滤波器中，能够将空间频率为80以上的频带成分抑制为0.1以下。因此，通过对低 像素观察记录图像IL2应用3X3的高斯滤波器h3(k，l)，并对该滤波后的图像再次应用3X3 的高斯滤波器h3(k，l)，能够抑制超过最高频率fnL的频带成分。另外，在本实施方式中，通 过将频率响应设为小于0.1，实现了频带成分的抑制。
[0066]并且在上述例子中，将中等像素观察记录图像IM2中的最高频率fnM设为57。在h3 (k，l)*h5(k，l)的滤波器中，能够将空间频率为48以上的频带成分抑制为0.1以下。因此，通 过对中等像素观察记录图像IM2应用3X3的高斯滤波器h3(k，l)，并对该滤波后的图像应用 5 X 5的高斯滤波器h5(k，1)，能够抑制超过最高频率fnM的频带成分。
[0067]并且在上述例子中，将高像素观察记录图像IH2中的最高频率fnH设为了32。在h3 (k，l)*h5(k，l)*h7(k，l)的滤波器中，能够将空间频率为25以上的频带成分抑制为0.1以 下。因此，通过对高像素观察记录图像IH2应用3X3的高斯滤波器h3(k，l)，对该滤波后的图 像应用5X5的高斯滤波器h5(k，l)，并对该滤波后的图像应用7X7的高斯滤波器h7(k，l)， 能够抑制超过最高频率fnH的频带成分。
[0068] 通过对应用了以上的滤波后的观察记录图像12进行缩小，能够得到不产生混叠失 真的良好的索引图像13。缩小处理能够使用双三次法等通常的方法。另外，双三次法也存在 一些频带抑制效果，因此考虑到该情况，可以稍微减弱缩小处理前的滤波的频带抑制效果。 [0069]并且，还可以对所生成的索引图像13进行使用了清晰度校正滤波器的清晰度校 正。清晰度校正滤波器对索引图像13中的不被频带抑制而残留的频带成分、即通过低通型 滤波器后的频带成分具有放大效果。清晰度校正滤波器能够由使高频成分通过的高通型滤 波器(高通滤波器)构成。下述式(7)示出对高像素索引图像IH3应用的清晰度校正滤波器的 一例。该滤波器h3s(k，l)是与上述式(4)示出的具有频带抑制效果的高斯滤波器h3(k，l)处 于相反的关系的高通型滤波器，具有提取图像上的高频带成分(大多为边缘成分)的效果。
[0070]
[0071] 通过下述式(8)，生成应用了上述式(7)所示的清晰度校正滤波器的高频索引图像 gH3(x,y)〇
[0072] gH3(x，y) = IH3(x，y)*h3s(k，1) · · ·式（8)
[0073] 使用高频索引图像gH3(x，y)来校正高像素索引图像IH3(x，y)，生成进行清晰度校 正后的高像素索引图像IH3'（x，y)。如下述式(9)所示，进行清晰度校正后的高像素索引图 像IH3'（x，y)是通过对高像素索引图像IH3(x，y)加上进行加权后的高频索引图像XgH3(x， y)而生成的。
[0074] IH3'（x，y) = IH3(x，y)+AgH3(x，y) · · ·式（9)
[0075] λ设定为例如0.2。还能够通过同样的方法，生成进行清晰度校正后的中等像素索 引图像頂3'（^7)、和进行清晰度校正后的低像素索引图像11^3'（^7)。
[0076] 如以上所说明那样，通过考虑由摄像元件的像素数规定的最高频率来变更频带抑 制滤波器的频率特性，不论针对多种多样的像素数的摄像元件的哪一个所拍摄的图像，都 能够应用恰当的缩小处理，能够得到良好的图像质量的缩小图像。
[0077] (变形例1)
[0078]接着，说明节省资源且高速地执行用于上述频带抑制的滤波处理的方法。如上所 述，高像素索引图像IH3(x，y)通过如下述式(10)所示那样对高像素观察记录图像IH2(x，y) 卷积上述多个高斯滤波器而生成。
[0079] IH3(x，y) = ((IH2(x，y)*h3(k，l))*h5(k，l))*h7(k，l)) · · ·式（10)
[0080] 在右边的滤波处理中，高像素观察记录图像IH2的图像尺寸始终为ISX2X ISY2。 [00811 这里，组合了 3 X 3的高斯滤波器h3 (k，1)和5 X 5的高斯滤波器h5 (k，1)时的频率特 性已经充分抑制了大约64(=M/2)以上的频带成分。下述式（11)表示上述式（10)中的5X5 的高斯滤波器h5(k，1)的滤波结束的时刻的、中途图像IH2b(X，y)。
[0082] IH2b(x，y) = (IH2(x，y)*h3(k，l))*h5(k，l) · · ·式（11)
[0083] 即使将该中途图像IH2b(x，y)的尺寸缩小为1/2,也不产生混叠失真。
[0084]能够通过该缩小处理削减存储区域。并且能够削减滤波的计算量，能够使滤波处 理高速化。对于利用双三次法等被缩小为1/2的中途图像IH2b'，不应用上述式（10)中的7X 7的高斯滤波器h7(k，l)，而应用其它的频带抑制滤波器ht(k，l)。由此也能够得到高像素索 引图像IH3(x，y)。
[0085] 频带抑制滤波器ht(k，l)采用了具有比7X7的高斯滤波器h7(k，l)平缓的频率特 性的滤波器。由于将中途图像IH2b缩小为1/2,因此虽然理想的是应使用3.5X3.5的高斯滤 波器h3.5(k，l)，但难以实现。因此，使用3X3的高斯滤波器(k，l)或5X5的高斯滤波器h5 (k，l)。在应用了5X5的高斯滤波器h5(k，l)的情况下，与上述式（10)的滤波处理相比，频带 抑制效果稍强，但能够通过增大上述式(9)的清晰度校正处理的λ来进行校正。
[0086] 另外，在上述例子中，示出将中途图像IH2b(x，y)的尺寸缩小为1/2的例子，但还能 够缩小为1/2以外的比例。例如，在缩小前的中途图像IH2b(x，y)中充分抑制了大约86(= 2M/3)以上的频带成分的情况下，能够将中途图像IH2b(x，y)的尺寸缩小为2/3。该情况下， 能够将此后应用的高斯滤波器的尺寸设为2/3。
[0087] 如以上所说明那样，在利用多个高斯滤波器进行卷积运算的中途，能够通过缩小 图像来减少运算量，能够节省资源地进行高速运算。
[0088](变形例2)
[0089 ]接着，说明如下例子:在计算拍摄图像11和观察记录图像12中的最高频率f η时，考 虑摄像元件的像素数以外的光学设计以及系统整体的MTF(Modulation Transfer Function:调制传递函数）。在实际的内窥镜系统中，除了摄像元件的像素数以外，由于以下 的因素，拍摄图像II和观察记录图像12中的最尚频率f η受到影响。
[0090] 作为对最高频率fn产生影响的因素，有包含内窥镜的镜头的光学设计。通常摄像 元件的最高分辨率与景深的宽度处于折衷的关系。例如，如果优先考虑景深来进行设计，则 不再产生与摄像元件的最大分辨率对应的高频率成分。优先考虑景深的设计是指设计成能 够在与对象之间的远近距离的较宽范围内进行观察。即，是指景深较深的设计。
[0091] 各种图像处理主要在照相机控制单元内部执行。在这些图像处理中，噪声抑制处 理或强调处理等有时对包含内窥镜和照相机控制单元的系统整体的MTF产生影响。此外，还 可能产生电信号劣化。这些也是对最高频率fn产生影响的因素。
[0092] 图9是示出相对于观察记录图像12的生成的、包含内窥镜和照相机控制单元在内 的系统整体的MTF的频率响应的一例的图。在该例中，在空间频率为112的时刻，频率响应为 0。例如，即便使用水平方向的像素数ISX1 =垂直方向的像素数ISY1 = 800的高像素摄像元 件，实质的最大频率成分也成为800 X (112/128) = 700。即，与水平方向的像素数ISX1 =垂 直方向的像素数ISY1 = 700的摄像元件的最大频率成分相同。
[0093] 以下，说明考虑到这些因素的情况下的、高像素索引图像IH3的生成处理。高像素 拍摄图像IH1、高像素观察记录图像IH2和高像素索引图像IH3的各图像尺寸如上述图2所 示。在上述式(3)的右边代入考虑到系统整体的MTF的数值时，成为（160/(800 X (112/128)) X 128) X( 1000/(800 X (112/118)))。对其求解的话，高像素观察记录图像IH2中的进行比 例转换后的最高频率fns = 41.8。
[0094] 图10是对图8追加了 113仏，1)#15仏，1)*115仏，1)的滤波器的频率响应的图。在最高 频率fns = 41.8的情况下，恰当的是不使用113仏，1)*115(1^1)*117(1^1)的滤波器，而使用113 (k，l)*h5(k，l)*h5(k，l)的滤波器。
[0095]由此，可以实施如下的频带抑制处理:除了基于摄像元件的像素数(换言之为最大 分辨率）的最高频率以外，还考虑了光学和电的系统整体的MTF。例如，在系统的MTF由于光 学设计不同的内窥镜的机型、或照相机控制单元的设定状态而变化的情况下，通过按照每 个该机型或设定状态来应用恰当的频带抑制处理，能够生成灵活且高图像质量的缩小图 像。
[0096]另外，在频率响应低于1的频率特性的过渡频带中，虽然产生了频率成分的劣化 (即衰减），但对于该劣化，能够通过使用上述式(8)和式(9)说明的清晰度校正处理进行校 正。
[0097]以下，说明安装有基于以上见解的索引图像生成功能的医用图像管理系统。
[0098]图11是示出本发明实施方式的医用图像管理系统500的结构的图。本实施方式的 医用图像管理系统500是主要用于管理由内窥镜50拍摄的图像的系统。医用图像管理系统 5〇〇具有内窥镜系统1〇〇、图像归档装置200、终端装置300,它们经由通信线路400相互连接。 在本实施方式中，作为通信线路400,设想为有线LAN。虽然在图11中仅描绘出一个内窥镜系 统100,但也可以是多个内窥镜系统100与通信线路400连接的形式。通常，在大型医院中，导 入了多个内窥镜系统1〇〇。
[0099]内窥镜系统100具有照相机控制单元10、光源装置30、显示装置40和内窥镜50。内 窥镜50被插入到患者的体腔内进行使用。内窥镜50拍摄体腔内，并向照相机控制单元10进 行输出。
[0100] 内窥镜50有各种类别。具体而言，按照部位不同，有上消化道用镜体、下消化道用 镜体、十二指肠用镜体、支气管用镜体等。并且按照用途或特征不同，对这各个镜体进一步 进行细分。例如，上消化道镜体包含通用镜体、细直径镜体、经鼻镜体、光学放大镜体、处置 用镜体等。并且还存在利用超声波的超声波镜体。而且还存在胶囊状的胶囊内窥镜。
[0101] 照相机控制单元10接收从内窥镜50发送的图像信号，并对该图像信号进行处理。 之后将叙述照相机控制单元10的具体结构和动作。光源装置30向内窥镜50内送入光。显示 装置40根据从照相机控制单元10输入的影像信号，显示影像。例如，实时地显示由内窥镜50 拍摄的图像。另外，虽然在图11中未描绘出，但内窥镜系统100也可以包含打印装置或记录 装置。
[0102] 图12是示出图11的内窥镜50和照相机控制单元10的内部结构的图。内窥镜50包含 摄像元件51和信号处理部52。摄像元件51将入射光转换为电信号。信号处理部52对由摄像 元件51进行光电转换后的图像信号实施A/D转换、噪声去除等信号处理，并将其输出到照相 机控制单元10。
[0103] 照相机控制单元10具有控制部11、存储部17和通信部18。控制部11包含镜体标签 取得部12和图像处理部13。关于控制部11内的功能块，仅描绘出与上述索引图像生成功能 相关联的功能。控制部11的功能能够仅通过硬件资源、或硬件资源和软件资源的协作来实 现。作为硬件资源，能够利用CPU、FPGA(Field Programmable Gate Array:现场可编程门阵 列）、其它的LSI。作为软件资源，能够利用从存储部17读出的程序。存储部17包含R0M、RAM， 存储有在控制部11中使用的程序和数据。
[0104] 在照相机控制单元10上安装有内窥镜50时，镜体标签取得部12从内窥镜50取得标 签信息。如上所述，在本实施方式的索引图像生成方法中，使用摄像元件的像素数。在该标 签信息中包含摄像元件51的水平和垂直方向的有效像素数的情况下，能够使用该像素数。
[0105] 另外，在能够从内窥镜50取得的标签信息中不包含摄像元件51的像素数的设计 中，需要预先准备将该标签信息所包含的型号、和在该型号的内窥镜中使用的摄像元件的 像素数关联起来的表。此外，在由摄像元件51拍摄的拍摄图像中记录有拍摄图像的水平和 垂直方向的像素数来作为标签信息的情况下，能够使用该像素数。镜体标签取得部12将摄 像元件51的像素数传递给图像处理部13。
[0106] 图像处理部13对使用内窥镜50拍摄的拍摄图像，应用至少包含放大处理的图像处 理。在图12所示的例子中，图像处理部13包含图像放大部14、伽马校正部15和颜色校正部 16。
[0107]图像放大部14对从内窥镜50发送的拍摄图像进行放大而生成观察记录图像。此 时，根据从镜体标签取得部12传递的摄像元件51的像素数、和应生成的观察记录图像的像 素数的比率，设定放大率。
[0108] 伽马校正部15对所生成的观察记录图像实施伽马校正。颜色校正部16对所生成的 观察记录图像实施颜色校正。例如，可以进行强调红色的校正。另外，伽马校正和颜色校正 是图像处理的一例，可以执行其它效果处理。例如，可以执行明亮度调整、轮廓强调、对比度 调整等。另外，可以对放大处理前的拍摄图像应用这些图像处理。在生成观察记录图像后， 拍摄图像基本不需要，因此被舍弃。
[0109] 通信部18进行用于将照相机控制单元10连接到通信线路400的通信控制。控制部 11经由通信线路400,将所生成的观察记录图像发送到图像归档装置200进行归档。控制部 11还经由通信线路400,将摄像元件51的像素数发送到图像归档装置200。
[011 0]图13是示出图11的图像归档装置200的内部结构的图。图像归档装置200例如由服 务器构成。图像归档装置200具有通信部21、控制部22、存储部28和图像保存部29。
[0111] 通信部21进行用于将图像归档装置200连接到通信线路400的通信控制。例如，接 收从内窥镜系统100发送的观察记录图像和摄像元件51的像素数，并输出到控制部22。并 且，根据来自终端装置300的取得请求，将控制部22从图像保存部29读出的观察记录图像 和/或索引图像发送到终端装置300。图像保存部29具有硬盘等大容量记录装置，保存包含 观察记录图像的医用图像。另外，在生成了医用图像的索引图像的情况下，还保存该索引图 像。
[0112] 控制部22包含图像处理部23。关于控制部22内的功能块，仅描绘出与上述索引图 像生成功能相关联的功能。控制部22的功能能够仅通过硬件资源、或硬件资源和软件资源 的协作来实现。作为硬件资源，能够利用CPU、FPGA、其它的LSI。作为软件资源，能够利用从 存储部28读出的程序。存储部28包含ROM、RAM，存储有在控制部22中使用的程序和数据。
[0113] 图像处理部23包含滤波器设定部24、滤波处理部25、图像缩小部26和清晰度校正 部27。滤波处理部25对从内窥镜系统100接收到的观察记录图像，应用抑制高频成分的滤波 器。该滤波器使用上述低通型滤波器。图像缩小部26对应用该低通型滤波器后的观察记录 图像，应用缩小处理而生成索引图像。清晰度校正部27对所生成的索引图像，应用上述使用 了清晰度校正滤波器的清晰度校正处理。
[0114] 滤波器设定部24至少根据与能够在拍摄图像中再现的最高频率成分相关的信息、 和与应该在索引图像中再现的最高频率成分相关的信息，变更在滤波处理部25中使用的低 通型滤波器的特性。与能够在该拍摄图像中再现的最高频率成分相关的信息可以是基于内 窥镜50所包含的摄像元件51的像素数的信息。此外，与应该在索引图像中再现的最高频率 成分相关的信息可以是基于索引图像的像素数的信息。
[0115] 该情况下，滤波器设定部24根据拍摄图像的水平/垂直方向的像素数与索引图像 的水平/垂直方向的像素数的比率，变更该低通型滤波器的特性。更具体而言，滤波器设定 部24根据（1)拍摄图像的水平/垂直方向的像素数与索引图像的水平/垂直方向的像素数的 比率、（2)图像的最大空间频率、和(3)拍摄图像的水平/垂直方向的像素数与观察记录图像 的水平/垂直方向的像素数的比率，导出不使索引图像产生混叠失真的最高频率。该最高频 率与上述式(3)示出的进行比例转换后的最高频率fns对应。另外，在导出该最高频率时，可 以考虑包含内窥镜50和照相机控制单元10在内的系统整体的MTF。
[0116] 滤波器设定部24以抑制超过该最高频率的频率成分的方式，设定上述低通型滤波 器。如上述图8所示，该低通型滤波器可以通过基本的高斯滤波器的组合来实现。该情况下， 滤波器设定部24对观察记录图像执行多次滤波运算(换言之，卷积运算）。
[0117] 滤波处理部25包含图像缩小部25a，图像缩小部25a可以在多次滤波运算的中途， 以不产生混叠失真的范围的缩小率，缩小至少应用了一次滤波运算的观察记录图像。通过 如上述那样，在多次滤波运算的中途缩小中途图像，削减之后的滤波运算的运算量。
[0118] 设计者能够将与以上已说明的针对上述最高频率的频带抑制的频率特性的选择、 基本的滤波器的组合、频带抑制处理中途的缩小处理和清晰度校正处理相关的设定信息预 先记述到软件程序中。照相机控制单元10所安装的内窥镜50的种类众多，而作为摄像元件 51的种类，例如是10种左右等、一定程度的数量。观察记录图像和索引图像的尺寸分别是1 种~几种。因此，上述最高频率的种类不会那么多，预先规定针对该最高频率的所有种类的 滤波策略是比较容易的。另外，可以构成为不将针对各最高频率的滤波策略记述到软件程 序中，而记述到表中，由软件程序进行参照。
[0119] 图11的终端装置300例如由个人计算机(PC)构成。终端装置300主要被用于医生输 入报告、确认所拍摄的医用图像等。终端装置300能够取得图像归档装置200所记录的观察 记录图像的索引图像，并进行一览显示。
[0120] 图14是示出本发明实施方式的索引图像生成方法的流程图。照相机控制单元10的 镜体标签取得部12从内窥镜50取得摄像元件51的像素数(S10)。照相机控制单元10的图像 处理部13从内窥镜50取得由摄像元件51拍摄的拍摄图像(S11)。图像放大部14对所取得的 拍摄图像进行放大而生成观察记录图像(S12)。所生成的观察记录图像被发送到图像归档 装置200。
[0121] 图像归档装置200的滤波处理部25对观察记录图像执行频带抑制处理(S13)。图像 缩小部26将进行频带抑制后的观察记录图像缩小而生成索引图像(S14)。清晰度校正部27 对所生成的索引图像执行清晰度校正处理，生成最终的索引图像(S15)。
[0122] 图15示出图14的流程图的步骤S13的子例程。滤波器设定部24根据摄像元件51的 像素数等，确定观察记录图像中的最高频率(S131)。滤波器设定部24根据确定出的最高频 率，决定针对观察记录图像的滤波策略(S132)，并根据所决定的滤波策略，对观察记录图像 执行滤波处理(S133)。
[0123] 如以上所说明那样，根据本实施方式，能够恰当地设定应用于观察记录图像的低 通型滤波器。因此，能够防止混叠失真、和过度的平滑化，能够根据观察记录图像生成高品 质的索引图像。
[0124] 此外，在作为频带抑制处理而应用了多级滤波器的过程中，以不产生混叠失真的 范围的倍率，缩小对高频带成分得到了抑制效果的处理中途阶段的图像，由此能够削减之 后的计算量。通过计算量的削减，能够节约存储空间，能够缩短计算时间。另外，处理中途阶 段的缩小处理根据滤波器的应用次数、或通过滤波器应用而被抑制的频带来决定。
[0125] 以上，根据实施方式说明了本发明。该实施方式是例示性的，本领域技术人员能理 解到这各个结构要素以及各处理进程的组合能够采用各种变形例，并且这样的变形例也处 于本发明的范围内。
[0126] 在上述实施方式中，说明了将根据观察记录图像生成索引图像的功能安装到图像 归档装置200的图像处理部23的例子。关于该点，也可以将该功能设置于照相机控制单元10 的图像处理部13。该情况下，能够由照相机控制单元10根据拍摄图像生成观察记录图像和 索引图像两者。并且，也可以将根据观察记录图像生成索引图像的功能安装到与照相机控 制单元10或通信线路400连接的独立的图像处理装置。
[0127] 并且，在上述实施方式中，说明了使用高斯滤波器来作为低通型滤波器的例子，但 也可以使用平均值滤波器等其它滤波器。
[0128] 标号说明
[0129] 100:内窥镜系统；200:图像归档装置;300:终端装置;400:通信线路;500:医用图 像管理系统；10:照相机控制单元;30:光源装置;40:显示装置;50:内窥镜；51:摄像元件； 52:信号处理部；11:控制部；12:镜体标签取得部；13:图像处理部；14:图像放大部；15:伽马 校正部；16:颜色校正部；17:存储部；18、21:通信部;22:控制部;23:图像处理部;24:滤波器 设定部;25:滤波处理部;25a、26:图像缩小部;27:清晰度校正部;28:存储部;29:图像保存 部。
[0130] 产业上的可利用性
[0131 ]本发明能够用于内窥镜部门系统。
【主权项】
1. 一种图像处理装置，其特征在于，具有： 滤波处理部，其对第2图像应用抑制高频成分的滤波器，所述第2图像是对使用内窥镜 拍摄的第1图像应用至少包含放大处理的图像处理而生成的； 图像缩小部，其对应用所述滤波器后的第2图像应用缩小处理而生成第3图像；以及 滤波器设定部，其至少根据与能够在所述第1图像中再现的最高频率成分相关的信息 和与应该在所述第3图像中再现的最高频率成分相关的信息，设定所述滤波器的特性。2. 根据权利要求1所述的图像处理装置，其特征在于， 与能够在所述第1图像中再现的最高频率成分相关的信息是基于所述内窥镜所包含的 摄像元件的像素数的信息， 与应该在所述第3图像中再现的最高频率成分相关的信息是基于所述第3图像的像素 数的信息。3. 根据权利要求1或2所述的图像处理装置，其特征在于， 所述滤波器设定部根据所述第1图像的水平/垂直方向的像素数与所述第3图像的水 平/垂直方向的像素数之间的比率，变更所述滤波器的特性。4. 根据权利要求1或2所述的图像处理装置，其特征在于， 所述滤波器设定部根据所述第1图像的水平/垂直方向的像素数与所述第3图像的水 平/垂直方向的像素数之间的比率、图像的最大空间频率、以及所述第1图像的水平/垂直方 向的像素数与所述第2图像的水平/垂直方向的像素数之间的比率，导出不使所述第3图像 产生混叠失真的最高频率，并以抑制超过该最高频率的频率成分的方式，设定所述滤波器。5. 根据权利要求1~4中的任意一项所述的图像处理装置，其特征在于， 所述滤波处理部对所述第2图像执行多次滤波运算。6. 根据权利要求5所述的图像处理装置，其特征在于， 所述滤波处理部在所述多次滤波运算的中途，以不产生混叠失真的范围的缩小率，缩 小至少执行了一次滤波运算后的第2图像。
【文档编号】H04N5/225GK105828695SQ201580003134
【公开日】2016年8月3日
【申请日】2015年3月31日
【发明人】西村博, 西村博一
【申请人】奥林巴斯株式会社