图像处理装置、图像处理方法及计算机程序的制作方法
【技术领域】
[0001] 本发明涉及判别包含于输入图像中的噪声（noise)、并可除去或减少该噪声的图 像处理装置、图像处理方法及计算机程序。
【背景技术】
[0002] 以往，作为包含于图像中的噪声，已知的一例是块噪声（Block-noise)这样的在 相邻像素间其像素值阶梯状变化的噪声。块噪声是在进行了 MPEG (Moving Picture Expert Group)或JPEG(Joint Photographic Experts Group)等的图像压缩处理时产生的噪声。 在MPEG或JPEG等的图像压缩方式中，将原图像分割为特定大小的块，对每块进行压缩图像 的处理。因此，在相邻块的边界，像素值变得不连续，有时用户会把块的边界部分识别为噪 声。此外，这种块噪声不限于图像压缩处理，有可能在将图像分割为特定大小的块来进行图 像处理时产生。
[0003] 在专利文献1中提出了如下的块噪声检测装置：其对输入影像信号计算出相邻像 素间的空间差分，根据相邻的多个空间差分的比较结果输出空间差分比较判定信号，对每 个相位计算空间差分比较判定信号来输出累积值信号，比较多个累积值信号的值，输出与 值最大的累积值信号对应的位相作为最大累积时相位信号。 现有技术文献 专利文献
[0004] 专利文献1:日本专利公开2009-105990号公报
【发明内容】
发明所要解决的技术问题
[0005] 但是，专利文献1所述的块噪声检测装置存在有可检测的块噪声的大小固定不变 的问题。因此，不能应对块大小可变的图像处理中生成的图像。此外，专利文献1记载的块 噪声检测装置存在有如下问题：在所检测的块噪声的边界为1像素宽，对与噪声的边界相 当的像素的周边像素进行平滑化时，与噪声边界的左右（或上下）相邻的区域中的任意一 方被多平滑化了 1像素。此外，专利文献1记载的块噪声检测装置是必对所检测的部分进行 平滑化的结构。因此，对实际上不需要平滑化的像素也进行平滑化，有可能造成画质劣化。
[0006] 此外，在现有的噪声除去处理中，不管所检测到的噪声为哪一种（例如，仅含低频 成分的噪声，同时含低频成分和高频成分的噪声等），也用同一平滑化滤波器进行噪声除去 处理。因此，在图像中含多种噪声时，有时会得到对一种噪声的除去性能较高，而对另一种 噪声除去性能较低的噪声除去结果。
[0007] 本发明是鉴于上述情况而做出的，其目的在于，提供一种高精度地检测包含于输 入图像中的噪声、并可除去或减少噪声的图像处理装置、图像处理方法及计算机程序。此 外，本发明的另一目的是，提供一种即使在输入图像中含有多种噪声时也能够进行适当的 平滑化来除去或减少噪声的图像处理装置、图像处理方法及计算机程序。 用于解决技术问题的方案
[0008] 本发明的图像处理装置，进行生成输出图像的图像处理，该输出图像是从由矩阵 状配置的多个像素构成的输入图像除去或减少噪声的图像，其特征在于，具备：特定区域提 取单元，从上述输入图像提取包含关注像素的特定区域；平滑化判定单元，根据该特定区域 提取单元提取的特定区域，判定是否把上述关注像素作为第一平滑化处理的对象；第一平 滑化单元，在该平滑化判定单元判定为作为第一平滑化处理的对象时，进行使用了平滑化 滤波器的第一平滑化处理，对上述关注像素的像素值进行平滑化；以及第二平滑化单元，在 上述平滑化判定单元判定为不作为第一平滑化处理的对象时，进行使用了边缘（edge)保 存型平滑化滤波器的第二平滑化处理，对上述关注像素的像素值进行平滑化，生成输出图 像，该输出图像是上述第一平滑化单元将上述输入图像的各像素的像素值平滑化而得到的 像素值，或上述第二平滑化单元平滑化而得到的像素值中之一的图像。
[0009] 此外，本发明的图像处理装置，其特征在于，具备：噪声边界方向决定单元，在上述 平滑化判定单元判定为作为第一平滑化处理的对象时，决定在上述特定区域中噪声的边界 部分延伸的方向；以及噪声边界位置决定单元，在上述平滑化判定单元判定为作为第一平 滑化处理的对象时，决定在上述特定区域中噪声的边界部分的位置。
[0010] 此外，本发明的图像处理装置，其特征在于，在上述平滑化判定单元判定为作为平 滑化处理的对象，且上述噪声边界方向决定单元所决定的方向为规定方向时，上述噪声边 界位置决定单元决定在上述特定区域中噪声的边界部分位置。
[0011] 此外，本发明的图像处理装置，其特征在于，还具备特定区域扩大单元，该特定区 域扩大单元在上述噪声边界方向决定单元决定的方向不是规定方向时，扩大上述特定区 域，上述噪声边界方向决定单元对上述特定区域扩大单元所扩大的特定区域再次决定方 向。
[0012] 此外，本发明的图像处理装置，其特征在于，在上述噪声边界方向决定单元决定的 方向成为规定方向之前，或由上述特定区域扩大单元将特定区域扩大到规定大小之前，重 复进行基于上述特定区域扩大单元的特定区域的扩大及基于上述噪声边界方向决定单元 的方向决定。
[0013] 此外，本发明的图像处理装置，其特征在于，具备：平滑化滤波器存储单元，存储多 个上述第一平滑化单元所使用的平滑化滤波器；以及滤波器选择单元，根据上述噪声边界 位置决定单元决定的位置及上述噪声边界方向决定单元决定的方向，从上述平滑化滤波器 存储单元选择平滑化滤波器，上述第一平滑化单元利用上述滤波器选择单元所选择的平滑 化滤波器，对上述关注像素的像素值进行平滑化。
[0014] 此外，本发明的图像处理装置，其特征在于，具备微分值计算单元，该微分值计算 单元对上述特定区域提取单元提取的特定区域的图像计算像素间的像素值的微分值，上述 平滑化判定单元根据上述微分值计算单元计算的微分值，判定是否将上述关注像素设为平 滑化处理的对象。
[0015] 此外，本发明的图像处理装置，其特征在于，上述微分值计算单元计算相邻像素间 的像素值的1次微分值及2次微分值，上述平滑化判定单元根据上述微分值计算单元计算 的1次微分值及2次微分值进行判定。
[0016] 此外，本发明的图像处理装置，其特征在于，包括：1次微分值2值化单元，根据上 述微分值计算单元计算的1次微分值是否超过阈值，将上述1次微分值进行2值化；第1逻 辑和计算单元，计算上述1次微分值2值化单元进行了 2值化的1次微分值的逻辑和；2次 微分值2值化单元，根据上述微分值计算单元计算的2次微分值是否超过阈值，将上述2次 微分值进行2值化；第2逻辑和计算单元，计算上述2次微分值2值化单元进行了 2值化的 2次微分值的逻辑和；以及第3逻辑和计算单元，计算上述第1逻辑和计算单元的算出结果 及上述第2逻辑和计算单元的算出结果的逻辑和，上述平滑化判定单元根据上述第3逻辑 和计算单元对算出结果进行判定。
[0017] 此外，本发明的图像处理装置，其特征在于，上述微分值计算单元、上述1次微分 值2值化单元、上述第1逻辑和计算单元、上述2次微分值2值化单元、上述第2逻辑和计 算单元及上述第3逻辑和计算单元，对上述特定区域的纵向及横向分别进行处理，上述平 滑化判定单元根据上述第3逻辑和计算单元对上述纵向及横向的计算结果进行判定。
[0018] 此外，本发明的图像处理装置，其特征在于，具备噪声边界方向决定单元，该噪声 边界方向决定单元在上述平滑化判定单元判定为作为第一平滑化处理的对象时，决定在上 述特定区域中噪声的边界部分延伸的方向，该噪声边界方向决定单元根据上述第3逻辑和 计算单元对上述纵向及横向的算出结果，决定噪声的边界部分是否在上述特定区域的上述 纵向及/或上述横向上延伸。
[0019] 此外，本发明的图像处理装置，其特征在于，具备噪声边界位置决定单元，该噪声 边界位置决定单元在上述平滑化判定单元判定为作为第一平滑化处理的对象时，决定在上 述特定区域中噪声的边界部分的位置，该噪声边界位置决定单元根据上述2次微分值2值 化单元进行了 2值化的2次微分值的上述特定区域内的图案，决定在上述特定区域中噪声 的边界部分的位置。
[0020] 此外，本发明的图像处理装置，其特征在于，还具备：索贝尔（Sobel)滤波器存储 单元，在不同的方向，存储多个分别检测有关特定方向的边缘成分的强度的索贝尔滤波器； 边缘强度计算单元，利用上述索贝尔滤波器存储单元所存储的多个索贝尔滤波器对上述特 定区域提取单元提取的特定区域进行滤波器处理，并对多个方向计算上述特定区域所含的 边缘成分的强度；以及边缘强度差分判定单元，判定上述边缘强度计算单元计算的多个边 缘强度的最大值及最小值的差分是否超过阈值，上述第二平滑化单元在上述边缘强度差分 判定单元判定为上述差分不超过上述阈值时，利用非边缘保存型平滑化滤波器对上述特定 区域的关注像素的像素值进行平滑化。
[0021] 此外，本发明的图像处理装置，其特征在于，具备适用判定单元，该适用判定单元 判定是否适用上述第二平滑化单元的平滑化结果，生成输出图像，该输出图像是将上述输 入图像的各像素的像素值利用上述第一平滑化单元平滑化了的像素值，上述第二平滑化单 元平滑化而得到的像素值，或没有平滑化的原来的像素值中之一的图像。
[0022] 此外，本发明的图像处理装置，其特征在于，具备：第二边缘强度计算单元，对上述 特定区域提取单元提取的特定区域进行使用拉普拉斯滤波器的滤波器处理，并计算上述特 定区域所含的边缘成分的强度；以及边缘强度判定单元，判定该第二边缘强度计算单元计 算的强度是否超过阈值，上述适用判定单元，在上述边缘强度判定单元判定为上述强度超 过上述阈值时，判定为适用上述第二平滑化单元的平滑化结果，在上述边缘强度判定单元 判定为上述强度不超过上述阈值时，判定为不适用上述第二平滑化单元的平滑化结果。
[0023] 此外，本发明的图像处理装置，其特征在于，具备：增减次数计算单元，计算上述特 定区域提取单元提取的特定区域内特定方向上相邻的像素间的像素值的增减次数；以及增 减次数判定单元，判定该增减次数计算单元计算的增减次数是否超过阈值，上述适用判定 单元，在上述增减次数判定单元判定为上述增减次数不超过上述阈值时，判定为适用上述 第二平滑化单元的平滑化结果，在上述增减次数判定单元判定为上述增减次数超过上述阈 值时，判定为不适用上述第二平滑化单元的平滑化结果。
[0024] 此外，本发明的图像处理装置，其特征在于，具备：平滑差分计算单元，计算上述特 定区域提取单元提取的特定区域所含的关注像素的像素值及由上述第二平滑化单元进行 了平滑化的像素值的差分；以及平滑差分判定单元，判定该平滑差分计算单元计算的差分 是否超过阈值，上述适用判定单元，在上述平滑差分判定单元判定为上述差分不超过上述 阈值时，判定为适用上述第二平滑化单元的平滑化结果，在上述平滑差分判定单元判定为 上述差分超过上述阈值时，判定为不适用上述第二平滑化单元的平滑化结果。
[0025] 此外，本发明的图像处理装置，进行生成输出图像的图像处理，该输出图像是从由 矩阵状配置的多个像素构成的输入图像除去或减少噪声的图像，其特征在于，具备：特定区 域提取单元，从上述输入图像提取包含关注像素的特定区域；平滑化判定单元，根据该特定 区域提取单元提取的特定区域，判定是否把上述关注像素作为第一平滑化处理的对象；第 一平滑化单元，在该平滑化判定单元判定为作为第一平滑化处理的对象时，进行使用了平 滑化滤波器的第一平滑化处理，对上述关注像素的像素值进行平滑化；第二平滑化单元，在 上述平滑化判定单元判定为不作为第一平滑化处理的对象时，进行使用了边缘保存型平滑 化滤波器的第二平滑化处理，对上述关注像素的像素值进行平滑化；以及适用判定单元，判 定是否适用该第二平滑化单元的平滑化结果，生成输出图像，该输出图像是上述第一平滑 化单元将上述输入图像的各像素的像素值平滑化而得到的像素值，上述第二平滑化单元平 滑化而得到的像素值，或没有平滑化的原来的像素值中之一的图像。
[0026] 此外，本发明的图像处理装置，进行生成输出图像的图像处理，该输出图像是从由 矩阵状配置的多个像素构成的输入图像除去或减少噪声的图像，其特征在于，具备：特定区 域提取单元，从上述输入图像提取包含关注像素的特定区域；微分值计算单元，对该特定区 域提取单元提取的特定区域的图像，计算像素间的像素值的微分值；平滑化判定单元，根据 该微分值计算单元计算的微分值，判定是否将上述关注像素作为平滑化处理的对象；噪声 边界方向决定单元，在该平滑化判定单元判定为作为平滑化处理的对象时，决定在上述特 定区域中噪声的边界部分延伸的方向；噪声边界位置决定单元，在上述平滑化判定单元判 定为作为平滑化处理的对象时，决定在上述特定区域中噪声的边界部分的位置；以及平滑 化单元，在上述平滑化判定单元判定为作为平滑化处理的对象时，根据上述噪声边界方向 决定单元决定的方向及上述噪声边界位置决定单元决定的位置，对上述关注像素进行平滑 化处理。
[0027] 此外，本发明的图像处理装置，其特征在于，具备：特定区域提取单元，从由矩阵状 配置的多个像素构成的输入图像提取包含关注像素的特定区域；微分值计算单元，对该特 定区域提取单元提取的特定区域的图像，计算像素间的像素值的微分值；噪声边界方向决 定单元，根据该微分值计算单元计算的微分值，决定在上述特定区域中噪声的边界部分延 伸的方向；噪声边界位置决定单元，根据上述微分值计算单元计算的微分值，决定在上述特 定区域中噪声的边界部分的位置。
[0028] 此外，本发明的图像处理方法，生成输出图像，该输出图像是从由矩阵状配置的多 个像素构成的输入图像除去或减少噪声的图像，其特征在于，特定区域提取步骤，从上述输 入图像提取包含关注像素的特定区域；平滑化判定步骤，根据在该特定区域提取步骤提取 的特定区域，判定是否把上述关注像素作为第一平滑化处理的对象；第一平滑化步骤，在该 平滑化判定步骤判定为作为第一平滑化处理的对象时，进行使用了平滑化滤波器的第一平 滑化处理，对上述关注像素的像素值进行平滑化；第二平滑化步骤，在上述平滑化判定步骤 判定为不作为第一平滑化处理的对象时，进行使用了边缘保存型平滑化滤波器的第二平滑 化处理，对上述关注像素的像素值进行平滑化；以及生成步骤，生成输出图像，该输出图像 是将上述输入图像的各像素的像素值在上述第一平滑化步骤平滑化了的像素值，或在上述 第二平滑化步骤平滑化了的像素值中之一的图像。
[0029] 此外，本发明的图像处理方法，其特征在于，包括：噪声边界方向决定步骤，在上述 平滑化判定步骤判定为作为第一平滑化处理的对象时，决定在上述特定区域中噪声的边界 部分延伸的方向；以及噪声边界位置决定步骤，在上述平滑化判定步骤判定为作为第一平 滑化处理的对象时，决定在上述特定区域中噪声的边界部分的位置。
[0030] 此外，本发明的图像处理方法，其特征在于，在上述噪声边界位置决定步骤中，在 上述平滑化判定步骤判定为作为平滑化处理的对象，且在上述噪声边界方向决定步骤中决 定的方向为规定方向时，决定在上述特定区域中噪声的边界部分的位置。
[0031] 此外，本发明的图像处理方法，其特征在于，在上述噪声边界方向决定步骤中决定 的方向不是规定方向时，还包括扩大上述特定区域的特定区域扩大步骤，在上述噪声边界 方向决定步骤，对在上述特定区域扩大步骤扩大的特定区域再次进行方向决定。
[0032] 此外，本发明的图像处理方法，其特征在于，在上述噪声边界方向决定步骤中决定 的方向成为规定方向之前，或，在上述特定区域扩大步骤将特定区域扩大到规定大小之前， 重复进行基于上述特定区域扩大步骤的特定区域的扩大及基于上述噪声边界方向决定步 骤的方向决定。
[0033] 此外，本发明的图像处理方法，其特征在于，预先存储多个上述第一平滑化步骤使 用的平滑化滤波器，包括滤波器选择步骤，根据在上述噪声边界位置决定步骤中决定的位 置及在上述噪声边界方向决定步骤中决定的方向，从所存储的多个平滑化滤波器选择平滑 化滤波器，在上述第一平滑化步骤中，利用在上述滤波器选择步骤选择的平滑化滤波器，对 上述关注像素的像素值进行平滑化。
[0034] 此外，本发明的图像处理方法，其特征在于，包括微分值计算步骤，对在上述特定 区域提取步骤提取的特定区域的图像计算像素间的像素值的微分值，在上述平滑化判定步 骤，根据