影像插补方法以及应用该方法的影像插补装置与影像装置制造方法
【专利摘要】本发明提供一种影像插补方法以及应用该方法的影像插补装置与影像装置，且影像插补方法利用机率神经网络模型对影像进行插补，包括：(1)选取邻近于插补点的多个参考点；(2)利用多个参考点中的每一参考点的边缘方向角度、横向平滑参数、纵向平滑参数以及每一参考点与插补点之间的距离，来获得每一参考点的非等向性高斯函数数值；以及(3)利用一统计方法对该些非等向性高斯函数数值进行整合，以获得插补点的插补数值。本发明可于高分辨率的原始影像被取样成低分辨率的目标影像后，对该目标影像进行边缘适应性插补动作，确保插补后的影像在边缘区域不会有锯齿状方块的效应，且锐利度足够，并保留边缘的细节，故观看者不会有失焦模糊的感受。
【专利说明】影像插补方法以及应用该方法的影像插补装置与影像装置
【技术领域】
[0001] 本发明关于一种影像处理【技术领域】，尤其是关于一种用于影像插补的方法以及应 用该方法的影像插补装置与影像装置。
【背景技术】
[0002] 影像插补方法是一个长期以来普遍使用在影像处理的技术，最常见的应用是为了 让影像产生更好的放大或缩小的视觉效果，以便进行影像的显示和打印。近年来，随着消 费性多媒体产品的盛行，相关取像或显像的电子装置成为重要的产业项目，例如，平面显示 器、数字相机等，而影像插补方法就是其中核心控制的重要功能之一。
[0003] 以平面显示器为例，由于尺寸和分辨率不断的提高，加上热门的全屏幕显示需求， 导致进行影像插补是必要的处理程序，原因在于，若是输入至平面显示器的影像分辨率过 低，而平面显示器的尺寸过大，则在没有影像插补的动作下，全屏幕所显示出来的画面将会 是模糊不清的，不利观看。此外，其它影像输入装置的运作，如扫描器的放大分辨率或是数 字相机的数字变焦功能，都需藉助影像插补的技术。
[0004] 请参阅图1A-1D，其为利用多个现有影像插补方法进行影像插补动作后的结果示 意图；其中，图1A为原始影像，图1B为利用一邻近内插法（nearest neighbor)对由高分辨 率的原始影像取样成低分辨率的目标影像，进行影像插补后的结果，图1C为利用一双线性 内插法（bi-linear)对由高分辨率的原始影像取样成低分辨率的目标影像，进行影像插补 后的结果，图1D为利用一双立方内插法（bi-cubic)对由高分辨率的原始影像取样成低分 辨率的目标影像，进行影像插补后的结果。
[0005] 观察图1A-1D可知，现有影像插补方法具有下列缺点：（1)插补后的影像细节会明 显出现锯齿状；（2)插补后的影像细节，特别是图像边缘与线条特征呈现糊化的效果，令 观看者有离焦（de-focus)的视觉感受。
[0006] 有鉴于此，有一种基于机率神经网络的影像插补技术（PNN)被提出来改善上述的 缺陷。请参阅图2,其为现有利用基于机率神经网络的影像插补技术进行影像插补动作后的 结果示意图；比较图1A-1D与图2可知，采用基于机率神经网络的影像插补技术进行影像插 补的结果明显得到了改善。然而，由于机率神经网络的核心是高斯函数，而因为高斯函数具 有等方向以及低通滤波的特性，使得其面对影像中灰阶值剧烈变化的边缘区域，不会有显 著的锐化效果，因此，图2所示的结果中，图像边缘与线条特征仍令观看者有些微离焦的视 觉感受。
[0007] 基于此，另有一种基于非等向性机率神经网络的影像插补技术（APNN)被提出。请 参阅图3,其为现有利用基于非等向性机率神经网络的影像插补技术进行影像插补动作后 的结果示意图；比较图2与图3可知，采用基于非等向性机率神经网络的影像插补技术进行 影像插补的结果得到了更进一步的锐化效果。
[0008] 虽然该技术导入了藉由计算边缘方向角度使高斯函数具有非等向性的特质，进而 使所欲插补的插补点的插补数值更能够逼近原始影像的边缘特性的概念；然而，于该技术 中，与插补点相邻的多个参考点皆是以同一边缘方向角度（如所欲插补的插补点的边缘方 向角度），来取得各自的非等向性高斯函数数值，再进而相互内插而运算出插补点的插补数 值，如此使得插补点的插补数值还是无法有效贴近原始影像的边缘特性，因此图3所示的 结果仍有些微模糊。
[0009] 是以，现有的影像插补技术仍具有改善的空间。
【发明内容】
[0010] 本发明要解决的技术问题之一在于，针对现有技术存在的上述不足，提供一种利 用机率神经网络模型的影像插补方法。
[0011] 本发明要解决的技术问题之一在于，针对现有技术存在的上述不足，提供一种利 用上述影像插补方法的影像插补装置。
[0012] 本发明要解决的技术问题之一在于，针对现有技术存在的上述不足，提供一种具 有影像插补功能的影像装置。
[0013] 本发明解决其技术问题所采用的技术方案是提供一种影像插补方法，其利用一机 率神经网络模型对一影像的一插补点遂行一适应性插补动作，包括：
[0014] (1)选取邻近于该插补点的多个参考点；
[0015] (2)利用该多个参考点中的每一该参考点的一边缘方向角度、一横向平滑参数、一 纵向平滑参数以及每一该参考点与该插补点之间的一距离，获得每一该参考点的一非等向 性高斯函数数值；以及
[0016] (3)利用一统计方法对该些非等向性高斯函数数值进行整合运算，以获得该插补 点的一插补数值。
[0017] 较佳地，该步骤（3)中的该统计方法为重心法、最大值法、中值法或四分位法。
[0018] 较佳地，所述影像插补方法，于该步骤（2)中，包括：
[0019] (2-1)利用一梯度运算子获得每一该参考点的一横向梯度值以及一纵向梯度值； 以及
[0020] (2-2)利用每一该参考点的该横向梯度值以及该纵向梯度值获得每一该参考点的 该边缘方向角度。
[0021] 较佳地，于该步骤（2-1)中的该梯度运算子为索贝尔（sobel operator)运 算子、普里威特（Prewitt)运算子、中心差分（CentralDifference)运算子、中间差分 (Intermediate Difference)运算子、斯给尔（Scharr)运算子或罗伯兹（Roberts)算子。
[0022] 较佳地，该步骤（2-2)，包括：将每一该参考点的该横向梯度值以及该纵向梯度值 输入至一拉奥（Rao)算法中进行运算，以获得每一该参考点的该边缘方向角度。
[0023] 较佳地，所述影像插补方法，于该步骤（2)中，包括：
[0024] 将每一该参考点的多个特征值输入至一单神经元神经网络中，以获得每一该参考 点的该横向平滑参数以及该纵向平滑参数；其中，该单神经元神经网络的一转移函数为线 性函数、S形函数或双曲正切函数,且该转移函数的一自变量为
[0025] Σ (每一该特征值）·（每一该特征值所相对应的一权重）+ ( -偏压值）。
[0026] 较佳地，所述影像插补方法，于该步骤（2)中，还包括：
[0027] 利用一最佳化算法求得该转移函数中的至少一参数、每一该特征值所相对应的该 权重以及该偏压值。
[0028] 较佳地，该最佳化算法为粒子群最佳化（PS0)算法或一遗传（GA)算法。
[0029] 较佳地，所述影像插补方法，于该步骤（2)中，还包括：
[0030] 采用一峰值信号噪声比（PSNR)或一边缘误差百分比（PEE，Percentage Edge Error)作为该最佳化算法的一适应函数。
[0031] 较佳地，每一该参考点的该多个特征值包括一横向梯度值以及一纵向梯度值。
[0032] 较佳地，于该步骤（3)中，该插补点的该插补数值为
[0033]
【权利要求】
1. 一种影像插补方法，其利用一机率神经网络模型对一影像的一插补点遂行一适应性 插补动作，包括： (1) 选取邻近于该插补点的多个参考点； (2) 利用该多个参考点中的每一该参考点的一边缘方向角度、一横向平滑参数、一纵向 平滑参数以及每一该参考点与该插补点之间的一距离，获得每一该参考点的一非等向性高 斯函数数值；以及 (3) 利用一统计方法对该些非等向性高斯函数数值进行整合运算，以获得该插补点的 一插补数值。
2. 如权利要求1所述的影像插补方法，其特征在于，该步骤（3)中的该统计方法为重心 法、最大值法、中值法或四分位法。
3. 如权利要求1所述的影像插补方法，其特征在于，于该步骤（2)中，包括： (2-1)利用一梯度运算子获得每一该参考点的一横向梯度值以及一纵向梯度值；以及 (2-2)利用每一该参考点的该横向梯度值以及该纵向梯度值获得每一该参考点的该边 缘方向角度。
4. 如权利要求3所述的影像插补方法，其特征在于，于该步骤（2-1)中的该梯度运算子 为索贝尔运算子、普里威特运算子、中心差分运算子、中间差分运算子、斯给尔运算子或罗 伯兹算子；及/或 该步骤（2-2)，包括：将每一该参考点的该横向梯度值以及该纵向梯度值输入至一拉 奥算法中进行运算，以获得每一该参考点的该边缘方向角度。
5. 如权利要求1所述的影像插补方法，其特征在于，于该步骤（2)中，包括： 将每一该参考点的多个特征值输入至一单神经元神经网络中，以获得每一该参考点的 该横向平滑参数以及该纵向平滑参数；其中，该单神经元神经网络的一转移函数为线性函 数、S形函数或双曲正切函数,且该转移函数的一自变量为 E (每一该特征值）?（每一该特征值所相对应的一权重）+ ( -偏压值）。
6. 如权利要求5所述的影像插补方法，其特征在于，于该步骤（2)中，还包括： 利用一最佳化算法求得该转移函数中的至少一参数、每一该特征值所相对应的该权重 以及该偏压值。
7. 如权利要求6所述的影像插补方法，其特征在于，该最佳化算法为粒子群最佳化算 法或一遗传算法。
8. 如权利要求7所述的影像插补方法，其特征在于，于该步骤（2)中，还包括： 采用一峰值信号噪声比或一边缘误差百分比作为该最佳化算法的一适应函数。
9. 如权利要求5所述的影像插补方法，其特征在于，每一该参考点的该多个特征值包 括一横向梯度值以及一纵向梯度值。
10. 如权利要求1所述的影像插补方法，其特征在于，于该步骤（3)中，该插补点的该插 补数值为
11. 如权利要求10所述的影像插补方法，其特征在于，每一该参考点的该信号值为每 一该参考点的一灰度值。
12. -种影像插补装置，其利用一机率神经网络模型对一影像的一插补点遂行一适应 性插补动作，包括： 数据储存及控制单元，用以获得邻近于该插补点的多个参考点的边缘方向角度、横向 平滑参数以及纵向平滑参数； 至少一高斯函数运算单元，连接于该数据储存及控制单元，并利用该多个参考点中的 每一该参考点的该边缘方向角度、该横向平滑参数、该纵向平滑参数以及每一该参考点与 该插补点之间的一距离，而获得每一该参考点的一非等向性高斯函数数值；以及 统计运算单元，连接于该高斯函数运算单元，并利用一统计方法对该些非等向性高斯 函数数值进行整合运算，以产生输出该插补点的一插补数值。
13. 如权利要求12所述的影像插补装置，其特征在于，该至少一高斯函数运算单元包 括分别对应于该多个参考点的多个高斯函数运算单元，且每一该高斯函数运算单元利用相 对应的该参考点的该边缘方向角度、该横向平滑参数、该纵向平滑参数以及相对应的该参 考点与该插补点之间的该距离，而获得相对应的该参考点的该非等向性高斯函数数值；抑 或是该多个参考点被分为多个参考点群组，且该至少一高斯函数运算单元包括分别对应于 该些参考点群组的多个高斯函数运算单元，其中每一该高斯函数运算单元利用相对应的该 参考点群组中的每一该参考点的该边缘方向角度、该横向平滑参数、该纵向平滑参数以及 每一该参考点与该插补点之间的该距离，而获得相对应的该参考点群组中的每一该参考点 的该非等向性高斯函数数值；抑或是该至少一高斯函数运算单元包括单一高斯函数运算单 元，且该单一高斯函数运算单元依序利用该多个参考点中的每一该参考点的该边缘方向角 度、该横向平滑参数、该纵向平滑参数以及每一该参考点与该插补点之间的该距离，而依序 获得每一该参考点的该非等向性高斯函数数值。
14. 如权利要求13所述的影像插补装置，其特征在于，该至少一高斯函数运算单元中 的每一该高斯函数运算单元包括指数运算单元以及指数函数运算单元，且该指数函数运算 单元连接于该指数运算单元与该统计运算单元之间；其中，该指数运算单元用以产生输出 一指数数值供该指数函数运算单元使用。
15. 如权利要求14所述的影像插补装置，其特征在于，该指数运算单元包括距离运算 单元，且该距离运算单元连接于该数据储存及控制单元，并用以接收该插补点的一位置坐 标，而产生输出每一该参考点与该插补点之间的一横向距离值以及一纵向距离值；及/或 该指数运算单元包括旋转单元，且该旋转单元用以接收一横向距离值、一纵向距离值 以及一边缘方向角度，并依据该边缘方向角度进行一坐标旋转运算，俾使该横向距离值以 及该纵向距离值分别转换为一另一横向距离值以及一另一纵向距离值；及/或 该指数函数运算单元包括整数指数函数运算单元、小数指数函数运算单元以及相连于 该整数指数函数运算单元以及该小数指数函数运算单元的乘法运算单元，且该指数数值包 括一整数指数数值以及一小数指数数值；其中，该整数指数函数运算单元接收该整数指数 数值，并产生输出一整数指数函数值，该小数指数函数运算单元接收该小数指数数值，并产 生输出一小数指数函数值，而该乘法运算单元接收该整数指数函数值以及该小数指数函数 值,并产生输出该整数指数函数值以及该小数指数函数值的一乘积值。
16. 如权利要求14所述的影像插补装置，其特征在于，该指数运算单元包括旋转单元， 且该旋转单元用以接收一横向距离值、一纵向距离值以及一边缘方向角度，并依据该边缘 方向角度进行一坐标旋转运算，俾使该横向距离值以及该纵向距离值分别转换为一另一横 向距离值以及一另一纵向距离值；其中，该旋转单元包括坐标旋转数字计算机，用以执行该 坐标旋转运算；抑或是该旋转单元内设置有坐标旋转表，且该旋转单元依据该坐标旋转表 而进行该坐标旋转运算；抑或是该旋转单元依据泰勒展开式而进行该坐标旋转运算；抑或 是该旋转单元内设置有坐标旋转表，且该旋转单元依据该坐标旋转表以及泰勒展开式而进 行该坐标旋转运算；抑或是该旋转单元包括坐标旋转数字计算机以及坐标旋转表，该旋转 单元依据该坐标旋转数字计算机以及该坐标旋转表而进行该坐标旋转运算。
17. 如权利要求14所述的影像插补装置，其特征在于，该指数函数运算单元包括整数 指数函数运算单元、小数指数函数运算单元以及相连于该整数指数函数运算单元以及该小 数指数函数运算单元的乘法运算单元，且该指数数值包括一整数指数数值以及一小数指数 数值；其中，该整数指数函数运算单元接收该整数指数数值，并产生输出一整数指数函数 值，该小数指数函数运算单元接收该小数指数数值，并产生输出一小数指数函数值，而该乘 法运算单元接收该整数指数函数值以及该小数指数函数值,并产生输出该整数指数函数值 以及该小数指数函数值的一乘积值；其中， 该整数指数函数运算单元内设置有整数指数函数表，且该整数指数函数运算单元于接 收该整数指数数值后，依据该整数指数函数表而产生输出该整数指数函数值；及/或 该小数指数函数运算单元包括坐标旋转数字计算机，用以于该小数指数函数运算单元 接收该小数指数数值后执行一指数运算；抑或是该小数指数函数运算单元内设置有小数指 数函数表，且该小数指数函数运算单元于接收该小数指数数值后，依据该小数指数函数表 而产生输出该小数指数函数值；抑或是该小数指数函数运算单元于接收该小数指数数值 后，依据泰勒展开式而产生输出该小数指数函数值；抑或是该小数指数函数运算单元设置 有小数指数函数表，且该小数指数函数运算单元于接收该小数指数数值后，依据该小数指 数函数表以及泰勒展开式而产生输出该小数指数函数值；抑或是该小数指数函数运算单元 包括坐标旋转数字计算机以及小数指数函数表，且该小数指数函数运算单元于接收该小数 指数数值后，依据该坐标旋转数字计算机所执行的指数运算以及该小数指数函数表而产生 输出该小数指数函数值。
18. 如权利要求13所述的影像插补装置，其特征在于，所述影像插补装置是藉由一现 场可编程门阵列实现；及/或 邻近于该插补点的多个参考点的边缘方向角度、横向平滑参数以及纵向平滑参数是由 该数据储存及控制单元所算得，抑或是邻近于该插补点的多个参考点的边缘方向角度、横 向平滑参数以及纵向平滑参数是由与该数据储存及控制单元相连的一前置运算单元所算 得。
19. 一种具有影像插补功能的影像装置，包括： 影像接收模块，用以接收一目标影像； 影像插补模块，连接于该影像接收模块，并利用一机率神经网络模型对该目标影像的 至少一插补点遂行一适应性插补动作而产生一插补影像，该影像插补模块包括： 数据储存及控制单元，用以获得邻近于该至少一插补点的多个参考点的边缘方向度 值、横向平滑参数以及纵向平滑参数； 至少一高斯函数运算单元，连接于该数据储存及控制单元，并利用该多个参考点中的 每一该参考点的该边缘方向角度、该横向平滑参数、该纵向平滑参数以及每一该参考点与 该插补点之间的一距离，而获得每一该参考点的一非等向性高斯函数数值；以及 统计运算单元，连接于该高斯函数运算单元，并利用一统计方法对该些非等项性高斯 函数数值进行整合运算，以产生输出该插补点的一插补数值；以及 影像输出模块，连接于该影像插补模块，用以输出该插补影像。
20.如权利要求19所述的具有影像插补功能的影像装置，其特征在于，该具有影像插 补功能的影像装置为包括数字机顶盒、多媒体网关在内的多媒体传输装置，抑或是该具有 影像插补功能的影像装置内建于一多媒体播放装置或一影像撷取装置；及/或 该至少一高斯函数运算单元包括分别对应于该多个参考点的多个高斯函数运算单元， 且每一该高斯函数运算单元利用相对应的该参考点的该边缘方向角度、该横向平滑参数、 该纵向平滑参数以及相对应的该参考点与该插补点之间的该距离，而获得相对应的该参考 点的该非等向性高斯函数数值；抑或是该多个参考点被分为多个参考点群组，且该至少一 高斯函数运算单元包括分别对应于该些参考点群组的多个高斯函数运算单元，其中每一该 高斯函数运算单元利用相对应的该参考点群组中的每一该参考点的该边缘方向角度、该横 向平滑参数、该纵向平滑参数以及每一该参考点与该插补点之间的该距离，而获得相对应 的该参考点群组中的每一该参考点的该非等向性高斯函数数值；抑或是该至少一高斯函数 运算单元包括单一高斯函数运算单元，且该单一高斯函数运算单元依序利用该多个参考点 中的每一该参考点的该边缘方向角度、该横向平滑参数、该纵向平滑参数以及每一该参考 点与该插补点之间的该距离，而依序获得每一该参考点的该非等向性高斯函数数值。
【文档编号】H04N7/01GK104284126SQ201410298894
【公开日】2015年1月14日 申请日期:2014年6月27日 优先权日:2013年7月12日
【发明者】陈庆瀚, 郭家铭 申请人:中央大学