使用至少一个附加图像的图像增强和边缘验证方法和设备的制作方法
【专利摘要】本发明涉及使用至少一个附加图像的图像增强和边缘验证方法和设备。一种图像处理系统，包括图像处理器，其被配置成对第一和第二图像分别执行第一和第二边缘检测操作以获得各第一和第二边缘图像，以使用来自第一和第二边缘图像的边缘应用联合边缘加权操作，基于边缘加权操作的结果生成边缘掩蔽，利用该边缘掩蔽来获得第三边缘图像，并基于第三边缘图像生成第三图像。仅以示例的方式，在给定实施例中，第一图像可包括由深度成像器生成的第一深度图像，第二图像可包括与第一图像基本上相同场景的二维图像，并且第三图像可包括相对于第一深度图像具有增强边缘质量的增强深度图像。
【专利说明】使用至少一个附加图像的图像增强和边缘验证方法和设备
【技术领域】
[0001] 本发明一般地涉及图像处理，并且更具体地涉及诸如深度图及其他类型的深度图 之类的图像的处理。
【背景技术】
[0002] 已知有用于检测图像中的边缘的多种不同技术。此类技术一般地在应用于高分辨 率图像时产生可接受的结果，诸如由数字式照相机产生的照片或其他二维（2D)图像。然 而，许多重要机器视觉应用利用由诸如结构光（SL)照相机或飞行时间（Tf)照相机之类的 深度成像器产生的三维（3D)图像。这些深度图像常常是低分辨率图像且通常包括高噪声 且模糊的边缘。
[0003] 常规边缘检测技术一般地在被应用于深度图像时表现并不很好。例如，这些常规 技术可遗漏给定深度图像中的重要边缘或将多个伪边缘连同重要边缘一起定位。结果产生 的检测边缘质量差，并且因此破坏后续图像处理操作的有效性，诸如特征提取、图案识别、 姿势识别、对象识别和跟踪。
【发明内容】
[0004] 在一个实施例中，一种图像处理系统包括图像处理器，其被配置成对各第一和第 二图像执行第一和第二边缘检测操作以获得相应的第一和第二边缘图像，以使用来自第一 和第二边缘图像的边缘应用联合边缘加权操作，基于边缘加权操作的结果生成边缘掩蔽， 利用该边缘掩蔽来获得第三边缘图像，并基于第三边缘图像生成第三图像。
[0005] 仅以示例的方式，给定实施例中的第一图像可包括由深度成像器生成的第一深度 图像，第二图像可包括与第一图像基本上相同场景的二维图像，并且第三图像可包括相对 于第一深度图像具有增强边缘质量的增强深度图像。
[0006] 本发明的其他实施例包括但不限于方法、设备、系统、处理设备、集成电路以及具 有体现在其中的计算机程序代码的计算机可读存储介质。
【专利附图】
【附图说明】
[0007] 图1是一个实施例中的包括被配置成用于图像增强和边缘验证的图像处理器的 图像处理系统的框图。
[0008] 图2是用于使用图1系统的图像处理器的灰度图像来产生增强深度图像的示例性 过程的流程图。
[0009] 图3图示出可在图2过程的联合边缘加权操作中使用的不同像素近邻。
【具体实施方式】
[0010] 在本文中将结合示例性图像处理系统来举例说明本发明的实施例，该示例性图像 处理系统包括用于生成具有可靠边缘的增强深度图像的图像处理器或其他类型的处理设 备。然而，应理解的是本发明实施例更一般地可应用于涉及到通过利用一个或多个附加图 像来增强一个图像中的边缘质量的任何图像处理系统或关联设备或技术。
[0011] 图1示出了本发明的实施例中的图像处理系统100。图像处理系统100包括从一 个或多个图像源105接收图像并将已处理图像提供给一个或多个图像目的地107的图像处 理器102。图像处理器102还通过网络104与多个处理设备106通信。
[0012] 虽然图像源105和图像目的地107在图1中被示为与处理设备分离，但可至少部 分地利用处理设备106中的一个或多个来实现此类源和目的地的至少子集。相应地，可通 过网络104将图像提供给图像处理器102以用于来自处理设备106中的一个或多个的处 理。同样地，已处理图像可被图像处理器102通过网络104传送至处理设备106中的一个 或多个。因此可将此类处理设备视为图像源或图像目的地的示例。
[0013] 给定图像源可包括例如诸如被配置成生成深度图像的SL照相机或ToF照相机之 类的3D成像器或者被配置成生成灰度图像、彩色图像、红外图像或其他类型的2D图像的2D 成像器。还可能的是单个成像器或其他图像源能够提供深度图像和诸如灰度图像、彩色图 像或红外图像之类的相应2D图像两者。例如，某些类型的现有3D照相机能够产生给定场 景的深度图以及相同场景的2D图像。替换地，提供给定场景的深度图的3D成像器能够接 近于提供基本上相同场景的2D图像的单独高分辨率摄像机或其他2D成像器地被布置。
[0014] 图像源的另一示例是向图像处理器102提供图像以用于处理的存储设备或服务 器。
[0015] 给定图像目的地可包括例如计算机或移动电话的人机接口的一个或多个显示屏， 或者从图像处理器102接收已处理图像的至少一个存储设备或服务器。
[0016] 并且，虽然图像源105和图像目的地107在图1中被示为与图像处理器102分离， 但可至少部分地将图像处理器102与公共处理设备的一个或多个图像源和所述一个或多 个图像目的地的至少子集组合。因此，例如，给定图像源和图像处理器102可在同一处理设 备上共同地实现。同样地，给定图像目的地和图像处理器102可在同一处理设备上共同地 实现。
[0017] 在本实施例中，图像处理器102被配置成对各第一和第二图像执行第一和第二边 缘检测操作以获得相应的第一和第二边缘图像，使用来自第一和第二边缘图像的边缘来应 用联合边缘加权操作，基于边缘加权操作的结果来生成边缘掩蔽，利用该边缘掩蔽来获得 第三边缘图像，并基于第三边缘图像来生成第三图像。
[0018] 如图1中所示的图像处理器102包括预处理模块110、边缘检测模块112、联合边 缘加权模块114、边缘掩蔽模块115、边缘去水印模块116和后处理模块118。
[0019] 作为上述第一、第二和第三图形的一个可能示例，给定实施例中的第一图像可包 括由诸如SL照相机或ToF照相机之类的深度成像器产生的深度图像，第二图像可包括与第 一图像基本上相同场景的2D图像，并且第三图像可包括相对于第一深度图像具有增强边 缘质量的增强深度图像。上文已指出单个成像器或其他图像源能够提供深度图像和诸如灰 度图像、彩色图像或红外图像之类的相应2D图像两者。替换地，能够分别由单独3D和2D 成像器来提供第一和第二图像。并且，可使用多个附加图像来增强第一图像，与在某些实施 例中仅使用第二图像相反。在其他实施例中可接收、处理和生成其他类型和布置的图像。
[0020] 在其他实施例中，能够改变图1实施例中的图像处理器102中所示的模块的特定 数目和布置。例如，在其他实施例中，可将这些模块中的两个或更多个组合成较少数目的模 块。可使用其他常规图像处理集成电路或被适当地修改成执行如本文公开的处理操作的其 他类型的图像处理电路来实现图像处理器102的模块110、112、115、116和118中的一个或 多个的至少一部分。可在本发明的一个或多个实施例中使用的图像处理电路的一个可能示 例是被适当地重配置成执行与模块110、112、114、115、116和118中的一个或多个相关联的 功能的另外常规图形处理器。
[0021] 下面将结合图2的流程图来更详细地描述图像处理器102的操作。此流程图图示 出用于使用至少一个附加图像的图像增强和边缘验证的示例性过程，在这种情况下，上述 第二图像包括与输入深度图像基本上相同场景的2D图像。
[0022] 由图像处理器102生成的第三图形包括相对于输入深度图像具有增强边缘质量 的增强深度图像。由图像处理器102生成的此增强深度图像可在图像处理器102中经受附 加处理操作，诸如，例如特征提取、图案识别、姿势识别、对象识别和跟踪。
[0023] 替换地，可通过网络104将如由图像处理器102生成的增强深度图像提供给处理 设备106中的一个或多个。一个或多个此类处理设备可包括被配置成执行上述后续操作的 各图像处理器，诸如特征提取、图案识别、姿势识别、对象识别和跟踪。
[0024] 处理设备106可以任何组合包括例如计算机、移动电话、服务器或存储设备。一个 或多个此类设备还可包括例如被用来呈现由图像处理器102生成的图像的显示屏或其他 用户接口。处理设备106因此可包括多种不同的目的地设备，其通过网络104从图像处理 器102接收已处理图像流，举例来说，包括从图像处理器102接收一个或多个已处理图像流 的至少一个服务器或存储设备。
[0025] 虽然在本实施例中被示为与处理设备106分离，但可至少部分地将图像处理器 102与处理设备106中的一个或多个组合。因此，例如，可至少部分地使用处理设备106中 的给定的一个来实现图像处理器102。举例来说，可将计算机或移动电话配置成结合图像处 理器102和可能的给定图像源。图像源105因此可包括与计算机、移动电话或其他处理设 备相关联的照相机或其他成像器。如先前所指示的，可至少部分地将图像处理器102与公 共处理设备上的一个或多个图像源或图像目的地组合。
[0026] 本实施例中的图像处理器102假设是使用至少一个处理设备实现的，并包括被耦 合到存储器122的处理器120。处理器120执行存储在存储器120中的软件代码以便控制 图像处理操作的性能。图像处理器102还包括支持通过网络104的通信的网络接口 124。
[0027] 处理器120可以任何组合方式包括例如微处理器、专用集成电路（ASIC)、现场可 编程门阵列（FPGA)、中央处理单元（CPU)、算术逻辑单元（ALU)、数字信号处理器（DSP)或其 他类似处理设备部件以及其他类型和布置的图像处理电路。
[0028] 存储器122存储用于由处理器1在实现图像处理器120的功能的各部分、诸如模 块110、112、114、115、116和118的各部分时执行的代码。存储软件代码以供相应的处理器 执行的给定此类存储器是在本文中更一般地称为计算机可读介质或具有体现在其中的计 算机程序代码的其他类型的计算机程序产品的东西的示例，并且可以任何组合方式包括例 如电子存储器，诸如随机存取存储器（RAM)或只读存储器（ROM)、磁存储器、光学存储器或 其他类型的存储设备。如上文所指示的，处理器可包括微处理器、ASIC、FPGA、CPU、ALU、DSP 或其他图像处理电路的各部分或组合。
[0029] 还应认识到的是可以集成电路的形式来实现本发明的实施例。在给定的此类集成 电路实施方式中，通常在半导体晶片的表面上以重复图案来形成相同的管芯。每个管芯包 括如本文所述的图像处理器或其他图像处理电路，并且可包括其他结构或电路。单独管芯 被从晶片切割或分割，然后封装为集成电路。本领域的技术人员将知晓如何分割晶片并封 装管芯以产生集成电路。这样制造的集成电路被视为本发明的实施例。
[0030] 如图1中所示的图像处理系统100的特定配置仅仅是示例性的，并且其他实施例 中的系统100可除具体地示出的那些之外或作为其替代而包括其他元件，包括在此类系统 的常规实施方式中通常发现的类型的一个或多个元件。
[0031] 例如，在某些实施例中，图像处理系统100被实现为视频游戏系统或其他类型的 基于姿势的系统，其处理图像流以便识别用户姿势。公开技术能够同样地适合于在要求基 于姿势的人机接口的多种其他系统中使用，并且还能够应用于除姿势识别之外的应用，诸 如机器人及其他工业应用中的机器视觉系统。
[0032] 现在参考图2,示出了用于图1的图像处理系统中的图像增强和边缘验证的示例 性过程。图2过程假设由图像处理器102使用其预处理模块110、边缘检测模块112、联合 边缘加权模块114、边缘掩蔽模块115、边缘去水印模块116和后处理模块118来实现。该 过程在本实施例中包括步骤200至214。
[0033] 在本实施例中假设在图像处理器102中从一个或多个图像源105接收到的第一和 第二图像分别地包括输入深度图和灰度图像，并且使用第一和第二图像生成的第三图形包 括增强深度图。
[0034] 要描述的过程通过从灰度图像而不是输入深度图获取输入深度图和灰度图像两 者中的相互足够接近的边缘来增强深度图质量，因为灰度图像边缘一般地比输入深度图边 缘被更好地限定。并且，存在于灰度图像中而不是输入深度图中的边缘被从增强深度图消 除，并且存在于输入深度图中而不是灰度图像中的足够强的边缘被包括在增强深度图中。
[0035] 在步骤200中，对准第一和第二图像，假设那些图像并非源自于公共图像传 感器。 并且，在其他实施例中，可完全消除此对准步骤200。
[0036] 作为包括此类步骤的实施例中的步骤200的一个可能实施方式的示例，如果使用 单独深度和2D成像器来生成各第一和第二图像，则可应用各种类型的对准操作，诸如仿射 变换或其他类型的变换。
[0037] 更特别地，如果深度和2D成像器被放置在基本上相同的位置上，则可使用具有一 个比例因数以匹配分辨率的简单线性变换。如果将深度和2D成像器放置在不同位置上且 两者都不具有光栅畸变，则可使用具有6个系数的2D仿射变换。如果将深度和2D成像器 放置在不同位置上且3D成像器根据沿着z轴的值而具有线性光栅畸变，则可使用具有8个 系数的3D至2D线性变换。最后，如果将深度和2D成像器放置在不同位置上且至少一个具 有非线性光栅畸变，则可使用非线性修正器，可能与线性变换组合。可使用许多其他类型和 组合的变换或其他对准技术。
[0038] 举例来说，假设输入深度图的分辨率是（dx，dy)且输入灰度图像的分辨率是（gx， gy)，并且进一步假设深度图和灰度图像具有相同的纵横比，使得dx/gx = dy/gy = k，其中，k 是常数。如果深度图和灰度图像并不具有相同的纵横比，则可切割这些图像中的一个或者 使另一个沿着一个维度延伸。
[0039] 在本实施例中，通常1因为诸如SL或ToF照相机之类的深度成像器通常具有 与诸如照片或视频照相机之类的2D成像器相比明显较低的分辨率。步骤200的输出处的对 准第一和第二图像应具有相同的坐标系和基本上相同的分辨率（f x，fy)，其中fx/fy = k且 dx彡fx彡gx。相应地，步骤200中的对准可涉及到例如重新调节2D图像：（g x，gy) - (fx，fy)。 如前所述，可消除对准，例如在其中由相同图像传感器来提供深度图和灰度图像的实施例 中，或者另外当从一个或多个图像源105供应给图像处理器102时已基本上对准。
[0040] 在步骤202中，对已对准深度图应用预处理。该预处理可涉及到诸如去噪、均衡化 等操作。在其他实施例中，可在对准步骤200之前应用预处理。并且，可另外或替换地对输 入灰度图像应用预处理器，或者可将其一起消除。
[0041] 在步骤204-1中，对深度图执行边缘检测操作以便获得第一边缘图像E1。
[0042] 在步骤204-2中，在灰度图像中执行边缘检测操作以便获得第二边缘图像E2。
[0043] 可在步骤204-1和204-2中应用多种已知边缘检测技术中的任何一个以生成边缘 图像 E1 和 E2。例如在 J. Canny 在 IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol.PAMI-8,第 6 期，pp. 679-698, 1986 年 11 月中的"A computational approach to edge detection，'中；R. Kimmel 和 A. M. Bruckstein在 International Journal of Computer Vision, 53(3):225-243,2003 中的 "On regularized Laplacian zero crossings and other optimal edge integrators，'中；以及 W. K. Pratt 的 Digital Image Processing, 3rd Edition, John Wiley & Sons, 2001中公开了此类边缘检测技术的示例，其 被通过引用结合到本文中。在步骤204-1或步骤204-2中应用给定边缘检测操作时，应将 任何关联边缘检测阈值设置为足够低，从而确保重要边缘的保持，因为将描述的后续处理 将确保拒绝不可靠边缘。并且，可在步骤104-1和104-2中使用不同类型的边缘检测操作， 潜在地使用不同的边缘检测阈值及其他参数。
[0044] 应注意的是如本文所使用的术语"图像"意图被宽泛地理解，并且在边缘图像E1 和E2的语境下可包括例如边缘图或表征所检测边缘的其他像素信息组。术语"边缘"也意 图被宽泛地理解，从而涵盖例如在与被成像对象的周界的一部分与该图像的其他部分之间 的过渡相关联的给定图像中的一组像素。
[0045] 在边缘图像E1或E2中的给定的一个中，可用特定二进制像素值来指示边缘像素。 因此，作为边缘的一部分的边缘图像像素在边缘图像中具有"1"的二进制值，而不是边缘的 一部分的另一边缘图像像素在边缘图像中具有"〇"的二进制值。术语"白"和"黑"在本文 中还可用来表示边缘图像的各边缘和非边缘像素。
[0046] 在步骤204-1和204-2中应用的边缘检测技术可涉及到诸如尺寸过小边缘的拒 绝之类的技术以及各种类型的边缘分段。例如，可使用边缘分段来识别多个不同的边缘段 ESn，η = 1. . . N，其中，给定边缘段的每个像素对应于边缘图像E1或E2中的一个的特定像 素，并且所有边缘被假设为一个像素厚。每个此类边缘段具有起始像素 sn和结尾像素 en， 并且可包括已填充或未填充拐角位置或其组合。在步骤204-1和204-2中可生成许多其他 类型的边缘段。例如，其他实施例中的边缘段可在厚度方面超过一个像素。
[0047] 在步骤206中，使用来自第一和第二边缘图像E1和E2的边缘来应用联合边缘加 权操作。本实施例中的联合边缘加权操作一般地涉及到确定第一边缘图像E1中的边缘与 第二边缘图像E2中的边缘之间的接近度的度量。
[0048] 例如，本实施例中的联合边缘加权操作可更特别地包括限定像素近邻，并且针对 第一和第二边缘图像E1和E2中的一个中的多个边缘像素中的每一个确定在该边缘像素的 限定近邻内的第一和第二边缘像素 E1和E2中的另一个的边缘像素的计数。用于第一和第 二边缘图像中的一个中的所述多个边缘图像中的当前的一个的限定近邻可包括在当前边 缘像素的指定径向距离内的所有像素，如下面将更详细地描述的。可出于联合边缘加权的 目的使用其他类型的距离度量来限定给定近邻。
[0049] 通常，从输入灰度图像导出的第二边缘图像E2将比从输入深度图导出的第一边 缘图像E1具有更加可靠且很好地限定的边缘。相应地，在本实施例中，边缘像素的计数的 上述确定可包括针对第二边缘图像E2的每个边缘像素确定在第二边缘图像E2的边缘像素 的限定近邻内的第一边缘图像E1的边缘像素的计数。然而，在其他实施例中，可使本示例 性联合边缘加权操作中的第一和第二边缘图像E1和E2的作用相反。
[0050] 在本实施例中，使用曼哈顿距离度量来限定近邻，在图3中示出了其示例。在这 里，针对近邻半径r的不同值示出了给定像素周围的示例性近邻，其中，r表示从给定像素 到近邻的周界的最大曼哈顿距离。在图中，针对近邻半径r的三个不同值示出了近邻，包括 其中近邻仅由给定像素组成的r = 0的值、其中近邻由围绕给定像素的8个像素组成的r =1的值以及其中近邻由给定像素周围的24个像素组成的r = 2的值。本示例中的近邻 的尺寸随近邻半径r呈指数增加。近邻半径r的其他值能够用来在联合边缘加权操作的环 境下限定近邻。并且，如上文所指示的，能够使用其他距离度量，包括欧几里德距离、棋盘距 离等。
[0051] 第一边缘图像E1中的边缘像素是对于其而言Eji，j) = 1的像素，E1的所有其他 像素等于0。同样地，第二边缘图像E2中的边缘像素是对于其而言E2(i，j) =1的像素，E2 的所有其他像素等于〇。
[0052] 在第一示例中，步骤210中的联合边缘加权操作涉及到对E2中的每个边缘像素执 行以下伪代码：
[0053] ￡or (vote{ir j) = 0# r ? 0； r <= r r = r + 2) { consider iricinity of radius r around (which due to image alignment corresponds to ￡3,(1,3)); if E2(iii) is closer to image border than r, vicinity size can be smaller than N - number of all = 1 that fall within this vicinity； vote (i,j)=vote{i,j} + N * gamma1; where g細ma>l is a predefined constant (for example gaimna = 2 can be very efficien.tlyinipleTnent.ed with operand arithmetical shifting in fixed-point number representation}； )
[0054] 在第二示例中，步骤210中的联合边缘加权操作涉及到执行以下伪代码：
[0055] for (? - 1, i ^ fx； i = i +1} for* (j = 1, j ^ ^ * j = j +1) dt (i, j ) ?"&_-挪則￡_(^川吨 8加ce-traasiM_2<ifj" ； for (i = 1, i ^ fx; i = i +1) for {j = lr j ^ fy； j = j +1) { . consider vicinity of mdius r around E2(ifj); if E2{i,j) is closer to image border than^, vicinity size can be smaller than <l+2*r); vote(i/j)of all over vicinity }
[0056] 上述第二示例涉及到利用距离变换来针对E2中的每个像素确定到El中的最近边 缘像素的距离且反之亦然。
[0057] 在第三示例中，步骤210中的联合边缘加权操作涉及到执行以下伪代码：
[0058] for (i = 1, i ^ fκ； ? = t +1} for (j = 1, j ^ fy； j = j +1) dt (i,j)= distance-transform《Ei (i, j stance-transform (? <i, j ; for (i = lf ? ^ fXl* i se i +1) for {j = 1, j < fy； j = j +1) { consider vicinity of radius r around E2(i,j); if E2 (i? j) is closer to image border than rf vicinity size can be smaller than (1+2*ιτ>2,· vote (i r j ) =nuttiber of pixels within the vicinity such that dt (i# j ) <thresholda }
[0059] 值thresholdd是作为联合边缘加权操作的参数而设定的整数常数。
[0060] 以上伪代码中的值V〇te(i，j)是在本文中更一般地称为落在另一边缘图像的特 定像素的近邻内的一个边缘图像中的某些类型像素的"计数"的示例。如前所述，在这些示 例中相对于第二边缘图像E2中的像素来限定近邻，但是在其他实施例中，可使E2和E1的 作用相反，使得相对于第一边缘图像E1中的像素限定近邻。
[0061] 在步骤210中，基于在步骤206中执行的边缘加权操作的结果来生成边缘掩蔽。该 边缘掩蔽是至少部分地使用在各像素近邻范围内确定的上述计数而生成的，并被应用于获 得第三边缘图像E3。例如，可在步骤210中根据以下等式通过边缘掩蔽的逐个像素施加到 第二边缘图像E2来获得第三边缘图像：
[0062] E3(i, j) = (E2(i, j)and mask(i, j)),
[0063] 其中，E3(i，j)表示第三边缘图像的像素，E2(i，j)表示第二边缘图像的像素 ，and 表示逻辑与运算算子，并且mask(i，j)表示边缘掩蔽的像素。
[0064] 在本示例中，mask (i, j)是基于表示为vote (i, j)的相应计数是否大于指定阈值 而确定的二进制值，其中，根据前述联合边缘加权示例中的给定的一个，计数vote (i, j)表 示在第二边缘图像的像素 E2(i，j)的限定近邻内的第一边缘图像El的边缘像素的计数。
[0065] 这些计数指示E2中的边缘到E1中的边缘的接近度。在E1中不具有足够接近的 配对物的E2中的边缘被视为不可能与实际对象边界相关联的不可靠边缘，并且因此通过 边缘掩蔽的施加被消除。可如下更特别地表征边缘掩蔽过程：
[0066] E3 (i, j) = (E2 (i, j) andvrai (vote (i, j) > threshold^),
[0067] 其中，thresholdv是正常数，并且vrai是提供二进制输出值vrai (true) = 1和 vrai (false) =0的真值函数。阈值的较小值thresholdv将趋向于保留可能在El中不具 有紧密相邻边缘的来自E2的更多边缘，而阈值的较高值将导致使用E1中的边缘进行的E2 中的边缘的更严格验证。在其他实施例中可使用基于来自步骤206中的联合边缘加权操作 的计数的其他类型的边缘掩蔽。
[0068] 边缘掩蔽步骤210的输出第三边缘图像E3表示一组增强边缘，如在图中所指示 的。这些边缘中的每一个可具有能够在由图像处理器102执行的后续处理操作中使用的关 联置信度估计。此类置信度估计的生成被视为一种"边缘验证"，如在本文中广泛使用的。 并且，包括在基本上仅具有指定可靠性水平的那些边缘的给定边缘图像中是边缘验证的另 一示例，如在本文中使用的。
[0069] 在步骤212中，使用深度图滤波来执行边缘合并操作。深度图滤波在图中被示为 被说明性地应用于第三边缘图像E3以便生成已修改第三边缘图像E3'。可使用步骤212中 的涉及到深度图滤波的此操作来确保结果得到的已修改第三边缘图像E3'包括来自在E2 中不具有配对物的来自E1的强边缘，其可能在其中输入灰度图像包括位于与成像器的不 同距离处的相等灰度亮度对象的情况下发生。作为一个示例，可如下对第三边缘图像E3应 用边缘合并操作：
[0070] E3' (i, j) = (E3 (i, j) or (vrai (vote (i, j) < threshold^ and edge_ importance (D (i, j)) > thresholdj))),
[0071] 其中，D(i，j)表示已对准和预处理输入深度图的像素，or表示逻辑或算子， threshold。是确保将不会发生双边缘的相对小的阈值，并且thresholdi是确保在E3'中将 包括来自E1的强边缘的相对大的阈值。
[0072] 能够以多种不同方式来定义将上述函数edge_importance。例如，可将此函数说明 性地定义为用2D高斯低通滤波器LPF( ·)平滑化的梯度量值。
[0073]
【权利要求】
1. 一种方法，包括： 对第一图像和第二图像分别执行第一边缘检测操作和第二边缘检测操作以获得相应 的第一边缘图像和第二边缘图像； 使用来自第一边缘图像和第二边缘图像的边缘来应用联合边缘加权操作； 基于边缘加权操作的结果生成边缘掩蔽； 利用边缘掩蔽来获得第三边缘图像；以及 基于第三边缘图像来生成第三图像； 其中，所述执行第一边缘检测操作和第二边缘检测操作、应用联合边缘加权操作、生成 边缘掩蔽、利用边缘掩蔽和生成第三图像在包括被耦合到存储器的处理器的至少一个处理 设备中实施。
2. 如权利要求1的方法，其中，第一图像包括由深度成像器生成的第一深度图像。
3. 如权利要求2的方法，其中，所述第二图像包括与第一图像基本上相同场景的二维 图像。
4. 如权利要求3的方法，其中，所述第三图像包括相对于第一深度图像具有增强边缘 质量的增强深度图像。
5. 如权利要求1的方法，其中，所述第三边缘图像包括： 一个或多个边缘，其中每个边缘在第一边缘图像和第二边缘图像二者中足够紧密接近 地出现，但是仅从那些边缘图像中的一个特定边缘图像中获取；以及 一个或多个边缘，其中每个边缘在第一边缘图像中出现而未在第二边缘图像中出现； 其中，所述第三边缘图像不包括其中每个边缘在第二边缘图像中出现而未在第一边缘 图像中出现的一个或多个边缘。
6. 如权利要求1的方法，其中，所述联合边缘加权操作确定第一边缘图像中的边缘与 第二边缘图像中的边缘之间的紧密度的度量。
7. 如权利要求1的方法，其中，所述联合边缘加权操作包括： 限定像素近邻；以及 针对第一边缘图像和第二边缘图像之一中的多个边缘像素中的每一个边缘像素，确定 在该边缘像素的限定近邻内的第一边缘图像和第二边缘图像中的另一个中的边缘像素的 计数； 其中，所述边缘掩蔽至少部分地基于针对所述多个边缘像素中的相应的一些边缘像素 确定的边缘像素的计数而生成。
8. 如权利要求7的方法，其中，用于第一边缘图像和第二边缘图像之一中的所述多个 边缘像素中的当前一个边缘像素的限定近邻包括在当前边缘像素的指定径向距离内的所 有像素。
9. 如权利要求7的方法，其中，确定边缘像素的计数包括针对第二边缘图像的多个边 缘像素中的每一个边缘像素，确定在第二边缘图像的边缘像素的限定近邻内的第一边缘图 像的边缘像素的计数。
10. 如权利要求1的方法，其中，利用边缘掩蔽来获得第三边缘图像包括根据以下等式 对第二边缘图像逐个像素地应用边缘掩蔽： E3(i，j) = (E2(i，j) and mask (i，j))， 其中，E3(i，j)表示第三边缘图像的像素，E2(i，j)表示第二边缘图像的像素，and表示 逻辑算子，并且mask(i，j)表示边缘掩蔽的像素。
11. 如权利要求10的方法，其中，mask(i, j)是基于表示为vote(i, j)的计数是否大于 指定阈值而确定的二进制值，其中，计数vote (i，j)表示在第二边缘图像的像素 E2(i，j)的 限定近邻内的第一边缘图像的边缘像素的计数。
12. 如权利要求1的方法，还包括对第三边缘图像执行边缘合并操作。
13. 如权利要求1的方法，其中，生成第三图像还包括对以第三边缘图像中的边缘为边 界的第一图像的各部分执行边缘去水印操作。
14. 一种具有体现在其中的计算机程序代码的计算机可读存储介质，其中，该计算机程 序代码当在处理设备中执行时促使处理设备执行如权利要求1的方法。
15. -种装置，包括： 至少一个处理设备，包括被耦合到存储器的处理器； 其中，所述至少一个处理设备被配置成对第一图像和第二图像分别执行第一边缘检测 操作和第二边缘检测操作以获得相应的第一边缘图像和第二边缘图像，使用来自第一边缘 图像和第二边缘图像的边缘来应用联合边缘加权操作，基于边缘加权操作的结果来生成边 缘掩蔽，利用该边缘掩蔽来获得第三边缘图像，并基于第三边缘图像来生成第三图像。
16. 如权利要求15的装置，其中，所述处理设备包括图像处理器，该图像处理器包括： 边缘检测模块，被配置成执行第一边缘检测操作和第二边缘检测操作； 联合边缘加权模块，被配置成执行联合边缘加权操作；以及 边缘掩蔽模块，被配置成基于边缘加权操作的结果来生成边缘掩蔽； 其中，使用包括图像处理器的至少一个图形处理器的图像处理电路来实现所述模块。
17. 如权利要求15的装置，其中，所述图像处理器还包括被配置成结合第三图像的生 成而对第三边缘图像的边缘执行边缘去水印操作的边缘去水印模块。
18. -种包括如权利要求15的装置的集成电路。
19. 一种图像处理系统，包括： 提供第一图像和第二图像的一个或多个图像源； 一个或多个图像目的地；以及 耦合在所述一个或多个图像源和所述一个或多个图像目的地之间的图像处理器； 其中，所述图像处理器被配置为对第一图像和第二图像分别执行第一边缘检测操作 和第二边缘检测操作以获得相应的第一边缘图像和第二边缘图像，使用来自第一边缘图像 和第二边缘图像的边缘来应用联合边缘加权操作，基于边缘加权操作的结果来生成边缘掩 蔽，利用该边缘掩蔽来获得第三边缘图像，并基于第三边缘图像来生成第三图像。
20. 如权利要求19的系统，其中，所述一个或多个图像源中的至少一个包括深度成像 器。
【文档编号】G06K9/40GK104272323SQ201380003939
【公开日】2015年1月7日 申请日期:2013年8月28日 优先权日:2013年2月14日
【发明者】D·V·帕芬诺韦, D·V·帕克荷门科, I·L·马祖仁克, D·V·扎塞夫, D·N·巴宾 申请人:Lsi公司