定位卡片区域的方法和设备的制作方法
【专利摘要】本申请涉及一种定位卡片区域的方法和设备，其中，该方法可以包括：在针对卡片拍摄的图像帧的预定义区域中确定与卡片边缘相关的目标直线段；将所述目标直线段组合成四边形并从中确定候选四边形；在所述候选四边形内的特定区域中确定与数字序列相关的候选直线段；以及基于与候选直线段相关的数字序列的特性，将与所述数字序列的特性相符的目标四边形定位为卡片区域。根据本申请的技术方案，通过利用卡片的数字序列的特性，从而验证复杂背景下得到的多个候选四边形的有效性并最终确定卡片区域，进而实现了在复杂的环境背景下对卡片区域的快速且精确的定位。
【专利说明】定位卡片区域的方法和设备
【技术领域】
[0001] 本申请涉及图像处理领域，更具体地涉及一种定位卡片区域的方法和设备。
【背景技术】
[0002] 随着互联网的发展，在线支付、手机支付等快捷支付已经越来越普遍。在此期间， 需要银行卡用户直接输入卡信息的情况越来越多。使用图像捕捉设备获取银行卡卡面信 息，辅助信息快速录入也已成为潮流趋势。
[0003] 目前市面上的大部分此类应用程序都难以提供令人满意的用户体验，其中很关键 的一点就是用户使用手机拍摄卡片时，卡片定位算法无法适应多变的复杂背景，难以快速 精确的进行卡片定位。大部分程序往往需要用户将卡片放置的相对简单的背景下，并且需 要手动触发拍照后再做检测和识别。从交互体验上来说，这样的使用方式极其不自然的，会 导致用户容忍度快速下降。
[0004] 因此，需求一种在集快速、准确和便捷于一身的银行卡信息输入方式中快速准确 定位卡片区域的方法。
【发明内容】
[0005] 因此，本申请的目的在于提供一种在针对卡片拍摄的图像帧中定位卡片区域的技 术，以克服上述缺陷。
[0006] 根据本申请一个方面的实施例，提供一种定位卡片区域的方法，包括：在针对卡片 拍摄的图像帧的预定义区域中确定与卡片边缘相关的目标直线段；将所述目标直线段组合 成四边形并从中确定候选四边形；在所述候选四边形内的特定区域中确定与数字序列相关 的候选直线段；以及基于与候选直线段相关的数字序列的特性，将与所述数字序列的特性 相符的目标四边形定位为卡片区域。
[0007] 根据本申请的实施例，在该方法中，所述预定义区域是基于图像帧上的引导框的 四周的预定范围。
[0008] 根据本申请的实施例，在该方法中，在所述图像帧的预定义区域中确定与卡片边 缘相关的目标直线段进一步包括：查找图像帧中的预定义区域中的直线段；以及将与引导 框的四条边界所形成的夹角小于第一夹角阈值的直线段确定为目标直线段。
[0009] 根据本申请的实施例，在该方法中，查找图像帧中的预定义区域中的直线段进一 步包括：使用最小二乘法对预定义区域中的边缘进行直线拟合以查找到直线段。
[0010] 根据本申请的实施例，在该方法中，分别在候选四边形内的特定区域中确定与数 字序列相关的候选直线段进一步包括：在所述四边形的特定区域内进行边缘检测以获取包 含边缘信息的二值图像；针对所述二值图像执行Hough变换以获得与数字特征序列相关的 直线段；以及从直线段中确定与数字特征序列相关的候选直线段。
[0011] 根据本申请的实施例，该方法进一步包括：基于目标四边形,获取与该目标四边形 图像相映射的矩形图像。
[0012] 根据本申请的实施例，在该方法中，基于目标四边形,获取与该目标四边形图像相 映射的矩形图像包括：基于目标四边形，获取所述目标四边形到矩形的单映矩阵；以及基 于所述单映矩阵，获取与该目标四边形图像相映射的矩形图像。
[0013] 根据本申请另一方面的实施例，提供一种定位卡片区域的设备，包括：第一线段 确定模块，用于在针对卡片拍摄的图像帧的预定义区域中确定与卡片边缘相关的目标直线 段；形状确定模块，用于将所述目标直线段组合成四边形并从中确定候选四边形；第二线 段确定模块，用于在所述候选四边形内的特定区域中确定与数字序列相关的候选直线段； 以及卡片定位模块，用于基于与候选直线段相关的数字序列的特性，将与所述数字序列的 特性相符的目标四边形定位为卡片区域。
[0014] 与现有技术相比，根据本申请的技术方案，通过利用卡片的数字序列的特性，从而 验证复杂背景下得到的多个候选四边形的有效性并最终确定卡片区域，进而实现了在复杂 的环境背景下对卡片区域的快速且精确的定位。
【专利附图】
【附图说明】
[0015] 此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申 请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
[0016] 图1示出了根据本申请实施例的定位卡片区域方法的流程图；
[0017] 图2示出了根据本申请实施例的在所述图像帧的预定义区域中查找目标直线段 的步骤流程图；
[0018] 图3示意性地示出了根据本申请实施例的确定目标四边形的示意图；
[0019] 图4示意性地示出了根据本申请实施例的将卡片图像由目标四边形归一化为矩 形的示意图；以及
[0020] 图5示出了根据本申请实施例的卡片区域定位设备的框图。
【具体实施方式】
[0021] 为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及 相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一 部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做 出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0022] 参考图1，图1示出了根据本申请实施例的定位卡片区域方法的流程图。
[0023] 在步骤S110处，在针对卡片拍摄的图像帧的预定义区域中确定目标直线段。
[0024] 在本申请的一个应用场景中，例如，当用户通过诸如便携式电脑、掌上电脑、手机 之类的便携式终端进行在线支付而需要输入诸如卡号、有效期等的银行卡信息时，可以通 过便携式终端的图像获取装置例如摄像头来识别和输入卡信息。那么首先就需要定位卡片 区域。因此，首先要在针对所述卡片拍摄的图像帧的预定义区域中确定目标直线段。
[0025]确定目标直线段的过程如图2所示。例如，在步骤201处，可以查找针对卡片拍摄 的图像帧中的预定义区域中的直线段，然后在步骤2〇2处将与预定义区域的四条边界所形 成夹角小于第一夹角阈值的直线段确定为目标直线段。其中，预定义区域是基于图像帧上 的引导框的四周的预定范围。其中，该引导框是虚拟的且覆盖于所拍摄的图像帧上的。其 中，可以使用最小二乘法对预定义区域中的边缘进行直线拟合以查找到直线段。
[0026] 具体而言，以银行卡为例，例如需要拍摄该银行卡并对图像帧中的该银行卡的位 置进行定位，那么在拍摄视窗中使用引导框(引导框可以是与卡片形状相适应的的，例如可 以是矩形)作为引导，在对银行卡拍摄时会试图将卡片与显示视窗上的引导框进行对齐。更 具体地，显示视窗将显示摄像头所拍摄到的场景，引导框将会以〇SD (On Screen Display 随屏显示技术)方式叠加在所显示的实时视频上，从而形成一个引导框。用户移动摄像头或 者卡片，尝试将所拍摄到的卡片图像与引导框进行对齐，在此过程中连续采集视频帧并且 可以在视频帧中选取任意图像帧并对其预定义区域进行边缘检测，并使用最小二乘法对边 缘检测结果进行直线拟合，并且将与引导区域的四条边界所形成的夹角小于第一夹角阈值 的直线段确定为目标直线段。所述第一夹角阈值例如可以选择为20度。
[0027] 在查找到目标直线段之后，该方法继续到步骤1〇2。在步骤102处，将所述目标直 线段组合成四边形并从中确定候选四边形。
[0028] 具体而言，根据在步骤101处查找到的目标直线段，组合成可能的所有四边形。接 着，可以对所有四边形再进行筛选。例如，如果一个四边形的邻边夹角小于第二角度阈值， 则将其滤除。所述第二夹角阈值范围例如可以选择为70度到110度内的任意度数。最终 筛选出符合要求的一个或多个候选四边形。记录所述一个或多个候选四边形的四个顶点位 置以备后续使用。
[0029] 在步骤103处，在候选四边形内的特定区域中确定与数字序列相关的候选直线 段。
[0030] 具体而言，首先，可以在候选四边形的特定区域内进行边缘检测以获取包含边缘 信息的二值图像，然后针对所述二值图像执行Hough变换以获得与数字序列相关的直线 段。其中，所述特定区域可以是与候选四边形中的数字序列相关联的区域。例如，以银行卡 为例，所述特定区域为银行卡卡号所处的区域。
[0031] 基于所获得的直线段，滤除长度过短以及与候选四边形上下边夹角过大的线段从 而从上述直线段中确定与数字序列相关的候选直线段。例如，长度超过引导框长边的1/2 长度的直线段将被删除。例如，如果直线段与候选四边形所形成的夹角大于1〇度，则该直 线段也将被删除。通过上述方式，检测到的剩余的直线段作为与数字序列相关的候选直线 段。其中，该候选直线段是数字序列的上边缘和下边缘所形成的两条线段。
[0032] 以上各个段落中关于直线段的长度以及夹角的选择仅为本申请的可选示例，本申 请不限于此，而是还可以按照需要进行其他适当的选择。
[0033] 在步骤104处，基于与候选直线段相关的数字序列的特性，将与所述数字序列的 特性相符的目标四边形定位为卡片区域。
[0034] 具体而言，在步骤103处获得了与数字序列相关的候选直线段，例如，与银行卡的 卡号序列相关的候选直线段。然后如图3所示，基于候选直线段并根据数字序列的特性，将 与所述数字序列的特性相符的目标四边形定位为卡片区域。图3示意性地示出了根据本申 请实施例的定位目标四边形的示意图。
[0035] 基于与候选直线段相关的数字序列，利用数字序列的特性验证四边形的有效性， 滤除不符合该特性的所有四边形,将与所述数字序列的特性相符的目标四边形定位为卡片 区域。具体而言，与候选直线段相关的数字序列的特性也即是该透视投影特性。透视投影特 性是指数字区域的上边缘和下边缘所构成线段的消隐点与卡片卡面位置所形成的四边形 的上下两条边的消隐点重合(在平行的情况下，消隐点出现在无穷远)，并且数字区域上下 边缘形成的夹角应小于等于四边形上下两条边的夹角。也即是说，候选直线段与目标四边 形之间符合透视投影特性，从而利用与候选直线段相关的透视投影特性来确定与之相符的 目标四边形。因此，基于上述原则，滤除不符合透视投影特性的多余线段所形成的四边形， 获得目标四边形。
[0036] 这里需要指出的是，上面的实施例都是以银行卡为例，但实际上，本申请中的方案 并不限于银行卡，而是可以应用于符合标准的各种标准卡片，例如身份证、会员卡等等。
[0037] 根据本申请实施例的方法，进一步可以包括基于目标四边形，获取与该四边形图 像相映射的矩形图像。基于目标四边形，获取目标四边形到矩形的单映矩阵，然后基于所述 单映矩阵，获取与该目标四边形图像相映射的矩形图像。
[0038] 图4示意性地示出了根据本申请实施例的将卡片图像由目标四边形归一化为矩 形的步骤示意图。由于已知目标卡片为矩形，因此求解上一步检测到的目标四边形到矩形 的单映矩阵，通过该单映矩阵，将目标四边形图像映射成为一个矩形图像，该矩形图像就是 矫正后的卡片图像。映射公式如下：
[0039]
【权利要求】
1. 一种定位卡片区域的方法，其特征在于，包括： 在针对卡片拍摄的图像帧的预定义区域中确定与卡片边缘相关的目标直线段； 将所述目标直线段组合成四边形并从中确定候选四边形； 在所述候选四边形内的特定区域中确定与数字序列相关的候选直线段；以及 基于与候选直线段相关的数字序列的特性，将与所述数字序列的特性相符的目标四边 形定位为卡片区域。
2. 根据权利要求1所述的方法，其特征在于，所述预定义区域是基于图像帧上的引导 框的四周的预定范围。
3. 根据权利要求2所述的方法，其特征在于，在所述图像帧的预定义区域中确定与卡 片边缘相关的目标直线段进一步包括： 查找图像帧中的预定义区域中的直线段；以及 将与引导框的四条边界所形成的夹角小于第一夹角阈值的直线段确定为目标直线段。
4. 根据权利要求3所述的方法，其特征在于，查找图像帧中的预定义区域中的直线段 进一步包括：使用最小二乘法对预定义区域中的边缘进行直线拟合以查找到直线段。
5. 根据权利要求1所述的方法，其特征在于，分别在候选四边形内的特定区域中确定 与数字序列相关的候选直线段进一步包括： 在所述四边形的特定区域内进行边缘检测以获取包含边缘信息的二值图像； 针对所述二值图像执行Hough变换以获得与数字特征序列相关的直线段；以及 从直线段中确定与数字特征序列相关的候选直线段。 _
6. 根据权利要求1-5任一项所述的方法，进一步包括：基于目标四边形，获取与该目标 四边形图像相映射的矩形图像。
7. 根据权利要求6所述的方法，基于目标四边形，获取与该目标四边形图像相映射的 矩形图像包括： 基于目标四边形，获取所述目标四边形到矩形的单映矩阵；以及 基于所述单映矩阵，获取与该目标四边形图像相映射的矩形图像。
8. -种定位卡片区域的设备，其特征在于，包括： 第一线段确定模块，用于在针对卡片拍摄的图像帧的预定义区域中确定与卡片边缘相 关的目标直线段； 形状确定模块，用于将所述目标直线段组合成四边形并从中确定候选四边形； 第二线段确定模块，用于在所述候选四边形内的特定区域中确定与数字序列相关的候 选直线段；以及 卡片定位模块，用于基于与候选直线段相关的数字序列的特性，将与所述数字序列的 特性相符的目标四边形定位为卡片区域。
9. 根据权利要求8所述的设备，其特征在于，所述预定义区域是基于图像巾贞上的引导 框的四周的预定范围。
10. 根据权利要求9所述的设备，其特征在于，所述第一线段确定模块进一步包括： 查找子模块，用于查找图像帧中的预定义区域中的直线段；以及 第一线段确定子模块，用于将与引导框的四条边界所形成的夹角小于第一夹角阈值的 直线段确定为目标直线段。
11. 根据权利要求10所述的设备，其特征在于，查找子模块使用最小二乘法对预定义 区域中的边缘进行直线拟合以查找到直线段。
12. 根据权利要求8所述的设备，其特征在于，所述第二线段确定模块进一步包括： 检测子模块，用于在所述四边形的特定区域内进行边缘检测以获取包含边缘信息的二 值图像； 变换子模块，用于针对所述二值图像执行Hough变换以获得与数字特征序列相关的直 线段；以及 第二线段确定子模块，用于从所述直线段中确定与数字特征序列相关的候选直线段。
13. 根据权利要求8-12任一项所述的设备，其特征在于，进一步包括：获取模块，用于 基于目标四边形，获取与该目标四边形图像相映射的矩形图像。
14. 根据权利要求13所述的设备，获取模块包括： 第一获取子模块，用于基于目标四边形，获取所述目标四边形到矩形的单映矩阵；以及 第二获取子模块，用于基于所述单映矩阵，获取与该目标四边形图像相映射的矩形图 像。
【文档编号】G06T7/60GK104217444SQ201310216574
【公开日】2014年12月17日 申请日期:2013年6月3日 优先权日:2013年6月3日
【发明者】陈果, 李扬 申请人:支付宝（中国）网络技术有限公司