专利名称：拍摄多幅文本图像并拼接的方法
技术领域：
本发明属于图像处理技术领域，涉及一种图像拼接方法，尤其涉及一种拍摄多幅 文本图像并拼接的方法。
背景技术：
随着技术的发展，现在的智能手机一般都集成了带有自动对焦的数码相机功能， 人们经常用手机上的相机来扫描或者拍摄文本图像。对于“名片”这种小型的文本，用手机 自带的拥有自动对焦功能的相机扫描出来的文本图像，其文字都是非常清楚的，但是对于 要扫描的对象是较大文档时，比如杂志封面，试卷或者A3大小的文档等等，由于现在手机 上相机的像素是三百万至五百万之间，拍摄出的整个文本图像的细节必然不够，因此图像 中字体会有些模糊。为了得到一个高分辨的文档全图，一种常用的解决方案就是采用传统的图像拼接 技术，及使相机离文档比较近，先拍摄该文档的各个局部区域，得到比较清晰的局部文本图 像后，再将这些局部图像拼接起来，生成一个文本全图。这样通过拼接得到的文本全图，其 分辨率可以达到千万像素以上。但是这种方案存在的一个缺点就是有时候用户拍摄的局部文档图像并没有完整 的覆盖到文档各个区域，导致最后拼接出来的文档全图会出现空洞或者有缺角的现象。如 果发现最后拼接出来的全图不完整，再重拍一下所有的局部图像进行再次拼接，这种方式 非常耗费时间。另一个缺点就是需要每幅局部图像之间要有重叠区域，在图像拼接阶段是基于 这些重叠区域计算匹配的特征对，然后根据匹配上的特征对，计算二幅图像之间的变化矩 阵，再根据变化矩阵将二幅图像变化到同一个平面上来进行拼接。如图像重叠区域过小，或 者重叠区域没有纹理信息。那么各个局部图像之间的拼接将会失败，这也是现在全景拼图 软件常存在的问题。为了让各个局部图像相互之间有重叠区域，那么用户在拍摄的时候就 不能随意乱拍文档了，必须依次拍摄，而且保证各个拍摄的局部图像有重叠。这种有很多限 制要求的拍摄方式对于手机用户来说及其不方便。
发明内容
本发明所要解决的技术问题是提供一种拍摄多幅文本图像并拼接的方法，能够 保证拍摄到所有的局部图像能够覆盖了整个文档区域，使用这些局部图像拼接出来的文档 全图不会出现有空洞或者有缺角的情况，从而一次拼接就能够达到良好的效果。为了克服现有技术的二个缺点，一种有效的解决方案就是在拍摄的时候，提示用 户拍摄指定的区域，保证所有指定区域恰好覆盖了整个文档。另外在拼接全图的过程中，先 获得一个初始的文本全图(直接用手机拍摄该文档得到的全图，该全图分辨率比较低)，然 后将获得的局部图像跟初始文本全图进行特征匹配，然后根据局部图像与初始文本全图的 匹配点对，将局部图像都变化到初始文本图像所在的平面，从而对各局部图像之间的重叠区域没有要求。为此，本发明提出了一种拍摄文本局部图像的方法，该方法能够使局部图像 覆盖整个文档，而且拍摄的过程中也保存了初始的文本图像。为解决上述技术问题，本发明采用如下技术方案一种拍摄多幅文本图像并拼接的方法，所述方法包括如下步骤步骤110，使相机离文本较远，恰好能够拍摄整个文本，得到的整个文本全图作为 模板图像；步骤120，用户将整个文本全图划分为N*M个均勻区域；步骤130，计算 要拍摄的区域，如果上次拍摄的是第k个区域，则此次要拍摄的是 第k+Ι个区域，将该区域的图像作为半透明模板图充满屏幕的填充区域，其中填充区域每 条边跟屏幕边缘的距离为i个像素；步骤140，基于半透明文档模板图的拍摄提示，用户拍摄所在区域文档的局部图 像；步骤150，判断文档的所有局部图像是否拍摄完，如判断结果是已经拍摄完毕，转 向步骤160，如果判断还有要拍摄的局部图像，则转向步骤130 ；步骤160，将所有局部图像拼接为一幅完整全图。作为本发明的一种优选方案，步骤130中，提示用户拍摄下个区域的方法包括以上述划分的区域为基准，把要拍摄的某区域剪切出来作为模板图像，然后在手 机的拍摄屏幕中设置填充区域，填充区域的每条边缘跟显示屏边缘的距离为i个像素点；根据填充区域，将模板图像缩小到恰好能够充满填充区域，模板图像的像素透明 度设置为半透明，使得在拍摄局部图像时，既可预览到要拍摄的局部图像，还可将要拍摄的 局部图像跟模板图像进行对比。作为本发明的一种优选方案，所述步骤140中，拍摄局部图像的方法包括调整相 机的距离，当预览到要拍摄的局部图像跟模板图像几乎吻合时，此时按下拍摄按钮，得到 局部图像。作为本发明的一种优选方案，所述步骤160中，拼接步骤包括将局部图像与模板 图像进行特征匹配，接着基于匹配上的特征点对，计算局部图像与初始文本图像的透视变 化矩阵，然后局部图像通过透视变化矩阵变化到初始文本图像的所在平面，经过变化处理 后的所有局部图像将处于同一个平面，而后进行拼接。作为本发明的一种优选方案，所述步骤160具体包括步骤161，将一幅还没有进行处理的局部图像与模板图像进行特征匹配，得到特征 匹配点对；局部图像跟模板图像进行特征匹配的方法包括步骤1611，确定感兴趣的特征 关键点；步骤1612，提取关键点周围区域的特征向量描述子；步骤1613，通过特征点的欧式 距离来匹配各个特征向量描述子；步骤1613中，匹配策略采用最近邻比例匹配对于二幅 图像的特征点匹配，要查找与第一幅图像中某个特征点的对应匹配点，则在第二幅图像中 找出与该特征点欧式距离最近的二个特征点，如果最近点的距离dnearet除以第二近点的距 离dse。。nd小于设定阈值，则认为该最近点为匹配点，否则不接收；步骤162，判断特征匹配是否成功；判断标准匹配上的特征点对是否达到设定 值；若低于设定值，无法计算图像之间的变化矩阵，则判断为失败，转到步骤S3重新拍摄对 应图像；若特征匹配对的点数达到或超过设定值，判断为成功，转到步骤163 ；
步骤163，通过匹配的特征，计算对应局部图像与模板图像之间的透视变化矩阵， 然后将局部图像按照变化矩阵，得到该局部图像变换后的图片；其中，根据匹配上的特征点对计算透视变换矩阵的方法包括根据二幅图像的匹 配上的特征点对，计算二幅文本图像所在平面之间的透视变化矩阵；设定srC_p0intS为 模板文本图像中所在平面的匹配点坐标，大小为2xN，其中，N表示点的数目；设定dst_ points为局部图像所在平面的匹配点坐标，大小为2xN ；透视变化矩阵为3X3的矩阵，使
权利要求
一种拍摄多幅文本图像并拼接的方法，其特征在于，所述方法包括如下步骤步骤110，使相机离文本较远，恰好能够拍摄整个文本，得到的整个文本全图作为模板图像；步骤120，用户将整个文本全图划分为N*M个均匀区域；步骤130，计算要拍摄的区域，如果上次拍摄的是第k个区域，则此次要拍摄的是第k+1个区域，将该区域的图像作为半透明模板图充满屏幕的填充区域，其中填充区域每条边跟屏幕边缘的距离为i个像素；并提示用户拍摄；提示用户拍摄下个区域的方法包括以上述划分的区域为基准，把要拍摄的某区域剪切出来作为模板图像，然后在手机的拍摄屏幕中设置填充区域，填充区域的每条边缘跟显示屏边缘的距离为i个像素点；根据填充区域，将模板图像缩小到恰好能够充满填充区域，模板图像的像素透明度设置为半透明，使得在拍摄局部图像时，既可预览到要拍摄的局部图像，还可将要拍摄的局部图像跟模板图像进行对比；步骤140，基于半透明文档模板图的拍摄提示，用户拍摄所在区域文档的局部图像；拍摄局部图像的方法包括调整相机的距离，当预览到要拍摄的局部图像跟模板图像几乎吻合时，此时按下拍摄按钮，得到局部图像；步骤150，判断文档的所有局部图像是否拍摄完，如判断结果是已经拍摄完毕，转向步骤160，如果判断还有要拍摄的局部图像，则转向步骤130；步骤160，将所有局部图像拼接为一幅完整全图；该步骤包括将局部图像与模板图像进行特征匹配，接着基于匹配上的特征点对，计算局部图像与初始文本图像的透视变化矩阵，然后局部图像通过透视变化矩阵变化到初始文本图像的所在平面，经过变化处理后的所有局部图像将处于同一个平面，而后进行拼接；具体包括步骤161，将一幅还没有进行处理的局部图像与模板图像进行特征匹配，得到特征匹配点对；局部图像跟模板图像进行特征匹配的方法包括步骤1611，确定感兴趣的特征关键点；步骤1612，提取关键点周围区域的特征向量描述子；步骤1613，通过特征点的欧式距离来匹配各个特征向量描述子；步骤1613中，匹配策略采用最近邻比例匹配对于二幅图像的特征点匹配，要查找与第一幅图像中某个特征点的对应匹配点，则在第二幅图像中找出与该特征点欧式距离最近的二个特征点，如果最近点的距离dnearst除以第二近点的距离dsec ond小于设定阈值，则认为该最近点为匹配点，否则不接收；步骤162，判断特征匹配是否成功；判断标准匹配上的特征点对是否达到设定值；若低于设定值，无法计算图像之间的变化矩阵，则判断为失败，转到步骤S3重新拍摄对应图像；若特征匹配对的点数达到或超过设定值，判断为成功，转到步骤163；步骤163，通过匹配的特征，计算对应局部图像与模板图像之间的透视变化矩阵，然后将局部图像按照变化矩阵，得到该局部图像变换后的图片；其中，根据匹配上的特征点对计算透视变换矩阵的方法包括根据二幅图像的匹配上的特征点对，计算二幅文本图像所在平面之间的透视变化矩阵；设定src_points为模板文本图像中所在平面的匹配点坐标，大小为2xN，其中，N表示点的数目；设定dst_points为局部图像所在平面的匹配点坐标，大小为2xN；透视变化矩阵为3×3的矩阵，使得其中(xi，yi，1)为dst_points一个点的坐标，(x′i，y′i，1)为src_point一个点的坐标；输出的3x3的透视变化矩阵，使得反投影错误最小，即下式最小 <mrow><munder> <mi>Σ</mi> <mi>i</mi></munder><mrow> <mo>(</mo> <msup><mrow> <mo>(</mo> <msubsup><mi>x</mi><mi>i</mi><mo>′</mo> </msubsup> <mo>-</mo> <mfrac><mrow> <msub><mi>h</mi><mn>11</mn> </msub> <msub><mi>x</mi><mi>i</mi> </msub> <mo>+</mo> <msub><mi>h</mi><mn>12</mn> </msub> <msub><mi>y</mi><mi>i</mi> </msub> <mo>+</mo> <msub><mi>h</mi><mn>13</mn> </msub></mrow><mrow> <msub><mi>h</mi><mn>31</mn> </msub> <msub><mi>x</mi><mi>i</mi> </msub> <mo>+</mo> <msub><mi>h</mi><mn>32</mn> </msub> <msub><mi>y</mi><mi>i</mi> </msub> <mo>+</mo> <msub><mi>h</mi><mn>33</mn> </msub></mrow> </mfrac> <mo>)</mo></mrow><mn>2</mn> </msup> <mo>+</mo> <msup><mrow> <mo>(</mo> <msubsup><mi>y</mi><mi>i</mi><mo>′</mo> </msubsup> <mo>-</mo> <mfrac><mrow> <msub><mi>h</mi><mn>21</mn> </msub> <msub><mi>x</mi><mi>i</mi> </msub> <mo>+</mo> <msub><mi>h</mi><mn>22</mn> </msub> <msub><mi>y</mi><mi>i</mi> </msub> <mo>+</mo> <msub><mi>h</mi><mn>23</mn> </msub></mrow><mrow> <msub><mi>h</mi><mn>31</mn> </msub> <msub><mi>x</mi><mi>i</mi> </msub> <mo>+</mo> <msub><mi>h</mi><mn>32</mn> </msub> <msub><mi>y</mi><mi>i</mi> </msub> <mo>+</mo> <msub><mi>h</mi><mn>33</mn> </msub></mrow> </mfrac> <mo>)</mo></mrow><mn>2</mn> </msup> <mo>)</mo></mrow><mo>;</mo> </mrow>将局部图像通过变换矩阵得到变换后的局部图像的方法包括修改透视变化矩阵第三行(h31，h32，h33)是控制放大缩小的系数，为此将(h31，h32，h33)变化成(h31/scale，h32/scale，h33/scale)，scale为局部图像变化后相对于模板图像的放大系数；通过透视变化矩阵变换后得到的局部图像，分辨率是原模板图像的scale倍；此时按照修改后的透视变化矩阵，将局部图像都变换到同一坐标系下，而后进行下一步的拼接处理；步骤164，判断是否所有局部图像都已处理完；如果答案为是，则转到步骤165，否则转到步骤161，处理下一幅局部图像；步骤165，将所有变化后的文本图像，根据其有效区域将其拼接起来，得到拼接全图；将所有变换后的局部图像进行拼接的方法包括将需要拼接的局部图像变化到同一坐标系之后，进行图像的拼接；步骤166，对拼接得到的全图进行后处理；拼接全图的后处理步骤包括如果所有局部图像拼接出来的全图，出现漏洞或者缺角时，此时可以将模板图像放大scale倍，然后直接用模板图像在该区域的像素填充缺失部分的区域，通过上述后处理，保证得到完整的图像。FDA0000034147550000021.tif,FDA0000034147550000032.tif
2.一种拍摄多幅文本图像并拼接的方法，其特征在于，所述方法包括如下步骤步骤110，使相机离文本较远，恰好能够拍摄整个文本，得到的整个文本全图作为模板 图像；步骤120，用户将整个文本全图划分为N*M个均勻区域；步骤130，计算要拍摄的区域，如果上次拍摄的是第k个区域，则此次要拍摄的是第k+1 个区域，将该区域的图像作为半透明模板图充满屏幕的填充区域，其中填充区域每条边跟 屏幕边缘的距离为i个像素；步骤140，基于半透明文档模板图的拍摄提示，用户拍摄所在区域文档的局部图像； 步骤150，判断文档的所有局部图像是否拍摄完，如判断结果是已经拍摄完毕，转向步 骤160，如果判断还有要拍摄的局部图像，则转向步骤130 ； 步骤160，将所有局部图像拼接为一幅完整全图。
3.根据权利要求2所述的拍摄多幅文本图像并拼接的方法，其特征在于 步骤130中，提示用户拍摄下个区域的方法包括以上述划分的区域为基准，把要拍摄的某区域剪切出来作为模板图像，然后在手机的 拍摄屏幕中设置填充区域，填充区域的每条边缘跟显示屏边缘的距离为i个像素点；根据填充区域，将模板图像缩小到恰好能够充满填充区域，模板图像的像素透明度设 置为半透明，使得在拍摄局部图像时，既可预览到要拍摄的局部图像，还可将要拍摄的局部 图像跟模板图像进行对比。
4.根据权利要求2所述的拍摄多幅文本图像并拼接的方法，其特征在于所述步骤140中，拍摄局部图像的方法包括调整相机的距离，当预览到要拍摄的局部 图像跟模板图像几乎吻合时，此时按下拍摄按钮，得到局部图像。
5.根据权利要求2所述的拍摄多幅文本图像并拼接的方法，其特征在于所述步骤160中，拼接步骤包括将局部图像与模板图像进行特征匹配，接着基于匹配 上的特征点对，计算局部图像与初始文本图像的透视变化矩阵，然后局部图像通过透视变 化矩阵变化到初始文本图像的所在平面，经过变化处理后的所有局部图像将处于同一个平 面，而后进行拼接。
6.根据权利要求5所述的拍摄多幅文本图像并拼接的方法，其特征在于所述步骤160具体包括步骤161，将一幅还没有进行处理的局部图像与模板图像进行特征匹配，得到特征匹配 点对；局部图像跟模板图像进行特征匹配的方法包括步骤1611，确定感兴趣的特征关键 点；步骤1612，提取关键点周围区域的特征向量描述子；步骤1613，通过特征点的欧式距离 来匹配各个特征向量描述子；步骤1613中，匹配策略采用最近邻比例匹配对于二幅图像 的特征点匹配，要查找与第一幅图像中某个特征点的对应匹配点，则在第二幅图像中找出 与该特征点欧式距离最近的二个特征点，如果最近点的距离cL st除以第二近点的距离dse。 。nd小于设定阈值，则认为该最近点为匹配点，否则不接收；步骤162，判断特征匹配是否成功；判断标准匹配上的特征点对是否达到设定值；若 低于设定值，无法计算图像之间的变化矩阵，则判断为失败，转到步骤S3重新拍摄对应图 像；若特征匹配对的点数达到或超过设定值，判断为成功，转到步骤163 ；步骤163，通过匹配的特征，计算对应局部图像与模板图像之间的透视变化矩阵，然后 将局部图像按照变化矩阵，得到该局部图像变换后的图片；其中，根据匹配上的特征点对计算透视变换矩阵的方法包括根据二幅图像的匹配 上的特征点对，计算二幅文本图像所在平面之间的透视变化矩阵；设定srC_p0intS为 模板文本图像中所在平面的匹配点坐标，大小为2xN，其中，N表示点的数目；设定dst_ points为局部图像所在平面的匹配点坐标，大小为2xN ；透视变化矩阵为3 X 3的矩阵，使得 Γ""IP*/'i* ,丄,-'.J·, .·,ι1//;: :::二 // fh 其中(Xi，yi，l)为 dst_p0ints —个点的坐标，(χ' i;y' ”1)为 src_ι J L1J.point 一个点的坐标；输出的3x3的透视变化矩阵，使得反投影错误最小，即下式最小y-. ( , — ^i1'''二 ‘ Ii1-Ll lJjy-I (广 丨丄力三“■」f ,^ ‘ ‘‘S
}“ ？‘ “ ‘‘Γ, ！I //·α ‘.将局部图像通过变换矩阵得到变换后的局部图像的方法包括修改透视变化矩阵
7.一种拍摄多幅文本图像并拼接的方法，其特征在于，拍得的多幅文本图像用于文本 图像的拼接；所述方法包括如下步骤步骤Si，拍摄整个文本，得到的整个文本全图作为模板图像； 步骤S2，将整个文本全图划分为L个区域；步骤S3，计算要拍摄的区域，并逐次拍摄；如果上一次拍摄的是第k个区域，则此次要 拍摄的是第k+Ι个区域，k ( L-I ；将模板图像中的对应区域的图像设置为半透明，并充满屏 幕的填充区域；步骤S4，基于半透明模板图像的拍摄提示，用户拍摄对应区域文本的局部图像； 步骤S5，判断文档的所有局部图像是否拍摄完，如果判断还有要拍摄的局部图像，则转 向步骤S3。
8.一种拍摄多幅文本图像并拼接的方法，其特征在于，拍得的多幅文本图像用于文本 图像的拼接；所述方法包括如下步骤步骤Si，拍摄整个文本，得到的整个文本全图作为模板图像； 步骤S2，将整个文本全图划分为L个区域；步骤S3，计算要拍摄的区域，并逐次拍摄；如果上一次拍摄的是第k个区域，则此次要 拍摄的是第k+Ι个区域，k ( L-I ；将模板图像中的对应区域的图像设置为半透明，并充满屏 幕的填充区域；步骤S4，基于半透明模板图像的拍摄提示，用户拍摄对应区域文本的局部图像； 步骤S5，判断文档的所有局部图像是否拍摄完，如判断结果是已经拍摄完毕，转向步骤 S6，如果判断还有要拍摄的局部图像，则转向步骤S3 ；步骤S6，分别将所有局部图像与模板图像匹配，拼接成新的文本图像。
9.根据权利要求8所述的拍摄多幅文本图像并拼接的方法，其特征在于 步骤S3中，填充区域每条边跟屏幕边缘的距离为设定像素值。
10.根据权利要求8所述的拍摄多幅文本图像并拼接的方法，其特征在于所述步骤S6的拼接方法包括步骤S61，将一幅还没有进行处理的局部图像与模板图像进行特征匹配，得到特征匹配 点对；局部图像跟模板图像进行特征匹配的方法包括步骤S611，确定感兴趣的特征关键 点；步骤S612，提取关键点周围区域的特征向量描述子；步骤S613，通过特征点的欧式距离 来匹配各个特征向量描述子；步骤S613中，匹配策略采用最近邻比例匹配对于二幅图像 的特征点匹配，要查找与第一幅图像中某个特征点的对应匹配点，则在第二幅图像中找出 与该特征点欧式距离最近的二个特征点，如果最近点的距离cL st除以第二近点的距离dse。 。nd小于设定阈值，则认为该最近点为匹配点，否则不接收；步骤S62，判断特征匹配是否成功；判断标准匹配上的特征点对是否达到设定值；若 低于设定值，无法计算图像之间的变化矩阵，则判断为失败，转到步骤S3重新拍摄对应图 像；若特征匹配对的点数达到或超过设定值，判断为成功，转到步骤S63 ；步骤S63，通过匹配的特征，计算对应局部图像与模板图像之间的透视变化矩阵，然后 将局部图像按照变化矩阵，得到该局部图像变换后的图片；其中，根据匹配上的特征点对计算透视变换矩阵的方法包括根据二幅图像的匹配 上的特征点对，计算二幅文本图像所在平面之间的透视变化矩阵；设定srC_p0intS为 模板文本图像中所在平面的匹配点坐标，大小为2xN，其中，N表示点的数目；设定dst_ points为局部图像所在平面的匹配点坐标，大小为2xN ；透视变化矩阵为3 X 3的矩阵，使得S1 Iff -- // O其中(Xi，yi，l)为 dst_p0ints —个点的坐标，(X' i;y' ”1)为 src_ 1J L1J;point 一个点的坐标；输出的3x3的透视变化矩阵，使得反投影错误最小，即下式最小‘ - ' ι ι /"' υ//.· i “ r, ■‘,1 η ！ /‘'二'//.■ s / !-·',X ^ I S __ j ~ I f γ, __ _____ _____ _____ _____ _____ __ j — ji‘ if'ι！ /''-.I'"'/, { h-r.''''' h:n.r. 1 h ！ 1> \ ■.将局部图像通过变换矩阵得到变换后的局部图像的方法包括修改透视变化矩阵 Zt115ZT125ZT13 KAiA^ 第三行(h31，h32，h33)是控制放大缩小的系数，为此将(h31，h32，h33)变化成一Zt3I5ZT32,ZT33_ · ，(h31/scale, h32/scale, h33/scale), scale为局部图像变化后相对于模板图像的放大系数； 通过透视变化矩阵变换后得到的局部图像，分辨率是原模板图像的scale倍；此时按照修 改后的透视变化矩阵，将局部图像都变换到同一坐标系下，而后进行下一步的拼接处理；步骤S64，判断是否所有局部图像都已处理完；如果答案为是，则转到步骤S65，否则 转到步骤S61，处理下一幅局部图像；步骤S65，将所有变化后的文本图像，根据其有效区域将其拼接起来，得到拼接全图； 将所有变换后的局部图像进行拼接的方法包括将需要拼接的局部图像变化到同一坐标系 之后，进行图像的拼接；步骤S66，对拼接得到的全图进行后处理；拼接全图的后处理步骤包括如果所有局部图像拼接出来的全图，出现漏洞或者缺角时，此时可以将模板图像放大scale倍，然后直接 用模板图像在该区域的像素填充缺失部分的区域，通过上述后处理，保证得到完 整的图像。
全文摘要
本发明揭示了一种拍摄多幅文本图像并拼接的方法，所述方法包括如下步骤拍摄整个文本，得到的整个文本全图作为模板图像；将整个文本全图划分为L个区域；计算要拍摄的区域，并逐次拍摄；如果上一次拍摄的是第k个区域，则此次要拍摄的是第k+1个区域；将模板图像中的对应区域的图像设置为半透明，并充满屏幕的填充区域；基于半透明模板图像的拍摄提示，用户拍摄对应区域文本的局部图像；判断文档的所有局部图像是否拍摄完，如果判断还有要拍摄的局部图像，则继续拍摄。本发明能够保证拍摄到所有的局部图像能够覆盖了整个文档区域，使用这些局部图像拼接出来的文档全图不会出现有空洞或者有缺角的情况，从而一次拼接就能够达到良好的效果。
文档编号G06T11/60GK101976449SQ201010558868
公开日2011年2月16日 申请日期2010年11月25日 优先权日2010年11月25日
发明者镇立新, 黄灿, 龙腾 申请人:上海合合信息科技发展有限公司