专利名称：标记定位图象处理装置及从包裹提取路径的装置的制作方法
本申请是于1995年1月20日递交的第95101424.2号专利申请的分案申请。
本发明涉及到计算机化的邮件分拣，且更具体地涉及到用于将包裹的数字化图象上的标记加以识别和定位的图象处理方法和装置。
随着包裹邮件量的不断增长，对于全世界的邮局和一般的运输行业讲，自动包裹分拣变得十分重要。
一般说来，为了进行自动包裹分拣，必需获取包裹的数字图象，并从该图象提取路径信息，例如目的地址。该路径信息可由合适的装置用来将包裹恰当地加以分拣，或产生例如一条条码，印在包裹上，以备分拣过程下一步使用。
然而，标记可能位于包裹的任何地方，也即包裹的数字图象中任何地方。一般说来，光学字符识别(OCR)技术将用来从标记的足够高分辨率图象中提取路径信息。为有效利用该技术和避免处理全部包裹图象，必须将包裹图象上的标记加以定位。一旦做到这点，就只须将对应于标记的图象的那部分加以处理即可。
本发明的目的是提供一种图象处理装置，用于将包裹图象中的地址标记加以定位。
为完成这类标记检测，必须解决两个问题。首先，很难达到所需速度。必须利用目前可利用的技术以实时方式完成图象处理。其次，图象数据并不理想标记可能被干扰所污染，标记可能有些透明，因而被包裹背景所损坏，以及正文可能同时出现在标记上和包裹本身上。此外，标记可能出现在包裹的任何地方。
为解决上述问题，本发明能使将要提供的图象处理装置包括以下装置用数字形式产生和存储包裹图象的装置，该包裹图象包括按行和列排列的象素；分类装置，用于按照象素颜色将每个象素分类，分为或是标记象素、或是背景象素或两者都不是；分段装置，用于按照象素的初始分类和它的相邻象素的分类将每个象素重新分类，分为或是标记或是背景；以及标识装置，用于标识标记域的边界，在该标记域内所有象素都划分为标记象素。
本发明以本发明者的观察为依据差不多所有包裹都有带有黑色正文的白色标记，同时没有一个包裹像标记这样白。因此可利用颜色信息将标记从背景中区分出来。
最初将象素分类为或在标记内，或是背景，或两者都不是。一般情况下，被划分为两者都不是的象素对应于标记上的正文或包裹本体或由干扰引起。因此接着使用分段技术，按照象素的邻接信息来将象素再分类为标记或背景象素。例如，分段技术可以利用正文的已知特性，例如以下事实对应于正文的象素不会在图象的水平或垂直方向有长划线。此外分段装置可利用以下事实标记象素会在出现时具有较长划线，以及背景象素几乎不可能在标记中出现。
在一个实施例中，分类逻辑如此安排，将白色象素划分为标记象素，将黑色象素划分为既非标记象素又非背景象素，而将其他所有象素划分为背景象素。然而也有其他可能性。例如可以设计成采用预定特殊颜色的标记。这种情况下，该装置应能适用于从包裹图象中识别和定位这种特定颜色的标记。此外，并不排除这种可能性，即不只一种颜色的象素全部都划分标记象素。
本发明还提供装置，用于从包裹提取路径信息，以备下一步包裹分拣使用，该装置包括以下装置用于获取包裹图象的摄象机；将包裹运送过摄象机的装置；上面描述过的图象处理装置；使用在其中所有象素都划分为标记象素的区域的地址，以产生包裹标记图象的装置；以及从标记图象提取路径信息的装置。
从另一方面看，本发明所提供的用于定位包裹图象上标记的图象处理方法包括以下步骤(a)用数字形式产生和储存包裹图象，后者包括按行和列排列的象素；(b)按照象素颜色将每个象素划分为或是标记象素、或是背景象素、或两者都不是；(c)按照初始分类和邻近象素的分类，将每个象素再分类，划分为或是标记或是背景象素；以及(d)标识在其中全部象素都划分为标记象素的区域的边界。
还提供了一种包括以上步骤的包裹分拣的方法。
现将参照附图描述本发明的实施例，附图中
图1是一个船运标记翻译系统的总图；图2是用于显示图象处理装置的原理图；图3A、3B和3C用于解释低分辨率包裹图象。
本发明在一个船运标记翻译系统中得到实施，该系统利用图象获取技术、图象处理技术和光学字符识别(OCR)，从包裹标记提取船运信息。
图1解释的该系统包括下列主要部件(a)传送系统100，分别带有低和高分辨率图象获取站160和170。(b)由适当的程序控制其运行的计算机110，该程序提供用户接口、总的系统控制和图象处理功能；(c)OCR子系统120；(d)帮助计算机110实现传送带和图象获取摄象机的功能的可编程逻辑控制机180。
为了发挥传送带的机械性能和图象获取功能，使用了常用部件。基本的OCR构成块，不管是硬件或软件，也都是常用的，当然为了处理标记需要作些修改。计算机110可以是例如IBM RISCSYSTEM/6000计算机系列中的一台(IBM和RISC SYSTEM/6000是国际商用机器公司的注册商标)。
在下面的段落中将结合包裹的处理来解释图1所示数据流和主要部件。
船运标记翻译系统所用传送系统100包括两个单独的传送带模块感应传送带130和过程传送带14。
感应传送带130将包裹装入系统。当包裹沿着皮带向前移动时，它们“偏斜”到传送带的一侧，靠上一条对准边150。这可以保证当包裹通过系统时总是处于相同的位置。要将包裹“偏斜”到传送带一侧，可以在水平面内使用成角度的皮带传送机，或者使用倾斜的皮带传送机，使包裹可依靠重力移动到传送带的一侧，成角度的水平传送带在图1中加以解释。
过程传送带140是一个连续的在运转的皮带传送机，它将包裹传送过两个图象获取站160和170。
可编程逻辑控制器(PLC)180用于控制传送带速度。PLC180接至计算机110并在它的控制下运行。控制系统这样设计以提供手段通过在计算机110上运行的控制程序所提供的选择方案来挑选传送带速度。
将会看到，系统运行的不同模式，例如维护、测试、等等，需要可调整的传送带速度。控制器180还提供一系列的光眼，用于跟踪通过系统的包裹，并对包裹“阻塞”进行检测，图1所示空隙光眼190提供关于包裹间空隙的反馈信息，并用作传送带模块间的交界。
操作者将包裹逐一放在传送带上，并使标记向上，操作者不必去转动包裹将标记放在固定方向。
对包裹间空隙进行控制，可以保证有时间针对不同包裹高度调整高分辨率摄象机的焦距，同时包裹传送速度应和系统的图象处理能力相匹配。
为保证有空隙，在包裹装载点使用了停止/起动传送带部分130。在计算机110的有关软件的控制下，包裹从传送带装到常速传送带140上，计算机110通过可编程逻辑控制器180操纵包裹传感器。
如果需要延迟，空隙机构可用来暂时停止装载包裹，例如用于处理退回的包裹。这个机构也可节省不用，但其代价是减少吞吐量，因操作者要将包裹放得更远些。
包裹经过一个区域，在那里一台装在传送带上方固定高度处的标准电视摄象机200用于获取包裹顶部的彩色图象。
频闪灯光210用于提供照明，以消除由于包裹移动而造成的模糊，摄象机镜头有足够的景深去处理包裹大小的所需范围，因而不需焦距控制。
电视摄象机接至计算机110中已知类型的视频获取板，而图象则以数字形式存储在计算机中的存储装置中。计算机110中有关软件对低分辨率图象的数字形式加以分析，并完成以下功能(a)确定传送带上包裹的尺寸和方位。(b)检测标号。(c)在包裹上确定一块空白区，以备以后使用标记。
有可能使用众多技术来从电视摄象机本身确定包裹高度，例如，可以将单一光眼所测量的沿着传送带路径方向的包裹长度和电视图象中以象素计数的包裹长度相比较如包裹顶平面更接近摄象机，包裹在电视摄象机中就显得长些，另一方案是，可通过离散型传感器来确定包裹高度，例如，用光源横跨传送带照向一个光电池阵列，或将声测传感器架空安装在装有电视摄象机的梁架上，或其他类似方案。
将电视图象内从包裹到传送带的颜色变化检测出来，即可容易地确定包裹边界。顶平面尺寸和方位即可以确定。包裹的高度信息和顶平面尺寸一起用来计算出包裹四周的最小边界区。
包裹路径所需信息包含在包裹标记内，为便于容易地得到该信息，对计算机110进行编程，以便从包裹的低分辨率图象中提取标记的位置。
将标记的颜色差别和包裹背景加以比较，即可将包裹的低分辨率图象中的标记加以定位。本实施例中，位置和方位信息用于确定传送带下方高分辨率图象的获取区域。
本实施例中，系统处理包裹的速度是每秒一个，或每小时3600个。该处理操作包括图象获取、标记检测、转动检测、消除偏斜、以及使用OCR技术或手动地从标记图象中提取路径信息。为保证这些操作能及时完成，图象获取和标记检测所用时间不应超过200ms。
已经利用现有可用技术付出适当代价解决了两个问题，以完成这样的实时标记检测。首先，由于将图象数据从图象获取板传送至主机以供处理的过程需时超过200ms，要达到所需速度非常困难。其次，图象数据并不理想标记的白色可能被干扰所污染，标记可能有些透明以致包裹背景将白色破坏，标记上正文的黑色并不专用于标记。此外，标记可能在包裹任何地方出现。
对低分辨率包裹图象的处理如下进行。
电视摄象机200产生一个640×480象素的图象。图象的每第10根线从视频获取卡传送到计算机存储器，这共需大约50ms。这就产生了足够的二次采样图象，但所费时间却是合理的。
为解决检测问题，找到了一种函数，可用于估计标记中图象内每个象素的似然值。接着采用一维分段算法，分别在图象两个主要轴的每一个轴上获得标记和包裹其余部分的明确分界。
下面对该技术更详细地加以描述。
对二次采样的包裹图象进行处理的原理图示于图2。首先进行分类400，图象中象素划分为三类标记，背景和两者皆非，每个象素首先划分为这三类中的一类，而不管其相邻象素是哪一类。(a)标记类象素这些是白色象素。有如下假定虽然白色可能在包裹任何地方出现，但它们在标记区内集中在长条内(在水平和垂直两个方向)。(b)两者皆非类象素这些是黑象素。有如下假定虽然这类象素能在标记域和背景域两个区域内部出现，但在标记内它们不可能在水平方向、或垂直方向、或两个方向以长条形式出现。(c)背景类象素所有其他象素。假定这类象素极少在标记中出现。分类400包括两个阶段(a)颜色空间变换初始RGB图象变换成YUV图象，其中Y是亮度分量而U、V是色度分量。变换方程如下Y＝0.299*R+0.587*G+0.114*BU＝B-YV＝R-Y(b)颜色分类在YUV空间内灰色值由色度分量(U，V)的低值所标志。在这些颜色中，白色由亮度分量Y的高值所决定，而黑色由低值所决定。
首先检查每个象素的色度分量。如果它们中至少有一个是高值，则象素颜色不是灰色，即被划分为背景。如两个分量都是低值，则进一步检查亮度值。如它是高值，则象素颜色是白色，因此划分为标记。如它是低值，则象素颜色是黑色，因此划分为两者皆非类象素。具有亮度中间值的象素也划分为背景。
接着，先对每一行，接着对每一列应用分段操作过程410。该过程服从于区域量度的约束，将行/列分段为标记、背景或两者皆非区域。作为分段的结果，象素按照上述类别进行再分类，但这次要考虑邻近象素情况。在图3A、3B和3C中，0标志标记(白色象素)、1标志背景象素，以及2标志两者皆非象素。
图3A所示是分段前的象素分类。
图3B显示行分段后的分类，图3C显示列分段后的分类。本实施例中，假定有如下分段约束任何类型的象素条应至少有三个象素那么长。2.分段。本发明最佳实施例中所用分段逻辑描述于下。
该算法将符号A()的阵列加以处理。三种符号用于代表两种有意义的性质(‘1’和‘0’符号)一这种情况下分别是背景象素和白色象素一以及两者都没有(‘*’符号)一这种情况下是黑色象素。
分类过程产生A()，但该过程并非100％正确。分段过程根据以下假定在100％正确的象素分类中符号不会孤立地出现，而且成条出现。
分段逻辑将A()扫描，并按A()所反映的成条类型提出三种假设。这些假设中每一种都有一个分数，当一个假设的分数高于一个由实验确定的阈值时，该假设即被接受并形成输出。具体讲，每个假设有下列变量type(类型)-0，1，或*；score一代表分段结果和A()中数据的符合程度；run-score一代表上一个所分段的成条和A()中相应元件的符合程度；increment一如A()中下一个元件和假设类型符合，则该分数即增量；start一当假设类型的成条假定已经起始时A()中的索引值；prev-len一该类型中上一个成条的长度。设A()为a(0)、a(1)、……a(n-1)。处理过程进行如下1.初始化score(0)＝run_score(0)＝increment(0)＝start(0)＝prev_len(0)＝0；score(1)＝run_score(1)＝increment(1)＝start(1)＝prev_len(1)＝0；score(*)＝run_score(*)＝increment(*)＝start(*)＝prev_len(*)＝0；current_state＝2；2.对所有A()的元件重复3至7步骤对i在(0..n-1)中的情况都如此做。3.建立分数和维持前次长度对(01*)中每一项假设x<pre listing-type="program-listing"><![CDATA[ if(a(i)matches x)(if(increment(x)＝＝0)prev_len(x)＝0；increment(x)＝increment(x)+1；score(x)＝score(x)+increment(x)；run_score(x)＝run_score(x)+increment(x)；}else(if(increment(x)！＝0) prev_len(x)＝increment(x)；increment(x)＝0；}]]></pre>
4.起始点的更新对(01*)中每一项假设xif(a(i)matches x and start(x)＜0) start(x)＝i；5.接受假设<pre listing-type="program-listing"><![CDATA[y＝MaxArg(score(x)，x in(01*)}if(run_score(y)＞threshold(y))(current_state＝y；for j＝start(y)；while j＜＝i；j＝j+1a(j)＝y；break；}]]></pre>6.归一化<pre listing-type="program-listing"><![CDATA[if(current_state！＝* && a(i)！＝*)increment(*)＝increment(1-current_state)；if(run_score(current_state)＞threshold(current_state))run_score(0)＝run_score(1)＝run_score(*)＝0；]]></pre>
7.跟踪分数<pre listing-type="program-listing"><![CDATA[for x in(0 l *)if(increment(x)＝＝0 && score(x)＜score(current_state))(score(x)＝score(current_state)；run_score(x)＝0；start(x)＝-l；}]]></pre>8.循环结束。
上面算法中的词语‘a(i)matches x′包括a(i)＝*的情形，也包括a(i)！＝current-state，和increment(a(i))＜prev-len(x)forx！＝a(i)的情形。
将能了解到，有可能在本实施例中不是每十条线进行一次二次采样而用很多其他方法。也可能按照观察到的标记类象素来改变采样密度在这类象素附近采用高采样密度，而在其他处则用低密度。
标记检测分析的副产品是在包裹顶平面上标识出一些无特点区域，其中的一块可用作附加标记的空白区域。
包裹接着经过一个区域，其中将标记面积的高分辨率(200DPI灰度)图象加以获取，使用的是标准2048单线扫描器220。由于单描器的视野约为10英寸(2048/200DPI)，可以有两个不同方案用于复盖全部包裹宽度。(a)用三个线扫描摄象机，其中每个复盖1/3传送带宽度，其视野相互间稍有重叠，每个都有自己的镜头。使用这种安排，“候选”标记的数目不受扫描器配置的限制。然而这种配置要求软件能对跨越两台扫描器而被分割的标记图象完成“缝补”操作。(b)用多个线扫描摄象机，它们可绕支点转动，俯视包含候选标记的10英寸面积。两台摄象机保证不管标记位置如何，都可获取到任意两个候选标记的图象。位于同一10英寸带内的更多的候选标记也能复盖住。绕支点转动的摄象机引入一些可预料到的图象失真，后者应由软件加以补偿。
在任何一种方案内，都有马达驱动的镜头焦距调整，以补偿不同包裹高度。
用于线摄象机的照明提供横跨传送带的连续光带230。
每个标记的200DPI4位灰度图象从有关的扫描器传送到OCR子系统120，这是根据从低分辨率图象获取的位置信息来进行的。
OCR子系统120以已知的方法将高分辨率标记图象加以处理，以便从标记上所印正文中提取路径信息。
最后，路径信息传送给一个应用程序，后者将在传送系统的下方使用一个机构加贴一个标记。
本发明可以用于计算机化包裹分拣装置的领域，该分拣装置包括用于将包裹的数字化图象上的标记加以标识和定位的图象处理装置。
权利要求
1.用于将包裹图象上标记加以定位的图象处理装置，其特征在于包括以下组合用数字形式产生和存储包裹图象的装置，该包裹图象包括按行和列排列的象素；将每个象素分类的分类装置，该分类装置按照象素颜色将象素划分为标记象素、背景象素或两者都不是；将每个象素再分类的分段装置，该分段装置按照象素的初始分类和其邻近象素的分类而将象素划分为标记或是背景；以及用于将其中所有象素都划分为标记象素的区域的边界加以标识的标识装置。
2.根据权利要求1的图象处理装置，其特征在于分段装置用于在象素的线性阵列中标识象素条，该象素条中所有象素都应有相同分类；用于按照条中象素的分类来确定条中所有象素划分为标记象素还是背景象素；以及用于将条中既不划分为标记象素又不划分为背景象素的象素重新相应地加以分类。
3.根据权利要求2的图象处理装置，其特征在于分段装置用于先是逐行然后逐列将图象进行处理，或者按相反顺序处理。
4.根据权利要求1的图象处理装置，其特征在于分类装置用于将白象素划分为标记象素，黑象素划分为既非标记象素又非背景象素，以及将所有其他象素划分为背景象素。
5.根据权利要求1的图象处理装置，其特征在于包括一个用于获取图象的摄象机。
6.根据权利要求5的图象处理装置，其特征在于包括用于将摄象机产生的图象进行二次采样的装置。
7.供下一步包裹分拣使用的从包裹提取路径信息的装置，其特征在于包括以下组合用于获取包裹图象的摄象机；用于将包裹传送过摄象机的装置；以及图象处理装置；该图象处理装置包括以下装置用于从摄象机接收信号并用数字形式产生和存储包裹图象的装置，该包裹图象包括成行和成列排列的象素；按照象素颜色将每个象素划分为标记象素、背景象素或两者都不是的分类装置；按照象素的初始分类和其邻近象素的分类将每个象素重新划分为标记或背景的分段装置，用于标识在其中所有象素都划分为标记象素的区域的边界的标识装置；利用在其中所有象素都划分为标记象素的区域位置来产生包裹标记图象的装置；以及从标记图象提取络径信息的装置。
全文摘要
这里公开的用于将包裹图象上的标记加以定位的图象处理装置包括:用数字形式产生和存储包裹图象的装置,该包裹图象包括按行和列排列的象素;按照象素颜色将每个象素或分为或是标记象素、或是背景象素或两者都不是的分类逻辑;按照象素的初始分类和其邻近象素的分类将每个象素再分类,将它划分为标记或背景的分段逻辑;以及用于将在其中所有象素都划分为标记象素的区域的边界加以标识的标识逻辑。
文档编号G06K9/32GK1254901SQ9911864
公开日2000年5月31日 申请日期1999年9月10日 优先权日1994年3月7日
发明者阿维亚德·兹罗尼克, 兹瓦·索莫尔 申请人:国际商业机器公司