基于计算机视觉及射频识别技术的书本登记管理装置的制作方法

专利名称：基于计算机视觉及射频识别技术的书本登记管理装置的制作方法
技术领域：
本发明涉及书本登记管理装置，尤其涉及一种使用嵌入式信息技术、计算机视觉 及图像处理技术和射频识别技术(“RFID”)实现的可应用在图书馆自动化管理系统中的书
本登记管理装置。
背景技术：
现时全球图书馆量数以十万计，单以政府、公共及大学所属的图书馆便超过万间， 因此迅捷有效的图书馆服务是现代社会所必需的。纵观世界，许多社会的公共和大学图书 馆从九十年代起已经开始使用射频识别技术来取代或优化在图书馆广泛使用多年的条形 码识别及磁条防盗技术，其最终目的是为了提升管理效率及准确性，提供更方便公众的服 务。现在一般图书登记管理方式及系统有几种，比较普遍的是条形码系统，在使用时， 通过条形码阅读器读取书本上贴上的条形码信息，接连计算机和数据库，再按各图书馆的 情况，由操作人员手动处理其它流程。条形码系统的缺点很多，包括必须逐一扫描，扫描方 向及位置必须特定和无阻挡；条形码的数据容量较小，只有极小字符，而且只能包含数字和 字母，所以无法存储更多和书本相关的信息；条形码的打印质素容易变差，易受外物、尘埃 影响效果；在进行书本登记时，其它信息的输入，仍然需要由操作人员手工完成；在图书借 还流程中，使用者亦受条形码的缺点影响操作，这些都大大降低了图书馆自动化的效率。此 外，条形码一旦损坏便无法读取，给日常图书管理工作带来了很多不便和麻烦。现在逐步 兴起的射频识别技术(“RFID”)图书管理系统，正逐步解决条形码管理系统的缺陷。射频 识别技术的不断提升和广泛应用已达到初具规模的效果，书本自助借出及自助归还的系统 和设备已经被开发出来增加图书馆的书本流通和使用量，进一步改善了提供给使用者的服 务。这些系统和设备可以通过贴在书本内的射频识别标签芯片中存储的唯一识别码和其相 关的数据，准确和快捷地获取该书本的信息，并进行识别。在书本登记时，操作人员会为每 一书本贴上射频识别标签，利用RFID标签可储存大量数据的特点，可存储入更多与书本相 关的信息，包括该书本的独有特征，如长度、阔度、高度、重量及书面图像特征等。但要实现RFID系统需要花费大量金钱、人力及时间，同时要为原有的藏书进行重 新的贴标签及条形码数据转换的工作。此外，在图书借还过程中，现时的RFID图书系统仍 有缺点，例如出现使用者撕下标签，偷换至另一书本的情况，所以原来希望通过RFID图书 管理系统实现自助借还的目的又受到了局限。因此，RFID标签若能够储存更多该书本自身 特征的数据，以进行自我核实，即可填补这些缺点。但现时并没有一个先进的智能书本登记 管理装置可以提供此功能，能快速地采集、分析及获取书本的特征，并实现实时储存于该书 本的射频识别标签中。

发明内容
本发明的目的是解决上述问题，提供了一种先进的智能书本登记管理装置，可采集、分析、获取及储存书本的特征，结合RFID技术的独特优点以通过单一装置、一站式、一 步法的方式完成书本登记流程，在解决既有技术和系统缺点的同时，为未来自动化图书管 理要求建立新基础。本发明的技术方案为本发明揭示了一种基于计算机视觉及射频识别技术的书本 登记管理装置，包括图像采集工作平台、图像采集装置、射频识别标签读写器及天线组、电 子防盗充消磁装置、重量测量装置以及嵌入式中央处理器，其中该图像采集工作平台提供一操作平台，该操作平台使书脊及书口图像与第一书面 的图像组出现在同一光学采集平面上且彼此相连，书脊及书口图像反射到摄像头组的图像 采集范围，该摄像头组进行实时同步拍摄以获得书本在书脊、书口以及第一书面这三个方 向上的图像，其中该图像采集工作平台包括放置书本的平面板，平面板具有供该摄像头组 用作定标的图样、透明挡板组、反射镜面组，该透明挡板组垂直安置在该图像采集工作平台 边角上，形成直角，供书本紧贴透明挡板的直角，确保书脊及书口亦可完全紧贴透明挡板， 该反射镜面组倾斜安装在透明挡板的另一边，与图像采集工作平台构成一角度，以完整反 射整个书脊和书口图像到安装于上方的摄像头组的图像采集范围；图像采集装置，由该摄像头组构成，安装在该图像采集工作平台的上方，用于采集 该图像采集工作平台上的书本的图像；射频识别标签读写器，连接该天线组，用于对射频识别标签进行读写操作；天线组，由多个射频天线元组成，射频天线元内部的调整电路用于调整射频天线 元的敏感性，天线组放置于该图像采集工作平台下；电子防盗充消磁装置，用于消除或者恢复书本防盗磁条的磁性。重量测量装置，设置在该图像采集工作平台的平面板之下，用于测量图像采集工 作平台上的书本的重量；嵌入式中央处理器，控制及运行所有已嵌入安装的固件模块，包括图像采集模块、 储存模块、计算机视觉图像处理模块、图像分析模块、射频识别标签读写模块、射频识别标 签数据存储模块、监视引擎模块、管理服务模块、提示运行模块。根据本发明的基于计算机视觉及射频识别技术的书本登记管理装置的一实施例， 该图像采集模块进一步包括图像手动采集子模块，是多镜头图像采集系统，可按次序或同时的采集方式来采 集书本图像组；光源控制子模块，用于为图像采集提供及控制有效均勻的光源；图像自动采集触发子模块，连接该图像采集子模块，利用图像采集范围内的图像 变化自动触发图像采集模块来实现图像采集功能。根据本发明的基于计算机视觉及射频识别技术的书本登记管理装置的一实施例， 该储存模块连接该图像采集装置和该计算机视觉图像处理模块，包括原始图像存储数据库 单元和书本登记资料存储数据库单元，其中该原始图像存储数据库单元用于储存采集到的 书本的原始图像，该书本登记资料存储数据库单元用于存储分析后获取到的书本特征。根据本发明的基于计算机视觉及射频识别技术的书本登记管理装置的一实施例， 计算机视觉图像处理模块连接该图像采集装置，将采集到的书本图像组制作成二维书本图 像，并对二维书本图像进行图像分析以获取书本特征，该计算机视觉图像处理模块中设有用于制作二维书本图像的计算机图像制作子模块，该计算机图像制作子模块进一步包括测定单元，检测摄像头组定标图样在摄像头中的二维位置；图像矫正单元，矫正一个或多个摄像头采集到的扭曲变形的图像；图像合并单元，连接该图像矫正单元，通过检测多幅图像的异同合并矫正后的图 像；智能选择单元，在书本图像组中根据书本图像和图像采集工作平台的背景自动分 割及消除非书本图像区域，标识书本边线，制成书脊、书口及书面；处理后图像存储数据库单元，连接该智能选择单元，用于存储经过处理的书本图像。根据本发明的基于计算机视觉及射频识别技术的书本登记管理装置的一实施例， 该计算机视觉图像处理模块中设有用于对二维书本图像组进行图像组分析以获取书本特 征的图像分析子模块，该图像分析子模块进一步包括图像尺寸测算单元，用于测量书本的长、宽、高；图像模板撷取单元，利用书本图像的特征点撷取出书本的模板，用作以后判别书 本图像的特征；图书馆条形码辨识单元，辨识图书馆条形码的位置，撷取图书馆条形码的图像；国际标准编号条形码辨识单元，辨识国际标准编号条形码位置，撷取出国际标准 编号条形码图像；索书号条形码辨识单元，辨识索书号条形码位置，撷取出索书号条形码图像；阈值分析及选择单元，找出及设定最优化的模型阈值、系统畸变及尺寸误差值和 匹配核数；光学字符分析单元，用于从撷取出的图书馆条形码、国际标准编号条形码和索书 号条形码图像中分析出字符信息；特征图像存储数据库单元，用于存储书本图像和书本特征，该书本图像包括书面 的图像模板、书脊的图像模板、书背的图像模板、书口的图像模板，该书本特征包括书本的 长、宽、高尺寸及其尺寸分类、重量及其重量分类、国际标准编号位置、图书馆条形码位置、 索书号位置、射频识别标签位置、射频识别标签芯片编号、国际标准编号、图书馆条形码编 号、索书号、被读写的射频识别标签芯片的记录信息。根据本发明的基于计算机视觉及射频识别技术的书本登记管理装置的一实施例， 射频识别标签数据存储模块，用来定义所有图像及书本特征的标签在芯片中存储的存取单 位位置，该唯一的存取单位位置是供使用者读写芯片中存储的书本特征。根据本发明的基于计算机视觉及射频识别技术的书本登记管理装置的一实施例， 该射频识别标签读写模块连接射频识别标签数据储存模块，该射频识别标签读写模块进一 步包括读写器固件，用于执行读写书本中射频识别标签芯片的特征，基于射频识别标签 数据存储模块中的存取单位位置将书本特征读取出来或者写入书本内的射频识别标签芯 片中；射频识别标签位置分析单元，采用非接触式电磁感应方式来识别射频识别标签在 书本上的位置。
根据本发明的基于计算机视觉及射频识别技术的书本登记管理装置的一实施例， 装置还包括监视引擎模块，连接该书本登记管理装置的各个组件，对所有组件的运行状态进 行监控，该监视引擎模块进一步包括模块运行状态汇报单元，提取装置内各组件当前的运行状态，建立故障日志，并发 送故障状态的信息到指定的记录地点；自动修复单元，根据预测到的不当运行，在不干扰系统应用程序或业务程序的情 况下对出错的模块进行修复。根据本发明的基于计算机视觉及射频识别技术的书本登记管理装置的一实施例， 装置还包括管理服务模块，供操作人员远程或现场管理和监控书本登记管理装置的信息，进 一步包括升级单元，通过本地端口或远程网络为固件或软件升级；汇报单元，向操作人员发送装置内各模块当前的运行状态；参数设定单元，供操作人员输入装置内各模块的相关参数，设定系统设定值；提取下载数据单元，提取下载数据，自动建立相关的数据下载连接；图像区域设定单元，在储存模块的原始图像中选择或定义一个特定范围的图像区 域，用以手动剪裁出正确的书面或书脊图片。根据本发明的基于计算机视觉及射频识别技术的书本登记管理装置的一实施例， 该装置还包括提示运行状态模块，根据运行状态向操作人员发出提示信号，进一步包括语音提示控制单元，以语音信号的方式提示操作人员登记管理的状态；闪光提示控制单元，以光信号的方式提示操作人员登记管理的状态。本发明对比现有技术有如下的创新性效果本发明提供的书本登记管理装置的技 术方案，通过嵌入式信息技术、计算机视觉及图像处理技术和射频识别技术对书本本身的 特征进行撷取和分析，可以快速地采集、储存、矫正、合并和分析图像并获取每一本登记书 本的特征，记录于储存数据库和射频识别标签内。射频识别标签可以记录书本的书面的图 像模板、书脊的图像模板、书背的图像模板、书口的图像模板、该书本特征包括书本的尺寸 (长、宽、厚度)或其尺寸分类、重量或其重量分类、图书馆条形码位置、国际标准编号位置、 索书号位置、射频识别标签位置、射频识别标签芯片编号、国际标准编号、图书馆条形码编 号、索书号、被读写的射频识别标签芯片的记录信息，其原理和人类生物特征数据的登记类 似。即使射频识别标签遭损毁或失效，日后的自动化系统仍可依据其它的书本特征，鉴别书 本身份，有效提高书本自动化流通系统的效率和效果。由于书本本身的特征是无法改变的， 且书本上可抓取的特征极多，这就保证了鉴别的准确性。本发明所提供的书本登记管理装 置是一个独立的嵌入式装置，操作人员可以一次采集到所需的书本图像，撷取及分析图像 特征，进行充消磁工作，最后把书本的特征通过射频识别标签读写器写入书本的射频识别 标签中。


图1是本发明中所用书本的一个示例的示意图。图2是本发明的书本登记管理装置的较佳实施例的结构示意图。图3A是反射镜面与图像采集工作平台构成某角度足以反射整个书脊图像的示意图。图;3B是第一书面及书脊图像采集的示意图。图3C是第二书面图像采集的示意图。图4是本发明的书本登记管理装置的各固件模块的原理图。图5是登记/借还书本的应用示意图。图6为本发明的原始图像处理的流程图。图7为本发明的图像模板撷取的流程图。图8为本发明的基于边缘侦测算法量度书本尺寸的流程图。图9为本发明的基于边缘侦测算法和光学字符分析来撷取条形码的流程图。图10为本发明的书本登记管理装置启动初始化的流程图。图11为本发明的书本登记管理装置的实施流程的示意图。图12为本发明以红线显示书本边缘示意图。
具体实施例方式下面结合附图和实施例对本发明作进一步的描述。本发明的书本登记管理装置所用的书本的一个示例请参见图1所示，在本发明 中，书本的封面称为书面，书本的装订侧称为书脊，书本打开的开口称为书口，书本的顶部 称为书顶，书本的底部称为书根。书本上具有一般的图书管理资料，包括图书馆条形码、国 际标准编号条形码、书脊上的索书号编码以及藏于书内的射频识别标签。图1的示例是为 本发明的描述方便而举的一个例子，任何其它图书内外的图书管理资料的放置形式，本发 明的书本登记管理装置都可以掌握辨认。图2示出了本发明的书本登记装置的较佳实施例的结构。请参见图2，本实施例的 书本登记装置包括图像采集装置11、图像采集工作平台12、射频识别标签读写器及天线组 13、电子防盗充消磁装置14、重量测量装置15、提示运行模块16、通讯接口(包括网线接口 17和RS-232接口 19)、电源开关18以及嵌入式中央处理器20。图像采集装置11包括多组摄像设备，在本实施例中示为3组，安装在图像采集工 作平台12的上方，每组摄像设备包括一个或多个固定式摄像头，在摄像头内装有光学滤 镜，这三组摄像设备用来分别采集书本的第一书面、书脊和书顶的图像，而使用者把书本反 转便可采集第二书面、书口及书根的图像，亦即一共采集了六个不同角度的书本图像(第 一书面、书脊、书顶、第二书面、书口、书根)，最后，所有图像合并起来便形成了一个立体书 本的图像。摄像头的数量及像素根据不同的书本尺寸以及图像质量而定，例如书本大小等 同于A4纸张，1个400万像素的摄像头图像及设定分辨率为200dpi，即1英寸上有200个 光学点数；例如书本大小等同于A3纸张，便用四个400万像素的摄像头结合计算机视觉图 像处理模块中的图像合并单元，将四个书本图像合并为等同于一个800万像素的摄像头所 采集书本图像。而如果直接用一个800万像素的摄像头，摄像头和图像采集工作平台12的 高度需要调高，这样整个装置的体积将倍增，重量亦相对增加，因此利用图像贴合技术将多个视觉图像合并为一帧图像实为一种较佳的解决方案。在图像采集设备的顶板上设置柔光罩112，书本登记管理装置的两侧安装白光二 极管照明条形模块113，提供主动侧面照明，为整个图像采集工作平台12提供均勻充足的 光度，提高书本与背景的对比度，从而提高图像处理运算的准确性和效率。图像采集工作平台12是非金属物料制造，这是因为射频天线组设置于图像采集 工作平台12之下，金属干扰会影响读卡距离甚至造成无法读卡。图3A 3C示出了怎样在 图像采集工作平台12上放置书本以及对放置的书本进行采样。图像采集工作平台12提供 一操作平台把书脊或书口图像与第一书面的图像组出现在同一光学采集平面上，彼此形成 相连，书脊及书口的图像被透明挡板1 后方的倾斜反射镜面组反射到上方的摄像头组的 图像采集范围，进行实时同步拍摄，以获得该书本在书脊、书口和书面这三方向上的图像。图像采集工作平台12包括放置书本的平面板，平面板具有摄像头组定标用的图 样、透明挡板组124、反射镜面组，操作人员可准确稳当地把书本放置在图像采集工作平台 12以作图像采集，透明挡板组IM垂直安置在图像采集工作平台12边角上，形成直角供书 本紧贴透明挡板1 的直角，确保书脊及书口亦可完全紧贴透明挡板124。由两个位置感应 器125进行位置鉴定，这两个位置感应器125之间的距离足以让书脊上的索书号编码的图 像投在倾斜反射镜面组114。左起第二个位置感应器125确保了书本紧贴放置于两组透明 挡板1 前。反射镜面组倾斜安装在透明挡板1 另一边，与图像采集工作平台12构成某 一角度足以完整准确地将整个书脊和书口图像反射到安装于上方的摄像头组的采集范围。 再将书本反转，同样地，书口和书根的图像与第二书面的图像出现在同一采集平面上且彼 此相连，书口和书根的图像横向反射到一个或多个摄像头的采集范围内以获得整个图像， 还需要用计算机视觉技术纠正和合并镜像。图像采集工作平台12还包括摄像头用来校准的平面图样板(如黑白棋盘图样)。 黑白棋盘图样不但可以用作摄像头校准，另一目的是有些图书没有明显特征(例如全黑 或全白的书本)，若图像采集工作平台12为单一色调，不利于对这些没有明显特征并且和 图像采集工作平台12色调相似的书本进行边缘检测。图像的边缘作为图像的一种基本特 征，被应用于分析书本的长、宽、厚度等。由于某些图书只能提供有限的特征点，书本可以贴 上不规则碎片形变量形成的碎片形图案来增加图像点向量(图像中两点连成的向量)数 量。而碎片形图案可以增加书本特征点，随着书本特征点的增加，图像点向量也会随之增 加。射频识别标签读写器及天线组13包括由多个射频天线元构成的阵列式射频天线 组、读写器。射频天线元的位置误差会影响天线阵元所接收到的信号的相位，射频天线元内 部用一调整电路来调整射频天线元的敏感性，以及利用分解的波达方向算法对信号的相位 加以调整。读写器将书本图像特征写入射频识别标签，也可以从射频识别标签中读出相关 特征。射频识别标签读写器及天线组13可选择超高频(UHF)或高频(HF)的射频识别 设备，用于读取射频识别码。射频识别标签读写器及天线组13可以是两种结构，其一是由 超高频或高频的射频天线元及读写器组成，其另一是由超高频或高频的阵列式射频天线组 131和读写器132组成(图2所示的结构)。而阵列式射频天线组131是由多个射频天线 元组成。如果由于需要感应特大图书而可能超出射频天线元的感应范围时，阵列式射频天线组131可连接到读写器132，增加感应范围。或者先通过阵列式射频天线组131和读写器 132找出书本在书本登记管理装置的图像采集工作平台12上的射频识别标签的位置。射频 识别标签的位置是书本特征之一，可存储于书本登记资料存储数据库单元。电子防盗充消磁装置14包括电子防盗充消磁器141以及磁条验证检查仪142对 书本上的电子防盗标签进行充消磁及检验书本是否已完成消磁，这样图书操作人员可以在 读者借还书时顺便进行书本登记，做到一站式的登记借还书手续。重量测量装置包括传感器151及弹簧152，用来测量书本重量，把测量结果存储在 书本登记资料存储数据库单元。其中传感器151设置在整个图像采集装置11之下，以避免 传感器151遮挡书背图像。每次开动书本登记管理装置，传感器151就会重置为零，因而重 量测量装置15只计算处理中的书本重量。提示运行状态装置根据运行状态向图书操作人员发出提示书本登记是否成功的 信号，包括数码液晶显示屏161、电源指示灯162、语音提示蜂鸣器163、闪光指示灯164。图4示出了本发明的书本登记管理装置的各模块的原理，下面的内容需结合图4 来说明。嵌入式中央处理器20是书本登记装置的核心，控制及运行所有已嵌入安装的固件 模块，包括图像采集模块、储存模块、计算机视觉图像处理模块、射频识别标签读写模块、射 频识别卷标资料存储模块、模块监视引擎、管理服务模块、提示运行模块。这一段简单介绍本装置的操作过程。请参见图5，操作人员只要把书放在书本登 记管理装置中的图像采集工作平台12上，不需要调整装置位置和拍摄角度，按下书本登记 管理软件上的拍摄按钮可以根据需要方便地采集到所需书本图像，软件上亦提供其它按钮 可进行充消磁工作以及把书本特征通过读写器写入射频识别标签中。本装置可利用背景转 变差值的计算结果，触发摄像头自动拍摄图像以及利用倾斜反射镜面组采集到三方向的书 本图像。电子防盗充消磁装置对书本中的磁条进行充消磁工作，同时磁条验证检查仪对磁 条进行磁力验证测试。当书本离开图像采集工作平台12时，所有装置便停止运作。本发明 的装置不但适用于书本登记管理，还可配合其它自动化借还书装置，这样可以增加书本管 理效率。无论是图5所示的登记全新书本手续/借还书本的手续，都能获取并记录下来的 信息包括书面的图像模板、书脊的图像模板、书背的图像模板、书口的图像模板，该书本特 征包括书本的尺寸或其尺寸分类、重量或其重量分类、图书馆条形码位置、国际标准编号位 置、索书号位置、射频识别标签位置、射频识别标签芯片编号、国际标准编号、图书馆条形码 编号、索书号、被读写的射频识别标签芯片的记录信息。请同时参见图6，对于图像采集模块来说，它包括图像手动采集子模块、光源控制 子模块和图像自动采集触发子模块。图像手动采集子模块基于Directa10W的多镜头图像 采集系统，而Directalow是Windows平台上进行媒体应用开发的最新标准。本发明充分利 用了 Directalow与硬件设备无关性的特点，使用多个USB2. 0摄像头作为图像采集设备，可 采用顺次或同时的采集方式来进行图像采集，系统功能主要由软件实现，极大地节省了硬 件的成本，而对于大面积的图书图像采集，传统的图像采集方式在处理这样的实际问题中 存在诸多的局限性，而本发明装置利用多个摄像头来扩大采集面积的图书图像，并利用计 算机视觉及图像处理技术来矫正和合并图像。图像采集装置11中的光源控制子模块作辅 助之用，用于图像采集时的照明以及为了特显书本与背景的图像对比度提供均勻的光源。 图像自动采集触发子模块借助图像采集子模块采集到的书本登记管理装置上的书本图像，
11利用连续两张图像找出随时间变化而产生的对应点转换关系(对应点是没有放置书本的 情况下的图像采集工作平台12上的一点，当这一点发生变化时即说明书本放置在图像采 集工作平台12上，便自动触发图像采集)，计算前背景绝对差值，如果大于该阈值则触发摄 像头自动拍摄书本图像。对应点必须适量，对应点太多则计算处理速度慢，太少则又会有误 报问题。采集到书本的原始图像之后，发送到计算机视觉图像处理模块和储存模块中的原 始图像存储数据库单元。计算机视觉图像处理模块将采集到的书本的原始图像制作为二维书本图像，并对 这二维书本图像进行图像分析以获取书本特征。计算机视觉图像处理模块分为两个子模 块计算机图像制作子模块和图像分析子模块。对于计算机图像制作子模块，包括测定单 元、图像矫正单元、图像合并单元、智能选择单元、处理后图像存储数据库单元。对于分析子 模块，包括图像尺寸测算单元、图象模板撷取单元、图书馆条形码辨识单元、国际标准编号 条形码辨识单元、索书号条形码辨识单元、阈值分析及选择单元、光学字符分析单元和特征 图像存储数据库单元。原始图像存储数据库单元中将书本的原始图像用作备份，以便任何时候都可从原 始图像存储数据库单元中提取相应的原始图像。获取所有原始图像后，利用测定单元检测 黑白棋盘图样在摄像头中的二维位置，并且持续对所分析的图像数据进行测验，修正图像 扭曲和像差，寻找出多张图片的共轭点。图像矫正单元矫正一个或多个摄像头采集到的扭 曲变形的图像。图像合并单元检测多张图片的相同点，获取图片之间的视差，利用图像贴 合技术将所有采集到的图像合并为一帧图像，产生二值化的图像。图像合并单元还可以通 过常用的图像处理技术来去除杂点以及修补漏白。输出经矫正和合并的图像到智能选择 单元，然后把书本图像组由背景自动分割及从消除非书本图像区域，标识书本边线、制成书 脊、书口和书面，并存储于处理后图像存储数据库单元。图像分析子模块中的图像尺寸测算单元，是用来测量书本的长度、宽度和厚度 (也称为高度)。测量书本的这些特征需要借助边缘检测算法、国际标准格式、拓扑特征、光 学字符分析来提取图像特征。请参见图7，其中边缘检测算法是以微分操作为工具，利用以 灰阶为参数的函数判断出边缘线所在的位置。首先由左至右、由上至下，逐行在图像中选取 种子点，把种子点中心像元和四个方向的相邻像元比较，找出具有一定的边缘强度的种子 点，再把这些种子点连接起来，形成封闭的边界，这样便能计算书本尺寸(长度、宽度和厚 度)。以书本的长度、宽度和厚度的边长、交点、交角值相互参考来计算出比较准确的书本尺 寸。接着利用智能选择单元自动分割及消除非书本图像区域，标识书本边缘(例如以红线 显示书本边缘)。具体来说是通过背景和书本图像结果差值间的绝对值，找出需要分割及消 除的非书本图像部分，同时利用背景维护算法产生二值化的输出，去除图像杂色，累加器更 新分割及脱除书本图像，对于撷取有关书本图像特征来说具有良好的效率。请同时参见图8，首先利用图像分析子模块中的图像模板撷取单元基于图像特 征点提取算法提取稳定特征点，按照书本图像尺寸和图像模板复杂度进行分类，计算图像 点向量描述符，撷取图像特征点(所谓书本图像特征点，是书本图像中可作为特征标识的 点，例如一本全白或者全黑的书本就没有特征点，而书本上如果有很多不规则的图案或者 有丰富的颜色就是具有多特征点)，根据图像模板中的图像点向量的数量将图像模板定义 为“良好”、“可接受”和“不良”，这一定义是经过统计学来判决的，“不良” 一定是书本没有任何图且只有一种颜色。如果图像模板定义为“不良”，需借助贴上碎片形图案标色在 书本图像上来增加图像点向量的数量。所谓碎片形图案是一种公知技术，数学家Benoit Mandelbrot发现一个二次迭代方程z +, = z2n+c,zQ 二 c可产生无限个碎片形图案，方程式z =z2+c,c = a+bi，a和b可以通过输入不同数字来产生无限个碎片形图案。本算法使用了 SIFT(Scalelnvariant Feature Transform)特征提取法，这是一种公开的尺度不变性特征 变化方法。特征点在图像中分布越均勻，对特征点的配对的效果也就越稳定，稳定特征点就 是指分散的图像特征点。由于采集图像环境的亮度差异、书本表面的反射度差异、书本表面 方向与摄像头方向不同，都将导致在同一投影点上图像的颜色和亮度会有所差异，图像特 征点提取算法就是用来解决以上问题的。具体而言，对于经计算机视觉图像处理模块处理 后的书本图像，由图像灰度模型生成特征向量描述符，然后根据向量最近邻和次近邻的距 离之比，对图像特征点进行初步筛选。特征点可以有很多，只要同邻近点互不相同，便可以 是特征点，初步筛选是先对比邻近点，找到好多特征点。最后运用估计特征点对间的几何约 束模型进一步精选特征点，确定特征点数量，将精选后得到的特征点数量作为阈值。特征点 的阈值是订立特征点数量的指针，举例来说不同人的手指模有不同的特征点，如果特征点 太多运算及处理速度会变慢，相反特征点太少则准确性不高，以上的手段都是拿一个平衡 点来制造图像模板，如同制造手指模模板，用作人类身份的辨识，可用在自助过关系统，而 书本图像模板可以用工作日后自助还书之用。输出点集匹配关系(所谓点集匹配关系，匹 配中将实时图分为多个子区，由子区灰度标准差和频谱直方图判别其可匹配性，用各子区 位置分布关系约束匹配结果就是匹配关系)，从而得到一个长序列以代表书本的图像特征， 并存储于特征图像存储数据库单元。上述的边缘检测算法还用于搜索索书号条形码、图书馆条形码、国际标准编号条 形码位置。请参见图9，图书馆条形码辨识单元利用条形码多行直线的拓扑特征找出图书馆 条形码的位置，撷取图书馆条形码的图像。国际标准编号条形码辨识单元也还是利用条形 码多行直线的拓扑特征找出国际标准编号条形码的位置，从而撷取出国际标准编号条形码 图像。索书号条形码辨识单元中，由于索书号条形码在书脊上粘贴的位置是特定的，因此很 容易断定书脊索书号的位置，从而撷取索书号条形码图像。阈值分析及选择单元找出及设 定最优化的模型阈值、系统畸变及尺寸差值和匹配核数。然后由光学字符分析单元从条形 码图像中提取出图书馆编号、国际标准编号和索书号，将这些编号存储于特征图像存储数 据库单元。特征图像存储数据库单元用于存储书本图像和书本特征。书本图像包括书面的图 像模板、书脊的图像模板、书背的图像模板、书口的图像模板，书本特征包括书本的长、宽、 高尺寸及其尺寸分类、重量及其重量分类、国际标准编号位置、图书馆条形码位置、索书号 位置、射频识别标签位置、射频识别标签芯片编号、国际标准编号、图书馆条形码编号、索书 号、被读写的射频识别标签芯片的记录信息。射频识别标签数据存储模块，用来定义所有图像及书本特征的标签在芯片中存储 的存取单位位置。芯片中E2PR0M的内存分多个扇区，他们互不干扰，每个扇区均可分别设 置各自的不同的密码及按需要设置存取控制。每个扇区有多个块，一块为一个存取单位。射 频识别标签读写器根据此独一无二的存取单位位置来读写芯片中存储的书本特征。射频识别标签读写模块包括读写器固件和射频识别标签位置分析单元。读写器固件是用于感应和读写书本中的射频识别标签芯片，并利用阵列式射频天线组找出书本中的 射频识别标签的位置，且连接射频识别标签数据储存模块，将书本特征写入书本内的射频 识别标签芯片中。而射频识别标签位置分析单元采用非接触式电磁感应方式来识别射频识 别标签在书本上的位置。把射频识别标签位置储存于书本登记数据存储数据库单元监视引擎模块供操作人员远程或现场管理和监控书本登记管理装置的信息。监控 引擎模块包括模块运行状态汇报单元和自动修复单元。模块运行状态汇报单元不断向计算 机视觉图像处理模块、射频识别标签读写模块提取当前的运行状态。如遇故障，则建立故障 日志，并把故障状态的信息发送给图书操作人员。自动修复单元根据检测到的不当运行，在 不干扰系统应用程序或业务程序的情况下启动修正操作，确保整套系统不会因为数据流失 或损毁而影响整套系统的稳定及准确性。提示运行模块通过语音提示控制单元发送语音控制信号至语音提示器，同时通过 闪光提示控制单元发送闪光控制信号至闪光提示器，提示图书馆操作人员登记管理状态。管理服务模块主要是让操作人员远程监控书本登记管理装置及交换装置的信息 包括汇报单元、升级单元、参数设定单元、提取下载数据单元和图像区域设定单元。汇报单 元向操作人员的监控计算机发送装置内各模块当前的运行状态(如发出模块监视引擎做 出的故障结论)。当然操作人员也可以用通过局域网络访问服务器，了解异常和故障信息。 升级单元借助本地端或远程网络对设备的固件和软件进行升级和更新。操作人员可通过参 数设定单元输入各个模块的相关参数，设定系统设定值。提取下载数据单元提供一接口，可 随时从数据库中提取下载书本图像特征。随后，图像区域设定单元可自由的选择或定义一 个特定图像区域，通过局部检测区域可减少各分析模块的计算量，以实现快速的图像分析。下面描述本发明的书本登记管理装置的整个工作流程。首先是书本登记管理装置的启动初始化流程。请参见图10，在网络接通和图像采 集装置11启动的情况下，依次启动图像采集模块、计算机视觉图像处理模块、射频识别标 签读写模块和提示运行模块，然后判断模块监视引擎是否接受相关启动，如果接受相关启 动则表明系统应用程序或业务程序已全部启动。要执行书本登记，需开启应用程序，程序会显示初始化接口并在后台执行各个软 硬件的初始化。若有部分初始化未能完成(如无法与数据库连接)，程序会给出相关信息并 关闭应用程序。若一切初始化顺利，程序将激活图像采集装置11。由于程序每次激活均需 要定义背景图像，以便适应不同的光照环境，因此在正式登记工作前，图像采集工作平台12 面上不允许放置杂物，当程序成功设定无杂物的背景图像后，程序初始化正式完成。图11为实施步骤的流程图，请参见图11。首先，用户进入登陆接口，若想取消书本 登记，可在此接口退出程序。若要继续书本登记，则需要让系统确定使用者的身份信息。当 用户成功登陆后，射频识别标签读写模块读取射频识别标签，确定书本可以准备登记。如果 没有射频识别标签或者标签损坏，则提示用户粘贴新的标签。当射频标签读写模块感应到 粘贴在书本内的射频识别标签后，便可进入书本登记的第一步条形码获取。本发明共有两 种方法将书本的条形码信息输入系统一是使用固定在图像采集工作平台12—角的图书 馆条形码扫描仪来读取图书馆条形码；二是通过图书馆条形码辨识单元及光学字符分析单 元获取条形码号。当系统通过以上任何一种方式获取到图书馆条形码信息后，将从图书馆 所提供的图书馆条形码数据库中提取相应的书本信息记录。此时若图书馆条形码数据库回馈错误信息，用户则需检查条形码的获取是否有误，如是则推迟此书的登记，粘贴新的条形 码；若图书馆条形码数据库有相关信息回馈，则操作人员要检查回馈的信息有无错误(如 书名、版本信息)，如有则要指出图书馆条形码数据库回馈资料错误，建立并储存资料记录 错误日志，推迟此书登记，直至图书馆条形码数据库更正；所有错误日志都存储于书本登记 资料存储数据库单元中。若图书馆条形码数据库回馈信息正确无误，则可进入书本登记第 二步书本特征信息的获取。首先，在预备接口按提示放好书本，接着便可进入书本正面信 息获取接口。此时用户可在接口上看到书本正面以及书脊的实时图像。图像采集模块采集 图像采集工作平台12上的书本图像，将其储存至原始图像存储数据库单元。计算机视觉图 像处理模块中的计算机图像制作子模块矫正并合并原始图像并储存至处理后图像存储数 据库单元。计算机视觉图像处理模块中的分析子模块对处理后的书本图像进行分析并获取 书本的表面是否有足够的特征信息、书本的长宽高(厚度)信息以及书本的重量信息。系 统会首先分析书本正面是否有足够特征点，若没有足够特征点，系统会提示推迟此书的登 记直至利用碎片形图案标色并粘贴在书本上以增加足够特征点。若有足够的特征点，系统 会继续分析书本的长宽高(厚度)信息，见图12为本发明以红线显示书本边缘示意图，当 接口上的两组用来显示系统分析信息的红线稳定时，说明智能选择单元已经完成了书本边 缘信息的分析，若用户发现系统分析有误(如书本边缘与分割出来边线相差太远)，则需要 指出是长宽信息还是高度(厚度)信息判断严重偏差或错误。在报错之后，用户可选择以 下两种解决方案(1)立即从系统中提取含有背景的原始图像并手动裁剪出正确的书面和 书脊图片，保证书本长宽高以及特征图片信息的正确；(2)让系统记录判断严重偏差错误 日志，待日后再做修改。若书本边缘信息的分析正常，系统会自动获取书本信息，此时系统会并行处理多 项任务一是将获取的书本重量、尺寸数据以及图像模板储存至程序内部的临时储存器中； 二是采集书本正面以及书脊的图像，并把这两幅全尺寸的书本分别存入原始图像存储数据 库单元以及根据书本的尺寸信息分割及脱除原始图像中非书本图像区域，把裁剪后的图像 存入处理后图像存储数据库单元；三是采集时显示书本正面以及书脊的实时预览截图，此 处之所以使用截图显示，是因为若要处理和显示全尺寸的高分辨率图像，耗时将是低分辨 率截图显示的十倍以上，主要目的是截像可以立即显示在屏幕的接口上，同时在系统 后台可处理全尺寸图像，让用户可以立即确定程序是否已正确裁剪图像。若用户选择获取 书面的信息，则需要按照提示放好书本，进入书面的信息获取接口。此时用户可以在接口上 看见书面的实时图像。在此接口，系统会再次判断书面的长宽信息以便截取图像，但书本厚 度将不再做判断。操作流程和正式获取书本正面信息一致。当完成书面信息的获取后，也 会进入书本特征信息的确认和储存。在进入当前书本登记信息总览接口时，用户可以在接口上看到从条形码数据库取 得的文本资料(书名、作者、出版社等)，从处理后图像存储数据库输出的经过处理的分割 及脱除了非书本图像区域的正反面以及书脊的彩色照片，从临时储存器输出的经过计算得 出的书本尺寸信息以及书本的重量信息。此时用户需要确定书本的正反面照片正确，若发 现正反照片有误，可将正反面的照片互换。 所有采集到的图像特征数据都会存储在特征图像存储数据库单元作备份。此外， 用户确认此接口中的所有信息是否正确，若发现任何信息错漏，可返回预备接口重新登记此书。若取消登记，将不保存此书的任何数据而直接退至条形码获取接口。若所有信息正 确，所有书本图像和书本特征存储于书本登记资料存储数据库单元，射频识别标签数据存 储模块则把书本的相关资料包括书面的图像模板、书脊的图像模板、书背的图像模板、书口 的图像模板，该书本特征包括书本的尺寸或其尺寸分类、重量或其重量分类、国际标准编号 位置、图书馆条形码位置、索书号位置、射频识别标签位置、射频识别标签芯片编号、国际标 准编号、图书馆条形码编号、索书号、被读写的射频识别标签芯片的记录信息，通过射频识 别标签读写器写入书本内粘贴的射频识别标签中，接着用户可选择消去磁条的磁性。同时， 应用程序进入本次登记书本信息总览接口，此接口将以列表形式显示本次登记的书本状 况，未完成登记的书本可通过不同的错误日志链接至需要重新登记的步骤。在此接口中，用 户可选择进行下一本书的登记，或退出至登陆接口，同时保存本次书本登记的日志，完成本 次登记。在登陆接口，可选择退出应用程序，至此，书本登记流程完成。
上述实施例是提供给本领域普通技术人员来实现或使用本发明的，本领域普通技 术人员可在不脱离本发明的发明思想的情况下，对上述实施例做出种种修改或变化，因而 本发明的保护范围并不被上述实施例所限，而应该是符合权利要求书提到的创新性特征的 最大范围。
权利要求
1.一种基于计算机视觉及射频识别技术的书本登记管理装置，包括图像采集工作平 台、图像采集装置、射频识别标签读写器及天线组、电子防盗充消磁装置、重量测量装置以 及嵌入式中央处理器，其中该图像采集工作平台提供一操作平台，该操作平台使书脊及书口图像与第一书面的图 像组出现在同一光学采集平面上且彼此相连，书脊及书口图像反射到摄像头组的图像采集 范围，该摄像头组进行实时同步拍摄以获得书本在书脊、书口以及第一书面这三个方向上 的图像，其中该图像采集工作平台包括放置书本的平面板，平面板具有供该摄像头组用作 定标的图样、透明挡板组、反射镜面组，该透明挡板组垂直安置在该图像采集工作平台边角 上，形成直角，供书本紧贴透明挡板的直角，确保书脊及书口亦可完全紧贴透明挡板，该反 射镜面组倾斜安装在透明挡板的另一边，与图像采集工作平台构成一角度，以完整反射整 个书脊和书口图像到安装于上方的摄像头组的图像采集范围；图像采集装置，由该摄像头组构成，安装在该图像采集工作平台的上方，用于采集该图 像采集工作平台上的书本的图像；射频识别标签读写器，连接该天线组，用于对射频识别标签进行读写操作；天线组，由多个射频天线元组成，射频天线元内部的调整电路用于调整射频天线元的 敏感性，天线组放置于该图像采集工作平台下；电子防盗充消磁装置，用于消除或者恢复书本防盗磁条的磁性。重量测量装置，设置在该图像采集工作平台的平面板之下，用于测量图像采集工作平 台上的书本的重量；嵌入式中央处理器，控制及运行所有已嵌入安装的固件模块，包括图像采集模块、储存 模块、计算机视觉图像处理模块、图像分析模块、射频识别标签读写模块、射频识别标签数 据存储模块、监视引擎模块、管理服务模块、提示运行模块。
2.根据权利要求1所述的基于计算机视觉及射频识别技术的书本登记管理装置，其特 征在于，该图像采集模块进一步包括图像手动采集子模块，是多镜头图像采集系统，可按次序或同时的采集方式来采集书 本图像组；光源控制子模块，用于为图像采集提供及控制有效均勻的光源；图像自动采集触发子模块，连接该图像采集子模块，利用图像采集范围内的图像变化 自动触发图像采集模块来实现图像采集功能。
3.根据权利要求1所述的基于计算机视觉及射频识别技术的书本登记管理装置，其特 征在于，该储存模块连接该图像采集装置和该计算机视觉图像处理模块，包括原始图像存 储数据库单元和书本登记资料存储数据库单元，其中该原始图像存储数据库单元用于储存 采集到的书本的原始图像，该书本登记资料存储数据库单元用于存储分析后获取到的书本 特征。
4.根据权利要求1所述的基于计算机视觉及射频识别技术的书本登记管理装置，其特 征在于，计算机视觉图像处理模块连接该图像采集装置，将采集到的书本图像组制作成二 维书本图像，并对二维书本图像进行图像分析以获取书本特征，该计算机视觉图像处理模 块中设有用于制作二维书本图像的计算机图像制作子模块，该计算机图像制作子模块进一 步包括测定单元，检测摄像头组定标图样在摄像头中的二维位置； 图像矫正单元，矫正一个或多个摄像头采集到的扭曲变形的图像； 图像合并单元，连接该图像矫正单元，通过检测多幅图像的异同合并矫正后的图像； 智能选择单元，在书本图像组中根据书本图像和图像采集工作平台的背景自动分割及 消除非书本图像区域，标识书本边线，制成书脊、书口及书面；处理后图像存储数据库单元，连接该智能选择单元，用于存储经过处理的书本图像。
5.根据权利要求1所述的基于计算机视觉及射频识别技术的书本登记管理装置，其特 征在于，该计算机视觉图像处理模块中进一步设有用于对二维书本图像组进行图像组分析 以获取书本特征的图像分析子模块，该图像分析子模块进一步包括图像尺寸测算单元，用于测量书本的长、宽、高；图像模板撷取单元，利用书本图像的特征点撷取出书本的模板，用作以后判别书本图 像的特征；图书馆条形码辨识单元，辨识图书馆条形码的位置，撷取图书馆条形码的图像； 国际标准编号条形码辨识单元，辨识国际标准编号条形码位置，撷取出国际标准编号 条形码图像；索书号条形码辨识单元，辨识索书号条形码位置，撷取出索书号条形码图像； 阈值分析及选择单元，找出及设定最优化的模型阈值、系统畸变及尺寸误差值和匹配 核数；光学字符分析单元，用于从撷取出的图书馆条形码、国际标准编号条形码和索书号条 形码图像中分析出字符信息；特征图像存储数据库单元，用于存储书本图像和书本特征，该书本图像包括书面的图 像模板、书脊的图像模板、书背的图像模板、书口的图像模板，该书本特征包括书本的长、 宽、高尺寸及其尺寸分类、重量及其重量分类、国际标准编号位置、图书馆条形码位置、索书 号位置、射频识别标签位置、射频识别标签芯片编号、国际标准编号、图书馆条形码编号、索 书号、被读写的射频识别标签芯片的记录信息。
6.根据权利要求1所述的基于计算机视觉及射频识别技术的书本登记管理装置，其特 征在于，射频识别标签数据存储模块，用来定义所有图像及书本特征的标签在芯片中存储 的存取单位位置，该唯一的存取单位位置是供使用者读写芯片中存储的书本特征。
7.根据权利要求1所述的基于计算机视觉及射频识别技术的书本登记管理装置，其特 征在于，该射频识别标签读写模块连接射频识别标签数据储存模块，该射频识别标签读写 模块进一步包括读写器固件，用于执行读写书本中射频识别标签芯片的特征，基于射频识别标签数 据存储模块中的存取单位位置将书本特征读取出来或者写入书本内的射频识别标签芯片 中；射频识别标签位置分析单元，采用非接触式电磁感应方式来识别射频识别标签在书本 上的位置。
8.根据权利要求1所述的基于计算机视觉及射频识别技术的书本登记管理装置，其特 征在于，装置还包括监视引擎模块，连接该书本登记管理装置的各个组件，对所有组件的运行状态进行监控，该监视引擎模块进一步包括模块运行状态汇报单元，提取装置内各组件当前的运行状态，建立故障日志，并发送故 障状态的信息到指定的记录地点；自动修复单元，根据预测到的不当运行，在不干扰系统应用程序或业务程序的情况下 对出错的模块进行修复。
9.根据权利要求1所述的基于计算机视觉及射频识别技术的书本登记管理装置，其特 征在于，装置还包括管理服务模块，供操作人员远程或现场管理和监控书本登记管理装置的信息，进一步 包括升级单元，通过本地端口或远程网络为固件或软件升级； 汇报单元，向操作人员发送装置内各模块当前的运行状态； 参数设定单元，供操作人员输入装置内各模块的相关参数，设定系统设定值； 提取下载数据单元，提取下载数据，自动建立相关的数据下载连接； 图像区域设定单元，在储存模块的原始图像中选择或定义一个特定范围的图像区域， 用以手动剪裁出正确的书面或书脊图片。
10.根据权利要求1所述的基于计算机视觉及射频识别技术的书本登记管理装置，其 特征在于，该装置还包括提示运行状态模块，根据运行状态向操作人员发出提示信号，进一步包括 语音提示控制单元，以语音信号的方式提示操作人员登记管理的状态； 闪光提示控制单元，以光信号的方式提示操作人员登记管理的状态。
全文摘要
本发明公开了基于计算机视觉及射频识别技术的书本登记管理装置，通过单一装置、一站式、一步法的方式完成书本登记流程，为未来自动化图书管理要求建立新基础。其技术方案为通过嵌入式信息技术、计算机视觉及图像处理技术和射频识别技术对书本本身的特征进行撷取和分析，可以快速地采集、储存、矫正、合并和分析图像并获取每一本登记书本的特征，记录于储存数据库和射频识别标签内。
文档编号G07G1/12GK102110332SQ20091020061
公开日2011年6月29日 申请日期2009年12月24日 优先权日2009年12月24日
发明者刘汉光 申请人:上海阿艾依智控系统有限公司