一种基于视频图像识别的分项计量能耗数据采集装置及方法
【专利摘要】本发明涉及一种基于视频图像识别的分项计量能耗数据采集方法，包括如下步骤：前端安装一个摄像头，负责摄取能耗计量仪表数字或者模拟指针类显示屏的图像；通过视频采集器将模拟视频信号编码转换成数字视频信号，然后发送至图像预处理单元；由图像预处理单元、字符分割单元、字符识别单元进行一系列的图像处理和分析，提取图像中的字符；将字符信息按规定的数据格式保存到本地存储单元，供数据采集网关设备收集和统计，最终传输到上层数据中心。对比更换带数据通讯接口的数字式计量仪表，来实现能耗数据自动化采集的方式，本发明方法建设成本低，施工难度小，施工期短，对用户日常使用几乎无影响。因此，本发明较适用于无法更换数字式计量仪表的场合。
【专利说明】一种基于视频图像识别的分项计量能耗数据采集装置及方 法
[【技术领域】]
[0001] 本发明属于建筑能耗监测系统的分项计量数据采集领域，具体的说是一种基于视 频图像识别的分项计量能耗数据采集装置及方法。
[【背景技术】]
[0002] 随着中国城市化进程的推进、经济的发展，我国的建筑能耗占社会总能耗比例约 为30%，节能潜力巨大，公共建筑首当其冲，因此建筑节能势在必行。目前，公共建筑的分类 能耗主要包括水、电力、燃气等，通过数字计量仪表的通信接口采集能耗数据是最理想、最 高效的方式。
[0003] 然而在实际项目实施中，发现大部分建筑的能耗计量仪表都不具备数据通信的功 能。常规的方法是对已有计量仪表进行更换，这样不但增加了施工成本和施工难度，而且施 工周期较长，会影响到建筑的正常使用。尤其是在需要更换水和燃气仪表时，还需得到相关 单位的同意，实际施工中还会遇到各种限制。技术创新方面，传统的视频识别技术只能应对 数字式仪表液晶显示屏进行识别，对模拟指针显示屏就无法进行识别。为了解决以上问题， 本发明提出了视频图像识别的方法，识别视频图像中的字符和图形，达到采集能耗数据的 目的。
[
【发明内容】
]
[0004] 本发明所要解决的技术问题是：通过视频监控现场能耗计量仪表显示屏，对显示 数据进行图像采集；通过图像分析模块，对图像进行预处理、字符分割、字符识别，最后提取 能耗数值；将数值进行存储或发送给现场的综合能耗数据采集网关。
[0005] 为实现上述目的，设计一种基于视频图像识别的分项计量能耗数据采集装置，包 括摄像头、视频采集器、图像预处理单元、字符分割单元、字符识别单元、存储单元和主控模 块，其特征在于摄像头安装在被监测仪表的显示屏上方，通过视频线连接到视频采集器，由 主控模块控制视频采集器进行图像采集，由主控模块通知图像预处理单元进行图像预处 理；由主控模块通知字符分割单元进行图像字符分割，由主控模块通知字符识别单元进行 字符识别，最后整理成规定的数据格式保存到存储单元，由主控模块调用存储单元的数据 发送给数据采集网关。
[0006] 所述的被监测仪表包括数字水表、电子式电能计量表、数字燃气表；所述的摄像头 负责摄取能耗仪表显示屏的图像，并输出模拟视频信号；所述的视频采集器将模拟视频信 号进行编码，输出给图像预处理单元；所述的图像预处理单元嵌入式工业控制计算机，集成 了图像预处理、字符分割、字符识别处理等主要功能。此单元模块功能也可直接合并入现场 数据采集网关。
[0007] 另设计一种基于视频图像识别的分项计量能耗数据采集方法，其特征在于该方法 包括如下步骤：
[0008] A、对需要采集数据的仪表显示屏进行视频监控，由主控模块控制定时抓取仪表数 据图像发送至图像分析模块；
[0009] B、由主控模块控制图像分析模块对图片进行预处理；
[0010] C、由主控模块控制将预处理后的图片进行字符分割处理；
[0011] D、由主控模块控制将字符分割后的图片进行字符识别处理；
[0012] E、由主控模块控制将识别的能耗数据按规定数据格式保存到本地存储单元；
[0013] F、由主控模块控制将能耗数据发送给数据采集网关。
[0014] 所述的步骤A中对可识别的仪表显示包括数字式液晶显示、模拟式指针显示。
[0015] 所述的步骤B中，对采集图像先后进行灰度化处理、增强处理、二值化变换、锐化 处理、倾斜校正、归一化处理。
[0016] 所述的步骤C中，对预处理过的图像分别进行投影法分割字符、上下边缘投影法 分割字符、连通域法分割字符。
[0017] 所述的步骤D中包括如下技术：统计特征字符识别技术、结构字符识别技术和基 于神经网络的识别技术。由于本发明的应用场合为对能耗计量仪表显示数据的视频分析， 其字符主要是阿拉伯数字和参数的单位符号，所分析的字符通常是反复出现，具有重复性 的。这样只需前期将关于字符原型知识和构成识别字符的模板信息，存储在识别系统中即 可。
[0018] 所述的步骤B还包括如下步骤：
[0019] B1、首先将图像灰度化，将彩色图像转换为灰度图像，以加快处理速度，也节省了 存储空间。灰度图像的优点是只有强度信息而没有颜色信息的图像，存储灰度图像只需要 一个数据矩阵，矩阵每个元素表示对应位置像素的灰度值；
[0020] B2、进行图像增强处理，来调整图像的对比度，突出图像中的重要细节，增强后的 图像中字符清晰、区域分明，扩大了图像的灰度范围，便于二值化和字符分割处理；
[0021] B3、进行图像二值化变换，确定合适的阈值，使得字符与背景能够分割开来。二值 化的图像具备良好的保形性，不丢掉有用的形状信息，不产生额外的空缺；
[0022] B4、进行图像锐化处理，通过微分法和高通滤波法锐化后，使模糊的图像变得清 晰，增强图像的边缘突出或轮廓清晰；
[0023] B5、进行图像倾斜校正，使得字符处于同一水平位置，这样便于字符的分割以及提 高字符识别的准确率；
[0024] B6、进行归一化处理，统一字符的高度和宽度尺寸，使得字符识别的准确性更高。
[0025] 所述的步骤C还包括如下步骤：
[0026] C1、投影法分割字符，字符图像二值化后，以像素点为单位逐列扫描图像，累加该 列值为1的像素点，累积的结果即为该列的垂直投影。对图像的所有列扫描完毕后即得到 整幅图像的垂直投影。在垂直投影直方图中由于字符的分界处灰度为1的像素点很少，故 投影后该处表现为很低的波谷，将统计值等于零的列作为字符分割的界限；
[0027] C2、如字符中存在空洞或图像质量不高时，出现二值化后字符粘连时，应用上下边 缘投影法，解决传统垂直投影法的缺陷。上下边缘投影是指字符上边缘与下边缘间的距 离，其中"字符上边缘"指以像素为单位沿图像某列自上而下搜索直到遇到字符区域的第一 个点，"字符下边缘"指以像素为单位沿图像某列自下而上搜索直到遇到字符区域的第一个 点，则上下边缘投影即为字符上边缘与字符下边缘两者之差；
[0028] C3、连通域法分割字符，可避免预处理效果不好带来的影响，根本上解决倾斜字符 分割的问题。其算法是首先自左向右，自上而下扫描整幅图像，找到第一个未标记的像素 点，接着初始化像素队列为空，把该像素点标记，加入队列。其次搜索队列头像素点周围领 域的像素并标记、加入队列并删除队头元素以此重复直到队列空为止。使用该算法可以快 速准确定位图像中的所有连通域，由于噪声干扰以及二值化时可能出现的误差，我们必须 去掉区域中一些明显不可能是字符区域的连通域，例如宽度过大或是连通域中像素的个数 过小的区域。在找出图像中的连通域后，再做出各个连通域的外接矩形。
[0029] 本发明的有益效果在于：本发明提出的利用视频分析图像数据的方法，一方面节 约了仪表更换的成本和减小了施工难度，另一方面也减少了施工影响范围。本发明的使用 也将为能耗数据采集方式提供一种新的途径，与传统采集方式相互配合使用必定达到满意 的效果。
[【专利附图】
【附图说明】]
[0030] 图1为本发明的系统框架结构图
[0031] 图中：
[0032] 1.摄像头：主要用来摄取能耗仪表显示屏，通常输出模拟视频信号；
[0033] 2.视频采集器：主要负责将模拟视频信号编码，输出数字信号；
[0034] 3.图像预处理单元：主要负责将数字图像进行一系列处理，便于字符分割处理；
[0035] 4.字符分割单元：主要负责向一连串字符，分割成单个字符，便于字符识别处理；
[0036] 5.字符识别单元：主要负责将单个字符一一识别，形成数据保存；
[0037] 6.存储单元：主要负责存储已识别的数据，并准备发送给数据采集网关；
[0038] 7.主控模块：主要负责向个单元发送操作指令，并接收各单元的反馈信息；
[0039] 8.视频信号；
[0040] 9.数字信号；
[0041] 10.控制信号；
[0042] 11.字符输出。
[【具体实施方式】]
[0043] 现结合附图及具体实施例对本发明的整套技术方案作进一步阐述，这种制造技术 对本领域技术人员来说是非常清楚的。
[0044] 实施例
[0045] 如图1所示，本发明包括摄像头图像摄取、视频采集器信号编码、图像预处理、图 像字符分割、图像字符识别、字符数据保存，其特征在于摄像头安装在被监测仪表的显示屏 上方，通过视频线连接到视频采集器；由主控模块控制视频采集器进行图像采集，并进过 编码后通过网线输出数字视频信号；由主控模块通知图像预处理单元进行图像预处理；由 主控模块通知字符分割单元进行图像字符分割；由主控模块通知字符识别单元进行字符识 另IJ，最后整理成规定的数据格式保存到存储单元。根据需要由主控模块调用存储单元的数 据发送给数据采集网关。
[0046] 本发明揭示了一种基于视频图像识别的分项计量能耗数据采集方法，在不方便或 不允许更换计量仪表的场合，对能耗数据进行自动采集；为能耗数据采集又提供了一种简 便可行的方法。
[0047] 为了便于之后的描述，首先对术语进行如下解释：
[0048] 能耗计量仪表：建筑能耗计量表具主要包括数字水表、电子式电能计量表、数字燃 气表等，根据实际情况，一些年久的建筑里安装的通常是不具备通讯功能的仪表。
[0049] 视频摄像头：负责摄取能耗仪表显示屏的图像，并输出模拟视频信号；
[0050] 视频图像采集器：将模拟视频信号进行编码，输出给图像分析单元；
[0051] 图像分析单元：嵌入式工业控制计算机，集成了图像预处理、字符分割、字符识别 处理等主要功能。此单元模块功能也可直接合并入现场数据采集网关。
[0052] 数据采集网关：应用于建筑能耗监测系统中数据采集专用的无风扇嵌入式通讯网 关。内置嵌入式操作系统，支持通过Web方式进行配置和规划数据库，兼容各种常见设备通 讯协议，可以实现各种设备间的通讯和数据采集，数据传输协议符合《国家机关办公建筑及 大型公共建筑能耗监测系统分项能耗数据采集技术导则》标准。
[0053] 系统工作过程叙述：
[0054] 请参阅图1，本发明基于视频图像识别的分项计量能耗数据采集方法包括如下步 骤：
[0055] A、对需要采集数据的仪表显示屏进行视频监控，由主控模块控制定时抓取仪表数 据图像发送至图像分析模块；
[0056] B、由主控模块控制图像分析模块对图片进行预处理；
[0057] C、由主控模块控制将预处理后的图片进行字符分割处理；
[0058] D、由主控模块控制将字符分割后的图片进行字符识别处理；
[0059] E、由主控模块控制将识别的能耗数据按规定数据格式保存到本地存储单元；
[0060] F、由主控模块控制将能耗数据发送给数据采集网关。
[〇〇61] 综上所述，本发明提出的基于视频图像识别的分项计量能耗数据采集方法，对能 耗计量仪表的显示屏进行视频监控，将监控画面编码后发送给图像分析单元，经过字符识 别等算法提取出图像中的能耗字符，按规定的数据格式保存，再发送给能耗数据网关进行 统计和转发。本发明为不方便更换数字能耗仪表的场合，提供了一种高效、可行的解决方 法，从而完整地实现了建筑能耗分项计量数据采集。
【权利要求】
1. 一种基于视频图像识别的分项计量能耗数据采集装置，包括摄像头、视频采集器、 图像预处理单元、字符分割单元、字符识别单元、存储单元和主控模块，其特征在于摄像头 安装在被监测仪表的显示屏上方，通过视频线连接到视频采集器，由主控模块控制视频采 集器进行图像采集，由主控模块通知图像预处理单元进行图像预处理；由主控模块通知字 符分割单元进行图像字符分割，由主控模块通知字符识别单元进行字符识别，最后整理成 规定的数据格式保存到存储单元，由主控模块调用存储单元的数据发送给数据采集网关。
2. 如权利要求1所述的一种基于视频图像识别的分项计量能耗数据采集装置，其特征 在于所述的被监测仪表包括数字水表、电子式电能计量表、数字燃气表；所述的摄像头负责 摄取能耗仪表显示屏的图像，并输出模拟视频信号；所述的视频采集器将模拟视频信号进 行编码，输出给图像预处理单元；所述的图像预处理单元嵌入式工业控制计算机，集成了图 像预处理、字符分割、字符识别处理等主要功能。此单元模块功能也可直接合并入现场数据 米集网关。
3. -种基于视频图像识别的分项计量能耗数据采集方法，其特征在于该方法包括如下 步骤： A、 对需要采集数据的仪表显示屏进行视频监控，由主控模块控制定时抓取仪表数据图 像发送至图像分析模块； B、 由主控模块控制图像分析模块对图片进行预处理； C、 由主控模块控制将预处理后的图片进行字符分割处理； D、 由主控模块控制将字符分割后的图片进行字符识别处理； E、 由主控模块控制将识别的能耗数据按规定数据格式保存到本地存储单元； F、 由主控模块控制将能耗数据发送给数据采集网关。
4. 如权利要求3所述的一种基于视频图像识别的分项计量能耗数据采集方法，其特征 在于所述的步骤A中对可识别的仪表显示包括数字式液晶显示、模拟式指针显示。
5. 如权利要求3所述的一种基于视频图像识别的分项计量能耗数据采集方法，其特征 在于所述的步骤B中，对采集图像先后进行灰度化处理、增强处理、二值化变换、锐化处理、 倾斜校正、归一化处理。
6. 如权利要求3所述的一种基于视频图像识别的分项计量能耗数据采集方法，其特征 在于所述的步骤B还包括如下步骤： B1、首先将图像灰度化，将彩色图像转换为灰度图像，以加快处理速度，也节省了存储 空间。灰度图像的优点是只有强度信息而没有颜色信息的图像，存储灰度图像只需要一个 数据矩阵，矩阵每个元素表示对应位置像素的灰度值； B2、进行图像增强处理，来调整图像的对比度，突出图像中的重要细节，增强后的图像 中字符清晰、区域分明，扩大了图像的灰度范围，便于二值化和字符分割处理； B3、进行图像二值化变换，确定合适的阈值，使得字符与背景能够分割开来。二值化的 图像具备良好的保形性，不丢掉有用的形状信息，不产生额外的空缺； B4、进行图像锐化处理，通过微分法和高通滤波法锐化后，使模糊的图像变得清晰，增 强图像的边缘突出或轮廓清晰； B5、进行图像倾斜校正，使得字符处于同一水平位置，这样便于字符的分割以及提高字 符识别的准确率； B6、进行归一化处理，统一字符的高度和宽度尺寸，使得字符识别的准确性更高。
7. 如权利要求3所述的一种基于视频图像识别的分项计量能耗数据采集方法，其特征 在于所述的步骤C中，对预处理过的图像分别进行投影法分割字符、上下边缘投影法分割 字符、连通域法分割字符。
8. 如权利要求3所述的一种基于视频图像识别的分项计量能耗数据采集方法，其特征 在于所述的步骤C还包括如下步骤： C1、投影法分割字符，字符图像二值化后，以像素点为单位逐列扫描图像，累加该列值 为1的像素点，累积的结果即为该列的垂直投影。对图像的所有列扫描完毕后即得到整幅 图像的垂直投影。在垂直投影直方图中由于字符的分界处灰度为1的像素点很少，故投影 后该处表现为很低的波谷，将统计值等于零的列作为字符分割的界限； C2、如字符中存在空洞或图像质量不高时，出现二值化后字符粘连时，应用上下边缘投 影法，解决传统垂直投影法的缺陷。上下边缘投影是指字符上边缘与下边缘间的距离，其 中"字符上边缘"指以像素为单位沿图像某列自上而下搜索直到遇到字符区域的第一个点， "字符下边缘"指以像素为单位沿图像某列自下而上搜索直到遇到字符区域的第一个点，则 上下边缘投影即为字符上边缘与字符下边缘两者之差； C3、连通域法分割字符，可避免预处理效果不好带来的影响，根本上解决倾斜字符分割 的问题。其算法是首先自左向右，自上而下扫描整幅图像，找到第一个未标记的像素点，接 着初始化像素队列为空，把该像素点标记，加入队列。其次搜索队列头像素点周围领域的像 素并标记、加入队列并删除队头元素以此重复直到队列空为止。使用该算法可以快速准确 定位图像中的所有连通域，由于噪声干扰以及二值化时可能出现的误差，我们必须去掉区 域中一些明显不可能是字符区域的连通域，例如宽度过大或是连通域中像素的个数过小的 区域。在找出图像中的连通域后，再做出各个连通域的外接矩形。
9. 如权利要求3所述的一种基于视频图像识别的分项计量能耗数据采集方法，其特征 在于所述的步骤D中，对字符分割处理过的图像，分别进行统计特征字符识别、结构字符识 别和基于神经网络的识别。
【文档编号】G06K9/60GK104102912SQ201310113484
【公开日】2014年10月15日 申请日期:2013年4月2日 优先权日:2013年4月2日
【发明者】秦海勇 申请人:秦海勇