一种基于机器视觉的虚拟人机操作界面系统及构建方法
【专利摘要】本发明公开了一种基于机器视觉的虚拟人机操作界面系统及构建方法，包括以下步骤：在一台HMI显示器正前方装置摄像头，摄像区域覆盖整个HMI显示器；对HMI显示器显示的各子画面进行初始图像采集；对步骤二中采集到的各子画面初始图像进行处理并将图片信息传递给虚拟HMI客户端；对HMI显示器显示的图像进行实时采集，并利用图像处理和模式识别算法对数据进行提取和识别；虚拟HMI客户端将步骤三中得到的初始子画面信息与步骤四中得到的数据信息进行合并，从而在虚拟HMI客户端上进行HMI重建。该方法通过监控HMI的显示器进行数据采集，在单独的网络上进行HMI画面重建，既不占用PLC所在网络的带宽，也可以让生产方控制监控方的监控时间及监控内容，保证重要数据不泄密。
【专利说明】一种基于机器视觉的虚拟人机操作界面系统及构建方法
【技术领域】
[0001]本发明属于工业自动化【技术领域】，涉及一种基于机器视觉的虚拟人机操作界面系统及构建方法。
【背景技术】
[0002]在工业自动化生产过程中，人机操作界面(HMI)是一种很重要的计算机程序，它可以显示在生产过程中的生产状态。同时，生产操作人员可以利用其进行生产参数设置及生产状态改变；工程技术人员和工艺人员可以从人机操作界面上对生产运行状况进行简单故障的诊断。
[0003]多方进行HMI监控，一般需要在多台机器上安装HMI程序。由于HMI和PLC进行数据交换，占用了可编程逻辑控制器(PLC)—定的计算负荷，也占用了一定的网络带宽。因此，从网络和PLC负荷角度出发，对安装HMI客户端的数量都会有一定限制；另一方面，出于对计算机安全和生产数据保密因素的考虑，厂方不想外部计算机连入HMI所在网络进行监控，这样从场外进行HMI监控也存在一定问题。
【发明内容】
[0004]有鉴于此，本发明的目的在于提供一种基于机器视觉的虚拟人机操作界面系统及构建方法，该方法和系统通过监控HMI的显示器进行数据采集，在单独的网络上进行HMI画
面重建。
[0005]为达到上述目的，本发明提供如下技术方案:
[0006]一种基于机器视觉的虚拟人机操作界面构建方法，包括以下步骤:步骤一:在一台HMI显示器正前方装置摄像头，摄像区域覆盖整个HMI显示器；步骤二:对HMI显示器显示的各子画面进行初始图像采集；步骤三:对步骤二中采集到的各子画面初始图像进行处理并将图片信息传递给虚拟HMI客户端；步骤四:对HMI显示器显示的图像进行实时采集，并利用图像处理和模式识别算法对数据进行提取和识别；步骤五:虚拟HMI客户端将步骤三中得到的初始子画面信息与步骤四中得到的数据信息进行合并，从而在虚拟HMI客户端上进行HMI重建。
[0007]进一步，在步骤二中，对HMI各子画面进行初始图像采集，对各子画面分别得到多幅图像，保证采集到各子画面各个状态的全部集合。
[0008]进一步，步骤三具体包括:对初次图像采集得到的HMI各子画面图像，通过手动处理得到各子画面的背景图片，并给出背景图片的子画面类别标记；对初次采集得到的各HMI子画面图像进行手动分割，分割出感兴趣的颜色、箭头方向等状态监控区域及过程数据区域，标记这些区域的位置及对应子画面种类；标记区域的颜色、箭头等状态的全部样本，并给予子画面种类及状态类别标记；将各HMI子画面背景图片、状态位置及状态样本及类别传送给虚拟HMI的客户端。
[0009]进一步，在步骤四中，采集视频帧率大于HMI画面设定变化频率的两倍。[0010]进一步，在步骤四中，结合采集到的每一帧HMI画面，在服务器上进行子画面类别的识别；对于采集到的HMI画面和识别得到的子画面背景图片进行比较得到数字、颜色及箭头方向的变化区域；利用模式识别算法对变化区域进行识别，识别出状态类别及数字。
[0011]进一步，在步骤五中，将子画面类别、状态类别、数字传递给客户端，客户端根据状态类别、子画面类别找到状态位置和子画面背景图片，在客户端显示器上对该类别HMI子画面背景图片的相应位置上进行数字和状态显示，显示出实时变化HMI子画面。
[0012]本发明还提供了一种基于机器视觉的虚拟人机操作界面系统，包括摄像机、服务器、交换机及多台客户端计算机；摄像机对运行HMI的计算机显示器进行摄像监控，摄像机的摄像区域覆盖整个显示器屏幕，并将得到的视频数据传送至服务器；服务器提取HMI各子画面的背景图像，并给出类别标记；服务器对摄像机采集得到的实时视频利用图像处理和模式识别技术进行过程数据提取和识别，将过程数据提取出来，并利用背景图像在客户端计算机进行HMI重建。
[0013]进一步，摄像机采集视频帧率大于HMI画面设定变化频率的两倍。
[0014]本发明的有益效果在于:本发明通过监控HMI的显示器进行数据采集，在单独的网络上进行HMI画面重建，既不占用PLC所在网络的带宽，也可以让生产方控制监控方的监控时间及监控内容，保证重要数据不泄密。
【专利附图】
【附图说明】
[0015]为了使本发明的目的、技术方案和有益效果更加清楚，本发明提供如下附图进行说明:
[0016]图1为本发明所述系统的结构示意图；
[0017]图2为本发明所述方法的流程示意图。
【具体实施方式】
[0018]下面将结合附图，对本发明的优选实施例进行详细的描述。
[0019]图1为本发明所述系统的结构示意图，如图所示，该系统包括摄像机、服务器、交换机及多台客户端计算机；摄像机对运行HMI的计算机显示器进行摄像监控，摄像机的摄像区域覆盖整个显示器屏幕，并将得到的视频数据传送至服务器；服务器提取HMI各子画面的背景图像，并给出类别标记；服务器对摄像机采集得到的实时视频利用图像处理和模式识别技术进行过程数据提取和识别，将过程数据提取出来，并利用背景图像在客户端计算机进行HMI重建。
[0020]图2为本发明所述方法的流程示意图，该方法包括以下步骤:步骤一:在一台HMI显示器正前方装置摄像头，摄像区域覆盖整个HMI显示器；步骤二:对HMI显示器显示的各子画面进行初始图像采集；步骤三:对步骤二中采集到的各子画面初始图像进行处理并将图片信息传递给虚拟HMI客户端；步骤四:对HMI显示器显示的图像进行实时采集，并利用图像处理和模式识别算法对数据进行提取和识别；步骤五:虚拟HMI客户端将步骤三中得到的初始子画面信息与步骤四中得到的数据信息进行合并，从而在虚拟HMI客户端上进行HMI重建。
[0021]下面通过一个实施例来说明系统的工作流程。[0022]SI) 一台运行HMI程序的计算机连接19寸以上的LED显示器，HMI画面更新时间为100ms。在HMI显示器正前方安装一台千兆以太网彩色cmos工业摄像机，分辨率1400 X 1024，保证摄像机正对显示器，位置固定不变，拍摄区域刚好覆盖整个HMI显示器。摄像机采样频率为30Hz。一台计算机作为虚拟HMI服务器，一台计算机作为虚拟HMI客户端，工业摄像机、虚拟HMI服务器、虚拟HMI客户机通过一台交换机组成独立的局域计算机网络。
[0023]S2)通过工业摄像机对HMI各子画面采集一定数量图像，保证样本图像包含诸如颜色、箭头方向等各个状态的全部集合。
[0024]S3)对初次图像采集得到的HMI子画面图像，通过手动处理得到各子画面的背景图片，并给出背景图片的子画面类别标记；
[0025]S4)对初次采集得到的各HMI子画面图像进行手动分割，分割出感兴趣的颜色、箭头方向等状态监控区域及过程数据区域，标记这些区域的位置及对应子画面种类；
[0026]S5)标记区域的颜色、箭头等状态的全部样本，并给予子画面种类及状态类别标记；
[0027]S6)将各HMI子画面背景图片、状态位置及状态样本及类别传递给虚拟HMI的客户端;
[0028]S7)实时进行HMI图像采集，采集视频帧率大于HMI画面设定变化频率的二倍。
[0029]S8)结合采集得到每一帧HMI画面，在视频处理服务器上进行子画面类别的识别；
[0030]S9)对于采集得到的HMI画面和识别得到的子画面背景图片进行比较得到数字及颜色、箭头方向等状态的变化区域；
[0031]S10)利用模式识别算法对变化区域进行识别，识别出状态类别及数字；
[0032]Sll)将子画面类别、状态类别、数字传递给客户端，客户端根据状态类别、子画面类别找到状态位置和子画面背景图片，在客户端显示器上对该类别HMI子画面背景图片的相应位置上进行数字和状态显示，显示出实时变化HMI子画面。
[0033]最后说明的是，以上优选实施例仅用以说明本发明的技术方案而非限制，尽管通过上述优选实施例已经对本发明进行了详细的描述，但本领域技术人员应当理解，可以在形式上和细节上对其作出各种各样的改变，而不偏离本发明权利要求书所限定的范围。
【权利要求】
1.一种基于机器视觉的虚拟人机操作界面构建方法，其特征在于:包括以下步骤: 步骤一:在一台HMI显示器正前方装置摄像头，摄像区域覆盖整个HMI显示器； 步骤二:对HMI显示器显示的各子画面进行初始图像采集； 步骤三:对步骤二中采集到的各子画面初始图像进行处理并将图片信息传递给虚拟HMI客户端； 步骤四:对HMI显示器显示的图像进行实时采集，并利用图像处理和模式识别算法对数据进行提取和识别； 步骤五:虚拟HMI客户端将步骤三中得到的初始子画面信息与步骤四中得到的数据信息进行合并，从而在虚拟HMI客户端上进行HMI重建。
2.根据权利要求1所述的一种基于机器视觉的虚拟人机操作界面构建方法，其特征在于:在步骤二中，对HMI各子画面进行初始图像采集，对各子画面分别得到多幅图像，保证采集到各子画面各个状态的全部集合。
3.根据权利要求2所述的一种基于机器视觉的虚拟人机操作界面构建方法，其特征在于:步骤三具体包括:对初次图像采集得到的HMI各子画面图像，通过手动处理得到各子画面的背景图片，并给出背景图片的子画面类别标记；对初次采集得到的各HMI子画面图像进行手动分割，分割出感兴趣的颜色、箭头方向等状态监控区域及过程数据区域，标记这些区域的位置及对应子画面种类；标记区域的颜色、箭头等状态的全部样本，并给予子画面种类及状态类别标记；将各HMI子画面背景图片、状态位置及状态样本及类别传送给虚拟HMI的客户端。
4.根据权利要求3所述的一种基于机器视觉的虚拟人机操作界面构建方法，其特征在于:在步骤四中，采集视频帧率大于HMI画面设定变化频率的两倍。
5.根据权利要求4所述的一种基于机器视觉的虚拟人机操作界面构建方法，其特征在于:在步骤四中，结合采集到的每一帧HMI画面，在服务器上进行子画面类别的识别；对于采集到的HMI画面和识别得到的子画面背景图片进行比较得到数字、颜色及箭头方向的变化区域；利用模式识别算法对变化区域进行识别，识别出状态类别及数字。
6.根据权利要求5所述的一种基于机器视觉的虚拟人机操作界面构建方法，其特征在于:在步骤五中，将子画面类别、状态类别、数字传递给客户端，客户端根据状态类别、子画面类别找到状态位置和子画面背景图片，在客户端显示器上对该类别HMI子画面背景图片的相应位置上进行数字和状态显示，显示出实时变化HMI子画面。
7.一种基于机器视觉的虚拟人机操作界面系统，其特征在于:包括摄像机、服务器、交换机及多台客户端计算机；摄像机对运行HMI的计算机显示器进行摄像监控，摄像机的摄像区域覆盖整个显示器屏幕，并将得到的视频数据传送至服务器；服务器提取HMI各子画面的背景图像，并给出类别标记；服务器对摄像机采集得到的实时视频利用图像处理和模式识别技术进行过程数据提取和识别，将过程数据提取出来，并利用背景图像在客户端计算机进行HMI重建。
8.根据权利要求7所述的一种基于机器视觉的虚拟人机操作界面系统，其特征在于:摄像机采集视频帧率大于HMI画面设定变化频率的两倍。
【文档编号】G05B19/418GK103488158SQ201310475409
【公开日】2014年1月1日 申请日期:2013年10月12日 优先权日:2013年10月12日
【发明者】刘斌, 郭圣威, 于目奎, 沈加强 申请人:中冶赛迪电气技术有限公司