弹出视窗按钮的非侵入式侦测方法及装置与流程

1.本发明关于一种非侵入式侦测方法及装置，并且特别地，关于一种可自动侦测弹出视窗的弹出视窗按钮的非侵入式侦测方法及装置。


背景技术：

2.随着工业的快速发展，许多工厂的设备逐渐走向自动化。通常设备会搭配显示荧幕，并且设备会将目前的生产进度或各种参数显示于荧幕上，以让作业人员查看设备的运作状况。近年来，随着工业智慧化的发展，许多工厂会再设置可远端控制的非侵入式装置连接设备，并且用以监控及搜集设备的显示荧幕上的资料，进而代替人工作业。
3.然而，当非侵入式装置于监控设备的显示荧幕的过程中，设置于设备中的周边装置或显示荧幕上可能会出现无法预料的弹出视窗，例如：警示视窗及选择性视窗等。因此，当设备出现弹出视窗时，弹出视窗有可能会遮住荧幕中的生产参数或需侦测的资料，以致于非侵入式装置无法辨识到资料而发生异常并且导致中断设备的运作，进而降低效率。
4.因此，有必要研发一种新式的弹出视窗及弹出视窗按钮的侦测机制，以解决先前技术的问题。


技术实现要素：

5.有鉴于此，本发明的目的在于提供一种弹出视窗的非侵入式侦测方法及装置，以解决先前技术的问题，其能可自动侦测设备的弹出视窗并辨识弹出视窗中的弹出视窗按钮，有效提高实用性，还能提高处理效率并降低人力及生产成本，提高处理效率。。
6.为实现上述目的，本发明公开了一种弹出视窗按钮的非侵入式侦测方法，用以辨识一显示装置的一弹出视窗的至少一弹出视窗按钮，其特征在于该弹出视窗按钮的非侵入式侦测方法包含以下步骤：
7.s1：撷取该显示装置的一荧幕影像；
8.s2：比对该荧幕影像及一预设荧幕影像，并且根据该荧幕影像及该预设荧幕影像产生一差值影像区域；
9.s3：判断该差值影像区域是否大于一影像区域阈值；
10.s4：当该差值影像区域大于一影像区域阈值时，将该差值影像区域判断为该荧幕影像的该弹出视窗；
11.s5：在该弹出视窗中，先预设一轮廓长度阈值，再由坎尼边缘侦测筛选出符合大于该轮廓长度阈值的多个轮廓长度；以及
12.s6：先预设该至少一弹出视窗按钮的一端点数量，再利用道格拉斯-普克演算法及该端点数量判读该多个轮廓长度以产生对应该至少一弹出视窗按钮的一轮廓边缘。
13.其中：进一步包含以下步骤：
14.s11：判断该预设荧幕影像是否存在，若判断结果为是，执行步骤s2；以及
15.s12：若步骤s11的判断结果为否，将该荧幕影像取代为该预设荧幕影像。
16.其中：步骤s2中，进一步包含以下步骤：
17.s21：将该荧幕影像及该预设荧幕影像相减以产生一差值影像；以及
18.s22：透过二值化及影像侵蚀的方式计算该差值影像以产生该差值影像区域。
19.其中：步骤s6中，进一步包含以下步骤：
20.s61：利用道格拉斯-普克演算法及该端点数量判读该多个轮廓长度以产生近似该至少一弹出视窗按钮的一按钮轮廓；以及
21.s62：根据该按钮轮廓以及一轮廓校正精度产生对应该至少一弹出视窗按钮的该轮廓边缘，其中该轮廓校正精度介于该轮廓长度的1％至10％之间。
22.其中：进一步包含以下步骤：
23.s7：以光学字元辨识分析该弹出视窗的该至少一弹出视窗按钮并产生该至少一弹出视窗按钮中的一按钮文字。
24.其中：该端点数量的最小值为4。
25.还公开了一种弹出视窗按钮的非侵入式侦测装置，用以辨识一显示装置的一弹出视窗的至少一弹出视窗按钮，其特征在于该弹出视窗按钮的非侵入式侦测装置包含：
26.一影像撷取模组，用以撷取该显示装置的一荧幕影像；
27.一影像分析模组，连接该影像撷取模组并且储存一预设荧幕影像以及一影像区域阈值，该影像分析模组用以比对该荧幕影像及该预设荧幕影像，并且根据该荧幕影像及该预设荧幕影像产生一差值影像区域，当该差值影像区域大于该影像区域阈值时，该影像分析模组将该差值影像区域判断为该荧幕影像的该弹出视窗；以及
28.一计算模组，连接该影像分析模组并且预存一轮廓长度阈值及一端点数量，该计算模组由坎尼边缘侦测筛选出该弹出视窗中符合大于该轮廓长度阈值的多个轮廓长度，并且利用道格拉斯-普克演算法及该端点数量判读该多个轮廓长度以产生对应该至少一弹出视窗按钮的一轮廓边缘。
29.其中：当该预设荧幕影像不存在时，影像分析模组将该荧幕影像取代为该预设荧幕影像。
30.其中：该影像分析模组将该荧幕影像及该预设荧幕影像相减以产生一差值影像，并且以二值化及影像侵蚀的方式计算该差值影像以产生该差值影像区域。
31.其中：计算模组预存一轮廓校正精度，该计算模组利用道格拉斯-普克演算法及该端点数量判读该多个轮廓长度以产生近似该至少一弹出视窗按钮的一按钮轮廓，并且根据该按钮轮廓以及该轮廓校正精度产生对应该至少一弹出视窗按钮的一轮廓边缘，其中该轮廓校正精度介于该轮廓长度的1％至10％之间。
32.其中：进一步包含一光学字元辨识模组连接该计算模组，该光学字元辨识模组用以分析该弹出视窗的该至少一弹出视窗按钮并产生该至少一弹出视窗按钮中的一按钮文字。
33.其中：该端点数量的最小值为4。
34.综上所述，本发明的弹出视窗按钮的非侵入式侦测方法及装置可自动侦测设备的弹出视窗并辨识弹出视窗中的弹出视窗按钮，可提高实用性。并且，本发明的弹出视窗按钮的非侵入式侦测方法及装置可提供及辨识完整的弹出视窗资料，以使作业人员可根据弹出视窗中的所有资料提供解决方案，进而提高处理效率并降低人力及生产成本。此外，本发明
的弹出视窗按钮的非侵入式侦测方法及装置也可透过多种影像处理方式以及影像辨识演算法有效地辨识显示装置的弹出视窗，进而提高处理效率。
附图说明
35.图1绘示根据本发明的一具体实施例的弹出视窗按钮的非侵入式侦测方法的步骤流程图。
36.图2绘示根据本发明的一具体实施例的弹出视窗按钮的非侵入式侦测装置的功能方块图。
37.图3a绘示图2的显示装置的示意图。
38.图3b绘示图2的显示装置的显示画面包含弹出视窗的示意图。
39.图4绘示根据图1的具体实施例的弹出视窗按钮的非侵入式侦测方法进一步的步骤流程图。
40.图5绘示根据图1的具体实施例的弹出视窗按钮的非侵入式侦测方法进一步的步骤流程图。
41.图6a及图6b绘示根据图1的具体实施例的弹出视窗按钮的非侵入式侦测方法中辨识弹出视窗按钮的示意图。
具体实施方式
42.为了让本发明的优点，精神与特征可以更容易且明确地了解，后续将以具体实施例并参照所附图式进行详述与讨论。值得注意的是，这些具体实施例仅为本发明代表性的具体实施例，其中所举例的特定方法、装置、条件、材质等并非用以限定本发明或对应的具体实施例。又，图中各装置仅系用于表达其相对位置且未按其实际比例绘述，合先叙明。
43.在本说明书的描述中，参考术语“一具体实施例”、“另一具体实施例”或“部分具体实施例”等的描述意指结合该实施例描述的具体特征、结构、材料或者特点包含于本创作的至少一个实施例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例中以合适的方式结合。
44.请参考图1及图2。图1绘示根据本发明的一具体实施例的弹出视窗按钮的非侵入式侦测方法的步骤流程图。图2绘示根据本发明的一具体实施例的弹出视窗按钮的非侵入式侦测装置1的功能方块图。图1的非侵入式侦测方法可由图2的弹出视窗按钮的非侵入式侦测装置1来执行。如图2所示，弹出视窗按钮的非侵入式侦测装置1包含影像撷取模组11、影像分析模组12、计算模组13以及光学字元辨识模组14，并且弹出视窗按钮的非侵入式侦测装置1可连接设备的显示装置5以撷取并侦测显示装置5的荧幕影像及资料。影像分析模组12连接影像撷取模组11并且储存预设荧幕影像及影像区域阈值。计算模组13连接影像分析模组12并且预存轮廓长度阈值及端点数量。光学字元辨识模组14连接计算模组13，用以分析弹出视窗的弹出视窗按钮并产生弹出视窗按钮中的按钮文字。于实务中，影像撷取模组11可为影像撷取晶片，影像分析模组12可为影像分析晶片，计算模组13可分别中央处理晶片(cpu)并且光学字元辨识模组14可为光学字元辨识晶片，但不限于此，影像撷取模组11及影像分析模组12也可整合于同一个影像处理晶片中，并且光学字元辨识模组14也可为其
他能够辨识文字的晶片。
45.如图1及图2所示，在本具体实施例中，弹出视窗按钮的非侵入式侦测方法用以辨识显示装置5的弹出视窗51及弹出视窗51中的至少一弹出视窗按钮52。弹出视窗按钮的非侵入式侦测方法包含以下步骤：
46.步骤s1：影像撷取模组11撷取显示装置5的荧幕影像；
47.步骤s2：影像分析模组12比对荧幕影像及预设荧幕影像，并且根据荧幕影像及预设荧幕影像产生差值影像区域；
48.步骤s3：影像分析模组12判断差值影像区域是否大于影像区域阈值；
49.步骤s4：当差值影像区域大于影像区域阈值时，影像分析模组12将差值影像区域判断为荧幕影像的弹出视窗51；
50.步骤s5：计算模组13由坎尼边缘侦测(canny edge detector)筛选弹出视窗51中符合大于轮廓长度阈值的多个轮廓长度；
51.步骤s6：计算模组13由道格拉斯-普克演算法(douglas-peucker algorithm)及端点数量判读多个轮廓长度以产生对应弹出视窗按钮52的轮廓边缘；
52.以及步骤s7：光学字元辨识模组14以光学字元辨识分析弹出视窗51的弹出视窗按钮52并产生弹出视窗按钮52中的按钮文字。
53.如图1所示，除了上述的步骤s1-s7之外，本具体实施的弹出视窗按钮的非侵入式侦测方法还包含了以下步骤：当影像撷取模组11撷取显示装置5的荧幕影像(如步骤s1所示)后，于步骤s11中，影像分析模组12会先判断预设荧幕影像是否存在。若预设荧幕影像不存在时，于步骤s12中，影像分析模组12将影像撷取模组11所撷取的荧幕影像取代为预设荧幕影像；若预设荧幕影像已存在时，则影像分析模组12执行后续的步骤s2。于实务中，影像撷取模组11可于多个不同时间撷取显示装置5的荧幕影像，并且影像撷取模组11撷取荧幕影像的时间间隔可为预设或由人工设定。而预设荧幕影像可为设备于正常运行的荧幕影像。当弹出视窗按钮的非侵入式侦测装置1第一次启动或重新启动时，影像分析模组12不存在或有可能清空预设荧幕影像。此时，影像分析模组12将影像撷取模组11第一次撷取的荧幕影像作为预设荧幕影像。
54.进一步地，当步骤s12的影像分析模组12将影像撷取模组11第一次撷取的荧幕影像作为预设荧幕影像后，于步骤s13中，作业人员可控制弹出视窗按钮的非侵入式侦测装置1是否要结束侦测。若要结束侦测，则弹出视窗按钮的非侵入式侦测装置1将中止显示装置的弹出视窗的侦测。若不结束侦测，则回到步骤s1，并且影像撷取模组11再于下一个时间点撷取显示装置5的荧幕影像。
55.请一并参考图1、图2、图3a及图3b。图3a绘示图2的显示装置5的示意图。图3b绘示图2的显示装置5的显示画面包含弹出视窗51的示意图。如图1的步骤s2、图3a及图3b所示，当影像分析模组12已储存预设荧幕影像并且影像撷取模组11撷取显示装置5的荧幕影像后，影像分析模组12比对荧幕影像及预设荧幕影像，并且根据荧幕影像及预设荧幕影像产生差值影像区域。以图3a及图3b为例，图3a为设备于正常运行的显示装置5的荧幕影像，而图3b为设备的显示装置5出现弹出视窗51的荧幕影像。于实务中，图3a可为储存于影像分析模组12中的预设荧幕影像，并且图3b可为影像撷取模组11于其他时间点所撷取的荧幕影像。而影像分析模组12可比对图3a及图3b并产生图3a及图3b之间的差值影像区域。
56.请参考图1、图3b及图4。图4绘示根据图1的具体实施例的弹出视窗按钮的非侵入式侦测方法进一步的步骤流程图。如图1及图4所示，在本具体实施例中，弹出视窗按钮的非侵入式侦测方法进一步包含以下步骤，其可由影像分析模组12来执行以产生荧幕影像及预设荧幕影像的差值影像区域。此步骤包含：步骤s21：影像分析模组12将荧幕影像及预设荧幕影像相减以产生差值影像；以及步骤s22：影像分析模组12透过二值化及影像侵蚀的方式计算差值影像以产生差值影像区域。于实务中，步骤s21的详细流程可为影像分析模组12先将荧幕影像及预设荧幕影像转换成灰阶影像，并且利用影像相减的方式删除相同位置的灰阶值的荧幕影像。当显示装置5跳出弹出视窗51时，弹出视窗51将会遮住显示装置5的部分区域，并且弹出视窗51遮住的区域的灰阶值会改变。因此，当影像分析模组12将荧幕影像及预设荧幕影像相减时，弹出视窗51遮住的灰阶影像无法被删除，进而影像分析模组12将无法被删除的灰阶影像判断为差值影像。
57.如上所述，于步骤s22中影像分析模组12将差值影像进行二值化处理。于实务中，当影像分析模组12产生差值影像时，差值影像的每个像素包含灰阶差值。进一步地，影像分析模组12可包含灰阶门槛值，并且影像分析模组12可根据差值影像的灰阶差值以及灰阶门槛值突显差值影像。于实务中，灰阶门槛值可根据显示装置5的画面特性或差值影像的灰阶值而决定。举例来说，灰阶门槛值为45。当差值影像的其中一个像素的灰阶差值小于45时，影像分析模组12将该像素的灰阶值调整为0；而当差值影像的其中一个像素的灰阶差值大于或等于45时，影像分析模组12将该像素的灰阶值调整为225。因此，影像分析模组12可透过影像二值化优化并突显差值影像。
58.此外，于步骤s22中影像分析模组12也透过影像侵蚀(erosion)的方式处理差值影像。影像侵蚀(erosion)系透过结构元素来消除差值影像中微小变化区域以及杂讯区域。而结构元素可为预设区域或由人工而决定。于实务中，当设备运作时，生产数据或数字会显示于显示装置5上，并且生产数据或数字会随着设备运作而改变。因此，影像撷取模组11所撷取的荧幕影像中的数字可能会与预设荧幕影像中的数字不同。也就是说，当影像分析模组12产生差值影像时，因生产数据或数字的变化所产生的灰阶差值区域将会成为差值影像的微小变化区域及杂讯区域。因此，影像分析模组12再透过影像侵蚀计算差值影像并产生差值影像区域。
59.请再次参阅图1、图2及图3b。在本具体实施例中，影像分析模组12进一步储存影像区域阈值。如图1的步骤s3所示，当产生差值影像区域后，影像分析模组12判断差值影像区域是否大于储存影像区域阈值。于实务中，影像区域阈值可为弹出视窗的尺寸或面积。而影像区域阈值可为显示装置会跳出的所有弹出视窗中的最小尺寸值，也可由人工而设定。因此，当影像分析模组12分析并判断出差值影像区域大于储存影像区域阈值时，即表示差值影像区域不是设备于正常运作中会出现的影像差异，因此，影像分析模组12判断差值影像区域为显示装置5的荧幕影像的弹出视窗51，如步骤s4所示。
60.另一方面，若于步骤s3中影像分析模组12分析并判断出差值影像区域小于储存影像区域阈值时，表示显示装置中有可能只是字串的变动而不是飞出弹出视窗。此时，回到步骤s13，作业人员可控制弹出视窗按钮的非侵入式侦测装置1是否要结束侦测。若要结束侦测，则弹出视窗按钮的非侵入式侦测装置1将中止显示装置的弹出视窗的侦测。若不结束侦测，则回到步骤s1，并且影像撷取模组11再于下一个时间点撷取显示装置5的荧幕影像。
61.请一并参阅图1、图2、图3b、图5及图6。图5系绘示根据图1的具体实施例的弹出视窗按钮的非侵入式侦测方法进一步的步骤流程图。图6a及图6b系绘示根据图1的具体实施例的弹出视窗按钮的非侵入式侦测方法中辨识弹出视窗按钮52的示意图。当影像分析模组12辨识出弹出视窗51后，计算模组13再接着判断及辨识弹出视窗51中的弹出视窗按钮52。于图1的步骤s5中，计算模组13先以坎尼边缘侦测(canny edge detector)筛选出弹出视窗51中符合轮廓长度阈值的多个轮廓长度。于实务中，弹出视窗51可包含文字、按钮外框、图案、图形等资料。当计算模组13以坎尼边缘侦测(canny edge detector)计算弹出视窗51时，计算模组13描绘并产生弹出视窗51中每一资料(如字元、线条等)的轮廓，并且每一资料的轮廓包含轮廓长度。而轮廓长度可为像素的长度。轮廓长度阈值可为弹出视窗中按钮外框的像素长度，并且可由人工决定，但不限于此。举例来说，如图6a所示，图6a中的各线段a即为符合或大于轮廓长度阈值的轮廓长度。因此，若轮廓长度阈值为200像素，则当计算模组13计算弹出视窗51中所有资料的轮廓长度后，计算模组13将筛选出弹出视窗51中符合或大于200像素的轮廓长度。
62.当计算模组13产生弹出视窗51中所有资料的轮廓长度后，计算模组13再以道格拉斯-普克演算法(douglas-peucker algorithm)及端点数量判读筛选出的轮廓长度以产生对应弹出视窗按钮52的轮廓边缘。
63.在本具体实施例中，弹出视窗按钮的非侵入式侦测方法进一步包含：步骤s61：计算模组13利用道格拉斯-普克演算法(douglas-peucker algorithm)及端点数量判读轮廓长度以产生近似弹出视窗按钮52的按钮轮廓；以及步骤s62：计算模组13根据按钮轮廓以及轮廓校正精度产生对应弹出视窗按钮52的轮廓边缘。于实务中，端点数量可为弹出视窗51的端点数量。当弹出视窗的形状为矩形时，端点数量为4，但不限于此，端点数量可根据弹出视窗的形状而决定。如图6a所示，当计算模组13利用道格拉斯-普克演算法(douglas-peucker algorithm)及端点数量为4判读轮廓长度时，计算模组13将找出所有轮廓长度中的4个端点b。此时，4个端点b所围成的矩形中的轮廓长度形成近似弹出视窗按钮的按钮轮廓。接着，计算模组13再根据按钮轮廓以及轮廓校正精度产生对应弹出视窗按钮52的轮廓边缘。轮廓校正精度可为道格拉斯-普克演算法(douglas-peucker algorithm)中的距离维度(ε)，并且轮廓校正精度可介于轮廓长度的1％至10％之间，但不限于此，轮廓校正精度也可为预设或由人工决定。如图6b所示，当计算模组13根据轮廓校正精度计算按钮轮廓时，计算模组13会以端点b为基准找出最大距离的线段并删除多余的轮廓长度(如图中虚线所示)，进而判读并产生对应弹出视窗按钮的轮廓边缘c。请注意，在本具体实施例中，图3b的弹出视窗51包含2个弹出视窗按钮52、53，但实务中不限于此，弹出视窗按钮的数量也可为1个或3个以上。
64.综上述，如图1至图5所示，本发明的弹出视窗按钮的非侵入式侦测方法系先透过影像撷取模组11撷取显示装置5于不同时间点的荧幕影像，接着透过影像分析模组12比对预设荧幕影像(如图3a所示)及荧幕影像(如图3b所示)，并且再透过影像相减、二值化及影像侵蚀的处理简化并产生差值影像区域，以判断出显示装置5中的弹出视窗51。再者，计算模组13再分别由坎尼边缘侦测(canny edge detector)以及道格拉斯-普克演算法(douglas-peucker algorithm)计算并辨识弹出视窗51的弹出视窗按钮52。最后，光学字元辨识模组14辨识弹出视窗51中的所有文字。因此，本发明的弹出视窗按钮的非侵入式侦测
方法能够自动侦测出显示装置的荧幕影像中的弹出视窗，并且利用光学字元辨识模组辨识弹出视窗按钮的所有资料。
65.综上所述，本发明的弹出视窗按钮的非侵入式侦测方法及装置可自动侦测设备的弹出视窗并辨识弹出视窗中的弹出视窗按钮，可提高实用性。并且，本发明的弹出视窗按钮的非侵入式侦测方法及装置可提供及辨识完整的弹出视窗资料，以使作业人员可根据弹出视窗中的所有资料提供解决方案，进而提高处理效率并降低人力及生产成本。此外，本发明的弹出视窗按钮的非侵入式侦测方法及装置也可透过多种影像处理方式以及影像辨识演算法有效地辨识显示装置的弹出视窗，进而提高处理效率。
66.由以上较佳具体实施例的详述，系希望能更加清楚描述本发明的特征与精神，而并非以上述所揭露的较佳具体实施例来对本发明的范畴加以限制。相反地，其目的是希望能涵盖各种改变及具相等性的安排于本发明所欲申请的专利范围的范畴内。因此，本发明所申请的专利范围的范畴应根据上述的说明作最宽广的解释，以致使其涵盖所有可能的改变以及具相等性的安排。