基于计算机视觉的电磁敏感性测试方法与流程

1.本发明关于电磁敏感性测试及影像比对，特别是一种基于计算机视觉的电磁敏感性测试方法。


背景技术：

2.电磁敏感性(electromagnetic susceptibility，ems)指的是对电磁干扰(electromagnetic interference，emi)或射频干扰(radio frequency interference，rfi)的耐受性或抗扰度(immunity)。若一个电子装置不对其他装置产生emi或rfi，而且具有良好的ems，则电子装置具有良好的电磁兼容性(electromagnetic compatibility，emc)。换言之，emc的目标是不同装置在共同的电磁环境中正确运行。
3.针对ems的辐射场敏感性测试通常使用一个高功率的射频或电磁装置，以及一个辐射天线，以将能量引导到待测电子装置，例如笔记本电脑。待测电子装置被放置在射频消声室(rf anechoic chamber)中，并透过屏幕轮流显示多种测试数据中的一种。在天线发射电磁波的同时，摄影机拍摄待测电子装置的屏幕，而射频消声室外的测试人员则观看拍摄到的测试影像是否有异常，并记录异常发生时所使用的电磁波频率和设置参数。所谓的异常例如画面全黑、画面闪烁、测试图案中的线条失真等。
4.然而，劳动密集型的测试容易使眼睛疲累，而且测试人员有可能忽略掉一些异常现象。


技术实现要素：

5.有鉴于此，本发明提出一种基于计算机视觉的电磁敏感性测试方法，使用基于计算机视觉的ems测试系统，连续接收来自射频消声室内的摄影机拍摄到的测试影像，并模仿测试人员观看影像、进行判断的机制，从而判断测试影像中是否有任何异常，然后自动记录出现异常时的各种设定参数。
6.依据本发明一实施例的一种基于计算机视觉的电磁敏感性测试方法，适用于具有一屏幕的一电子装置，所述方法包括：一训练阶段，包括：该电子装置接收一测试数据，并以该萤显示对应于该测试数据的一第一画面；一摄影机拍摄该第一画面以产生一模板视讯；以及一处理器至少依据该模板视讯产生多个模板影像；以及一测试阶段，包括：在产生该多个模板影像之后，以一天线对该电子装置发出一干扰讯号；收到该干扰讯号的该电子装置接收该测试数据，并以该屏幕显示对应于该测试数据的一第二画面；该摄影机拍摄该第二画面以产生一测试视讯；该处理器依据该测试视讯产生一测试影像；该处理器计算该测试影像与每一该多个模板影像的一差异比例；以及当该差异比例大于一阈值时，该处理器发出一警示讯号。
7.综上所述，本发明提出一种基于计算机视觉的电磁敏感性测试方法，在训练阶段中，从摄影机拍摄的视讯中动态地更新属于正常画面的模板影像，在测试阶段中，从摄影机拍摄的视讯中获取测试影像与模板影像进行比对，从而自动检测出屏幕显示的画面中的任
何异常。此外，本发明可依据过去的异常检测记录动态地调整用于异常判断的阈值。
8.以上关于本揭露内容的说明及以下的实施方式的说明用以示范与解释本发明的精神与原理，并且提供本发明的专利申请范围更进一步的解释。
附图说明
9.图1是本发明一实施例的基于计算机视觉的电磁敏感性测试方法的流程图；
10.图2是图1中步骤s3的细部流程图；
11.图3是图2中步骤s33的细部流程图；
12.图4是图1中步骤t5的一实施例的细部流程图；以及
13.图5是图1中步骤t5的另一实施例的细部流程图。
14.符号说明
15.s：训练阶段
16.t：测试阶段
17.步骤：s1～s3,s31～s32,t1～t7,t51～t54,t5’,t51’,t52’具体实施方式
18.以下在实施方式中详细叙述本发明的详细特征以及特点，其内容足以使任何熟习相关技艺者了解本发明的技术内容并据以实施，且根据本说明书所揭露的内容、申请专利范围及图式，任何熟习相关技艺者可轻易地理解本发明相关的构想及特点。以下的实施例进一步详细说明本发明的观点，但非以任何观点限制本发明的范畴。
19.本发明提出一种基于计算机视觉的电磁敏感性(electromagnetic susceptibility，ems)测试方法，适用于测试具有屏幕的待测电子装置(以下简称电子装置)。
20.图1是本发明一实施例的基于计算机视觉的电磁敏感性测试方法的流程图，所述方法包括训练阶段s及测试阶段t。训练阶段s包括步骤s1～s3，测试阶段t包括步骤t1～t6，以下按顺序介绍每个步骤的实施细节。
21.步骤s1为「电子装置接收测试数据，屏幕显示第一画面」。第一画面对应于测试数据，测试数据的种类包括静态测试图、半静态测试图及动态测试图。图2是对应于上述三种测试数据的示意图，静态测试图是一张图片，画面中的每个像素的颜色始终不变；动态测试图是一段影片，画面中的每个像素的颜色随时间改变；半静态测试图相当于静态测试图及动态测试图的整合，换言之，将画面中的所有像素分为两部分，其中一部分像素的颜色始终不变，另一部分像素的颜色随时间改变。
22.步骤s2为「摄影机拍摄第一画面以产生模板视讯」。模板视讯是拍摄屏幕而得到的影片。
23.步骤s3为「处理器至少依据模板视讯产生多个模板影像」，请参考图2，其为步骤s3的细部流程图。步骤s31为「在模板视讯中设置感兴趣区域」，步骤s32为「依据感兴趣区域执行校正操作」，步骤s33为「执行算法以产生多个模板影像」。
24.在步骤s31中，处理器在模板视讯中设置感兴趣区域(region of interest，roi)。实务上，摄影机拍摄到的影像可能包含屏幕周边的环境，例如电子装置放置的桌面及屏幕
背后的墙面，但后续流程只需要模板影像中属于第一画面的部分，因此需要执行步骤s31过滤掉无关于第一画面的部分。步骤s31可分为自动和手动两种实施方式。
25.自动设置roi的方式是依据电子装置所处环境的颜色(或亮度)以及适应性阈值设定(adaptive thresholding)算法从模板视讯的每一个讯框(frame)中分割出属于第一画面的部分。所述适应性阈值设定算法例如大津算法(otsu)，k-均值(k-means)或opencv中的adaptivethreshold函数。另外，若射频消声室中除了屏幕外没有其他发光组件，则电子装置所处环境的颜色即为黑色，因此很容易地从模板视讯中分离出发光区域作为模板影像。
26.手动设置roi的方式则是使用另一个屏幕显示模板视讯，用户在另一个屏幕显示的画面中自行决定第一画面的范围。
27.实务上，电子装置被放置在旋转桌上，透过旋转让电子装置在测试阶段t时可以均匀地受到干扰讯号的影响，而摄影机通常设置在固定位置，因此摄影机拍摄的模板视讯中，屏幕的形状及位置会随着旋转角度而改变。因此，若摄影机可以随着电子装置同步旋转，使得镜头总是正对屏幕，则在其他实施例中，步骤s31也可以被省略。举例来说，处理器先判断模板视讯是否包含第一画面以外的部分，若判断结果为「否」，则可以跳过步骤s31，若判断结果为「是」，才执行步骤s31。
28.在步骤s32中，所述校正操作例如是透视变换(perspective transformation)。假设以另一个屏幕显示模板视讯，则用户在另一个屏幕上看到的画面与第一画面相比可能具有视觉上的差异，这是因为摄影机本身的内部参数及镜头的光学参数所导致。例如：若摄影机使用鱼眼镜头，则另一个屏幕上显示的画面的边缘相较于第一画面的边缘可能有变形或弯曲的现象，因此需藉由校正操作将模板视讯中变形的roi回复到第一画面的形状(通常是矩形，但本发明不以此为限)。
29.在步骤s33中，处理器可依据指定的取样频率从模板视讯获取多个讯框，然后根据这些讯框执行一算法以决定每个讯框中的每个像素的前景属性及背景属性，具有背景属性的像素为后续比对时的标准，具有前景属性的像素在大部分情况下将被视为异常的像素。
30.在步骤s33的第一实施例中，所述算法为高斯混合模型或vibe。
31.在步骤s33的第二实施例中，所述算法的细节如下：
32.首先处理器依据测试资料的类型而执行对应的程序来产生模板影像。
33.若测试数据为动态测试图，则处理器获取模板影像的至少一讯框作为模板影像，本发明并不限制讯框的获取数量，也不限制讯框的获取规则。例如：模板视讯包含30个讯框f1～f30，则处理器可以将所有的讯框f1～f30都设为模板影像；也可以只选择f1～f10作为模板影像。选择愈多模板影像，则测试阶段t时的比对精确度愈高。
34.若测试数据为静态测试图，处理器将根据模板影像的第一个讯框执行背景初始化程序，依据第二个讯框执行背景更新程序，其中第二个讯框为多个讯框中的一者，且这些讯框的时序都在第一个讯框的时序之后。请参考图3，其为步骤s33在测试数据为静态测试图时的流程图。
35.背景初始化程序如步骤s331所示，「取得邻接于第一中心像素的多个参考像素」。第一中心像素为第一讯框的每个像素。假设讯框尺寸为3
×
3，此讯框具有9个像素排列为九宫格的形式。此时第一中心像素位于九宫格的中央位置，而参考像素可从其余八个像素中挑选出n个，n≤8。n代表参考像素的取样深度，除非位置位于讯框的边缘，每一个第一中心
像素基本上都可从周边的多个像素中选择n个参考像素做为像素比对时的标准。邻接于第一中心像素的距离依据取样深度n进行调整，例如当取样深度n为20时，参考像素的选择范围须扩展至一个5
×
5的区域，此区域为以第一中心像素为中心，向四周各延伸两个像素的距离所形成的范围。
36.背景更新程序如步骤s332、s333、s334所示，步骤s332为「判断第二中心像素与每一参考像素的相似度」，步骤s333为「依据相似度决定第二中心像素的属性」，步骤s334为「依据指定机率、属性及连续讯框数，以第二中心像素取代第一中心像素或参考像素」。
37.在步骤s332、s333中，第二中心像素为第二讯框的每个像素。当第一讯框的n个参考像素中相似于第二中心像素的像素数量小于门坎值m时，处理器设置第二中心像素的前景属性。反之，当第一讯框的n个参考像素中相似于第二中心像素的像素数量不小于门坎值时，处理器设置第二中心像素的背景属性。在一实施例中，判断两个像素相似的条件为这两个像素的欧氏距离(euclidean distance)的差小于默认值。在另一实施例中，判断两个像素相似的条件为这两个像素的像素强度(pixel intensity)的差小于默认值。
38.在步骤s334中，当第二中心像素具有背景属性时，依据指定机率r，以第二中心像素取代第一中心像素或参考像素。
39.在步骤s334中，若在模板视讯的连续c个讯框中，位于相同位置的第二中心像素都具有前景属性，则处理器将此第二中心像素取代第一讯框中的第一中心像素。举一场景为例：在训练阶段s期间，使用者在某个时间点不慎将鼠标光标从画面左上角移动到右下角，然后持续停留在右下角。在此场景中，组成此游标的多个像素在训练阶段s的初期会被设置前景属性，因为鼠标光标并非测试数据的一部份，但是由于这些像素在连续多个讯框中持续存在，因此这些像素将被认定为模板影像的一部份。
40.在一实施例中，基于指令周期和精确度的考虑，采用如下参数设置：参考像素取样深度n＝5，门坎值m＝2，指定机率r＝1/16，且连续讯框数c＝15。
41.若测试数据为半静态测试图，则可以将测试数据分成动态部份及静态部分，针对这两个部分，各自参考上述动态测试图和静态测试图的方法进行适应性调整，进而产生模板影像。
42.在训练阶段s期间，处理器持续依据模板视讯中新的第二讯框以及图3所示的流程更新背景模型。背景模型由一个基础模板影像和一个参考像素字典组成，基础模板影像由多个第一中心像素组成(相当于更新后的第一讯框)，参考像素字典记录了基础模板影像的每个像素所对应的多个参考像素。换个角度来看，可将背景模型视为由多个模板影像组成，其中每个模板影像相当于基础模板影像的每个像素位置从第一中心像素及多个参考像素中选择一者所形成的组合。
43.在训练阶段s完成后，处理器已经产生一或多个模板影像并将其记录至储存装置中，以便于测试阶段t时读取这些模板影像当作模板(norm)。
44.在以上介绍的实施例中，处理器直接依据模板视讯的第一讯框作为初始的模板影像，然后依据模板视讯的第二讯框更新模板影像。在另一实施例中，处理器可先使用测试资料作为初始的模板影像，然后再依据模板影像更新模板影像。按照上述方式，可在维持比对精确度的前提下减少训练阶段s时所用的讯框的数量，进而减少训练时的计算成本。
45.测试阶段t包括步骤t1～t6，其中步骤t1为「天线对电子装置发出干扰讯号」。
46.步骤t2为「电子装置接收测试数据，屏幕显示第二画面」，第二画面对应于测试资料。在步骤t2与步骤s1中，所使用的测试数据的种类相同。
47.步骤t3为「摄影机拍摄第二画面以产生测试视讯」，步骤t2～t3类似于步骤s1～s2，而差别在于：在训练阶段t中，电子装置受干扰讯号所影响，因此第二画面中可能出现异常现象，例如画面全黑、画面闪烁、测试图案中的线条失真等；而在训练阶段s中，电子装置未受干扰讯号影响，因此可从中归纳出正常画面的模板。
48.步骤t4为「处理器依据测试视讯产生测试影像」，步骤t4类似于步骤s3，其差别在于：在步骤t4中，处理器依据测试视讯的每一个讯框产生一个测试影像。在一实施例中，若步骤s3中包含图2所示的设置roi并进行校正的流程，则适应性修改图2所示的流程使其适用于步骤t4。另外，如果想要加速测试阶段t的执行速度，在步骤t4中，处理器从测试视讯的所有讯框中选择部分的讯框产生多个测试影像。
49.步骤t5为「处理器计算测试影像与每一模板影像的差异比例」，依据测试数据的类型，处理器执行对应的程序来计算差异比例。当测试数据为动态测试图时，计算差异比例的方式如图4的步骤t5所示；当测试数据为静态测试图时，计算差异比例的方式如图5的步骤t5’所示。
50.当测试数据为动态测试图时，在训练阶段s结束后会产生多个模板影像，且处理器基于感知相似度(perceptual similarity metric)比对每一模板影像与输入影像在神经网络中的特征相似度。
51.请参考图4，步骤t51为「输入测试影像及每一模板影像至神经网络模型」，神经网络具有多个层的卷积运算，神经网络模型例如是alexnet，用于计算两个影像的感知差异度。在步骤t51中，也可包含将测试影像的尺寸调整(resize)为模板影像的尺寸的操作。
52.步骤t52为「依据测试影像的特征图与每一模板影像的特征图计算多个差异值」，在每一层卷积运算中，都会得到测试影像的特征图和每一个模板影像的特征图。在一实施例中，在前三层的卷积运算中，处理器上取样(upsample)模板影像的特征图以及测试影像的特征图，将这两个特征图放大为相同尺寸之后，计算这两个特征图之间的差异值。计算方式如下：对于两个特征图中位于相同位置l的两个像素，处理器计算这两个像素之间的欧氏距离d作为差异图在位置l的差异值。欧氏距离d愈小，代表这两个像素愈相似；欧氏距离d愈大，代表这两个像素愈不相似。在一实施例中，两个像素之前的欧氏距离d以各自的rgb值分别计算其欧氏距离，因此差异值是一个三维的数据。
53.步骤t53为「依据多个差异值产生差异图并计算差异比例」，在差异图中，若位置l的像素的欧氏距离d大于默认值，则处理器在差异图的位置l标示为差异像素。差异比例关联于差异图中所有差异像素的数量及差异图的总像素数量，其中每一差异像素的差异值皆大于默认值。在一实施例中，处理器计算所有差异像素组成的区块的面积，此面积占差异图总面积的比例即为差异比例。
54.经过步骤t51～t5的流程后，每一模板影像与测试影像都会产生一个差异图及差异比例，在一实施例中，处理器可从这些差异比例中选择最大者作为判断测试影像是否通过测试的标准，也可以计算这些差异比例的加权平均值作为判断测试影像是否通过测试的标准，本发明对此并不限制。
55.当测试数据为静态测试图时，计算差异比例的方式如图5所示的步骤t5’，其包括
步骤t51’及步骤t52’。在测试阶段t时，背景模型已停止更新。
56.步骤t51’为「依据背景模型及测试影像计算每一像素的差异数量」，详言之，对于测试影像位于位置l的像素p
t
，以及在背景模型中对应于位置l的像素pm，处理器计算pm中有几个像素相似于像素p
t
。处理器依据相似像素的数量(相似数量)以及像素pm的数量可计算出差异像素的数量(差异数量)，其中pm包括第一中心像素及其对应的多个参考像素。
57.步骤t52’为「依据差异数量决定差异像素，并产生差异图及差异比例」。
58.在一实施例中，对于测试影像的每一个像素，若此像素的差异数量超过一容忍值，则在差异图中标示此像素为差异像素，反之则不标示此像素为差异像素；而差异比例则是差异图中的差异像素占差异图中所有像素的比例。
59.请参考图1，步骤t6为「判断差异比例是否大于阈值」。
60.如果判断结果为「是」，移至步骤t7，如果判断结果为「否」，回到步骤s1，且处理器选择另一种类的测试数据后回到步骤s1执行下一轮的ems测试。
61.在步骤s7中，处理器发出警示讯号。此外，处理器将异常类型、干扰讯号的频率、测试数据的种类、电子装置的配置信息、以及当前使用的阈值等数据记录至储存装置的数据库中。
62.在一实施例中，在步骤t6之前还包括一个动态调整阈值的步骤。详言之，处理器读取电子装置的配置信息，在数据库寻找类似于此配置信息的历史测试记录。若找到历史测测试记录及其中使用的历史阈值，处理器依据历史阈值调整接下来步骤t6所用的阈值。
63.综上所述，本发明提出一种基于计算机视觉的电磁敏感性测试方法，在训练阶段中，从摄影机拍摄的视讯中动态地更新属于正常画面的模板影像，在测试阶段中，从摄影机拍摄的视讯中获取测试影像与模板影像进行比对，从而自动检测出屏幕显示的画面中的任何异常。此外，本发明可依据过去的异常检测记录动态地调整用于异常判断的阈值。
64.虽然本发明以前述的实施例揭露如上，然其并非用以限定本发明。在不脱离本发明的精神和范围内，所为的更动与润饰，均属本发明的专利保护范围。关于本发明所界定的保护范围请参考所附的申请专利范围。