测试系统的制作方法

本发明涉及一种测试技术，尤其涉及一种自动化的测试系统。

背景技术：

在信息通讯产品的开发过程中，往往需要大量且重复的测试程序，以确保产品的品质。因为测试过程的不确定性与测试自动化的高门槛与高成本，造成目前大部分的测试需求仍然仰赖人工完成。随着人工智能与物联网技术的发展，发展出测试自动化技术。而目前现有的测试自动化技术主要有视窗使用者界面自动化(windowsuiautomation)、安卓使用者界面自动化(androiduiautomator)以及sikuli。然，这些测试自动化技术具有许多缺失导致使用上的不便。

现有的测试自动化技术相依于待测装置的系统平台，造成测试人员必须熟悉各种不同的操作环境，依照不同的操作环境撰写不同的测试程序。例如，windowsuiautomation必须在视窗操作系统环境下才可运作。androiduiautomator则仅支持andorid操作系统。sikuli则必须依赖于java虚拟机器(javavirtualmachine)。

现有的测试程序的容错性低，对于sikuli等使用图形比对的方式运作的测试技术而言，在不同的待测装置屏幕、不同的操作系统、不同显示语言或不同浏览器中，因为不同的屏幕尺寸、屏幕解析度设定、应用程序/网页排版，皆有可能造成图形比对错误。操作过程中，若有切换画面或是有不预期的视窗出现，都会造成执行错误。而在以windowsuiautomation或androiduiautomator为基础的自动化测试实例中，会以物件显示文字为识别物件的属性，这也会造成测试程序在不同操作系统显示语言间无法相容。

现有的测试自动化技术无法支持操作环境载入前的测试，无论是windowsuiautomation、androiduiautomator、sikuli皆需要待测装置的操作系统的支持才能作用，造成基本输入输出系统(basicinput/outputsystem，bios)、系统映像预载(imagepreload)、开箱体验程序(out-of-boxexperience，oobe)等未载入操作系统前的测试项目无法采用现有的测试自动化技术。

测试人员需要程序语言基础，造成较高的进入门槛及前置学习期。例如：windowsuiautomation、androiduiautomator需要使用标准的程序语言(例如:c++、java)来开发测试程序，而sikuli使用自行开发图形化程序语言。由于这些程序语言艰深难懂，造成现场测试人员遇到问题时，往往无法及时解决。

现有的测试自动化技术在执行自动化测试之前，需要在待测装置中额外安装测试程序或相关的测试平台。而在执行自动化测试时，这些测试程序会在操作系统的背景中执行，占据系统资源。因此，在进行系统效能测试的情况下，便会对测试结果造成影响。

基于上述，在面对需要进行大量测试的情况下，由于现有的测试自动化技术需要根据待测装置的操作环境来撰写不同的测试程序、调整在不同操作系统下测试程序的相容性、需额外执行操作系统载入前的测试以及对测试人员的前置学习期等因素，造成测试人员需要花费许多时间与心力，针对每一台待测装置进行确认与调整，进而增加大量布署自动化测试的困难。

技术实现要素：

本发明提供一种测试系统，可不仰赖于待测装置的操作系统且不需程序语言基础的测试自动化系统与方法。

本发明的测试系统，设置用于测试一待测装置，包括：取像装置；伺服装置，耦接至取像装置，驱动取像装置去拍摄待测装置的应用程序的画面而获得图像，并且解析图像以获得图像所包括的物件信息，且基于物件信息获得对应的测试程序；行为制动装置，耦接至伺服装置，自伺服装置接收测试程序，而基于测试程序产生控制信号，并传送控制信号至待测装置，作为应用程序的输入信号。

在本发明的一实施例中，上述伺服装置包括：物件模型，存储多个接口物件分别对应的多个特征参数；物件检测模块，基于特征参数解析图像，以获得图像中所包括的一或多个接口物件对应的物件信息；以及测试脚本解译模块，基于测试脚本来解译物件信息，以获得对应的测试程序，并传送测试程序至行为制动装置。

在本发明的一实施例中，所述伺服装置还包括：异常通知模块，耦接至测试脚本解译模块，用以发出异常通知信息。

在本发明的一实施例中，所述应用程序会产生多个受测画面，伺服装置通过取像装置拍摄所述受测画面而获得多个训练图像。通过物件检测模块基于特征参数解析各训练图像，以获得各训练图像所包括的接口物件。伺服装置还包括：物件属性编辑模块，修改接口物件的物件属性；以及脚本编写模块，基于接口物件的物件属性，产生测试脚本。

在本发明的一实施例中，物件属性包括物件类别、位置信息、执行顺序、执行行为以及等待时间。

在本发明的一实施例中，所述行为制动装置包括：第一信号传输接口，耦接至伺服装置以接收测试程序；第二信号传输接口，用于耦接待测装置；以及微控制器，耦接至第一信号传输接口与第二信号传输接口，执行输入装置模拟器，输入装置模拟器基于自第一信号传输接口所接收的测试程序，产生模拟待测装置的输入行为的控制信号，并传送控制信号至待测装置。

在本发明的一实施例中，输入装置模拟器为键盘模拟器、鼠标模拟器、触控屏幕模拟器、机器手臂模拟器、喇叭模拟器以及继电器模拟器其中一个或其组合者。

基于上述，本发明利用取像装置来拍摄待测装置的应用程序的画面，通过人工智能的分析来识别画面中的物件，并且根据测试脚本来获得对应的测试程序，以驱使行为制动装置来模拟待测装置的输入行为，据此，实现自动化的测试过程。

为让本发明的上述特征和优点能更明显易懂，下文特举实施例，并配合附图作详细说明如下。

附图说明

图1是依照本发明一实施例的测试系统的架构图。

图2是依照本发明一实施例的测试执行系统的架构图。

图3是依照本发明一实施例的测试方法的流程图。

图4是依照本发明一实施例的测试脚本编写系统的架构图。

附图标记说明

100：测试系统

110：待测装置

111：显示单元

120：取像装置

130：伺服装置

140：行为制动装置

141：微控制器

142：第一信号传输接口

143：第二信号传输接口

201：物件模型

202：测试脚本

203：物件检测模块

204：测试脚本解译模块

205：异常通知模块

401：脚本编写模块

402：可识别物件组

403：物件属性编辑模块

404：特殊物件处理模块

405：特殊事件处理模块

s305～s325：测试方法的各步骤

具体实施方式

图1是依照本发明一实施例的测试系统的架构图。请参照图1，测试系统100包括待测装置110、取像装置120、伺服装置130以及行为制动装置140。伺服装置130耦接至取像装置120与行为制动装置140。行为制动装置140耦接至待测装置110。

待测装置110包括显示单元111。显示单元111用以显示应用程序的画面。待测装置110可以采用手机、平板电脑、笔记本电脑、台式电脑等具有运算功能的电子装置等方式实施。

取像装置120可以是数码摄影机或可提供数字图像输出的类比摄影机，其可采用电荷耦合元件(chargecoupleddevice，ccd)镜头或互补式金氧半晶体管(complementarymetaloxidesemiconductortransistors，cmos)镜头等。

伺服装置130为笔记本电脑、台式电脑等具有较高运算功能的电子装置。伺服装置130包括处理器以及存储设备，在存储设备中存储有多个模块，处理器驱动这些模块实现测试方法各步骤。

所述处理器可采用中央处理单元(centralprocessingunit，cpu)、图像处理单元(graphicprocessingunit，gpu)、物理处理单元(physicsprocessingunit，ppu)、可程序化的微处理器(microprocessor)、嵌入式控制芯片芯片、数字信号处理器(digitalsignalprocessor，dsp)、特殊应用集成电路(applicationspecificintegratedcircuits，asic)或其他类似装置等来实现。所述存储设备是任意型式的固定式或可移动式随机存取存储器(randomaccessmemory，ram)、只读存储器(read-onlymemory，rom)、快闪存储器(flashmemory)、安全数字卡(securedigitalmemorycard，sd)、硬盘或其他类似装置或这些装置的组合。

而取像装置120可以是整合在伺服装置130上，也可以是与伺服装置130各自为独立的设备，在此并不限制。

行为制动装置140是用以模拟待测装置110的输入行为。例如，倘若待测装置110为个人电脑，则行为制动装置140提供键盘模拟器与鼠标模拟器的功能；若待测装置110为具有触控屏幕的智能手机，则行为制动装置140提供触控屏幕模拟器的功能。行为制动装置140由单芯片芯片微控制器开发板组成，可采用arduinoyun来实现行为制动装置140。

进一步地说，行为制动装置140包括微控制器141、第一信号传输接口142以及第二信号传输接口143。微控制器141耦接至第一信号传输接口142以及第二信号传输接口143。第一信号传输接口142耦接至伺服装置130以接收测试程序。第二信号传输接口143用于耦接待测装置110。第一信号传输接口142可以是无线网络接口或以太网络接口等。第二信号传输接口143可以是通用串行总线(universalserialbus，usb)。微控制器141用以执行输入装置模拟器。所述输入装置模拟器为键盘模拟器、鼠标模拟器、触控屏幕模拟器、机器手臂模拟器、喇叭模拟器以及继电器模拟器其中一个或其组合者，其基于自第一信号传输接口142所接收的测试程序，产生模拟待测装置110的输入行为的控制信号，并传送控制信号至待测装置110以作为应用程序的输入信号。键盘模拟器用以模拟键盘的输入行为。鼠标模拟器用以模拟鼠标的输入行为。触控屏幕模拟器用以模拟触控屏幕的输入行为。机器手臂模拟器用以模拟搬移、摇晃待测装置110，并且在待测装置110为掀盖式装置时，模拟调整掀盖角度。喇叭模拟器用以模拟语音输入。继电器模拟器用以模拟充电器、输出入装置的插拔。

伺服装置130传送测试程序给行为制动装置140。行为制动装置140通过无线网络接口或以太网络接口等第一信号传输接口142将测试程序经由网络控制模块(未示出)传送至微控制器141。据此，微控制器141可执行由伺服装置130传送过来的测试程序。之后，微控制器141再通过未示出的网络控制模块连结第二信号传输接口143，将控制信号输入至待测装置110。

图2是依照本发明一实施例的测试执行系统的架构图。请参照图2，伺服装置130包括物件模型201、测试脚本202、物件检测模块203、测试脚本解译模块204以及异常通知模块205。物件检测模块203、测试脚本解译模块204以及异常通知模块205可以是存储在伺服装置130的存储设备中的软件模块，其由一或多个程序码片段所组成，通过处理器来执行以实现对应的功能。另外，物件检测模块203、测试脚本解译模块204以及异常通知模块205也可以是由微控制器芯片芯片所组成的硬件，在此并不限定。测试执行系统负责测试脚本202的执行。

取像装置120主要用以获取待测装置110的显示单元111所显示的画面，并将所获取的图像交由物件检测模块203进行解析。物件检测模块203基于物件模型201中的特征参数来解析自取像装置120所获得的图像，以获得图像中所包括的一或多个接口物件对应的物件信息。物件模型201存储多个接口物件分别对应的多个特征参数。物件模型201与物件检测模块203相匹配。

在本实施例中，物件模型201存储了多种接口物件的特征参数。所述接口物件包括多种物件类别，例如：按钮(button)、核取方块(checkbox)、下拉式清单方块(combobox)、日期选取器(datetimepicker)、标签项(label)、连结标签项(linklabel)、清单方块(listbox)、多栏式列示盒(listview)、单选按钮(radiobutton)、文字方块(textbox)等物件类别。

物件检测模块203为人工智能处理装置，具有将输入的图像解析为一个或多个已定义的接口物件。物件检测模块203可以采用深度学习(deeplearning)类神经网络。物件检测模块203将自取像装置120获得的图像进行卷积(convolution)与池化(pooling)的动作，用以提取图像中的特征信息并合理化数据量。卷积与池化的动作可进行多次，以进行特征的最佳化，之后，将其结果再输入一个已训练过的深层类神经网络，以取得识别后的物件信息。

测试脚本解译模块204用以基于测试脚本202来解译由物件检测模块203所获得的物件信息，以获得对应的测试程序，并传送测试程序至行为制动装置140。测试脚本202由后述的测试脚本编写系统所产生，其用以指示行为制动装置140何时进行何种操作。

当测试执行过程中出现异常，可通过异常通知模块205来发出通知，以告知测试负责人，并协助排除状况。异常通知模块205耦接至测试脚本解译模块204，其用以发出异常通知信息。此处所定义的异常事件主要分为三类，物件检测异常、物件解译异常以及行为制动异常。

物件检测异常由物件检测模块203发出，通过测试脚本解译模块204来知会异常通知模块205。此类异常的产生源于待测装置110的画面上的物件无法通过物件检测模块203来正确识别，需要测试负责人手动给定物件信息以排除异常。

物件解译异常由测试脚本解译模块204所发出。即，当测试脚本解译模块204发现物件检测模块203所检测到的物件种类与数量与测试脚本202所定义的不相匹配时，发出物件解译异常至异常通知模块205。此类问题需要测试负责人手动更正物件信息或测试脚本内容以排除异常。

行为制动异常是由行为制动装置140发出，通过测试脚本解译模块来知会异常通知模块205。行为制动异常的产生是源于行为制动装置140无法执行测试脚本202所给定的执行行为。此类问题需要测试负责人重设或更换行为制动装置140。

异常通知模块205可包括异常接收单元、异常通知发送单元、异常处理提示单元以及异常处理执行单元。异常接收单元负责接收来自物件检测模块203、测试脚本解译模块204、行为制动装置140所发出的异常事件(物件检测异常、物件解译异常或行为制动异常)。异常通知发送单元负责通过预设的通知方法发出通知。例如，通过即时通讯软件、电子邮件、简讯或等来发出通知。异常处理提示单元根据异常事件而在伺服装置130中进行提示，并等待测试负责人指示或执行异常排除动作。

图3是依照本发明一实施例的测试方法的流程图。请同时参照图1～图3，在步骤s305中，伺服装置130会驱使取像装置120去拍摄待测装置110的应用程序的画面而获得图像。

接着，在步骤s310中，由伺服装置130来解析图像，以获得图像所包括的物件信息。之后，在步骤s315中，伺服装置130基于物件信息获得对应的测试程序，并且传送测试程序至行为制动装置140。具体而言，取像装置120在获取图像之后，将图像传送给物件检测模块203，使得物件检测模块203利用物件模型201来找出图像中已定义的接口物件的物件类别与位置信息。位置信息为接口物件位于图像中的坐标位置，例如以接口物件的中心点位置来代表。执行行为进一步包括了所使用的输入装置模拟器以及对应的动作。之后，测试脚本解译模块204将物件类别与位置信息与测试脚本202进行比对以获得对应的测试程序，即，各接口物件对应的执行顺序、执行行为以及等待时间。

之后，在步骤s320中，通过行为制动装置140基于测试程序产生控制信号。例如，行为制动装置140的微控制器141根据测试程序来决定要先执行哪一个接口物件的执行行为。通过执行行为可以得知所欲使用的输入装置模拟器以及对应的行为动作。行为动作包括双击、按左键等其中一个。

然后，在步骤s325中，行为制动装置140基于测试程序产生控制信号，并传送控制信号至待测装置110，作为应用程序的输入信号。

举例来说，假设通过物件检测模块203来识别出接口物件a对应的物件类别为按钮以及其位置信息为(15,20)。之后，测试脚本解译模块204将所述获得的物件信息与测试脚本202进行比对，而获得接口物件a对应的执行顺序、执行行为以及等待时间。例如，接口物件a执行顺序为第1位，使用鼠标模拟器，对应的行为动作为“双击”，等待时间为500毫秒。据此，将所述执行顺序、执行行为以及等待时间作为测试程序而传送至行为制动装置140。如此，行为制动装置140会产生模拟鼠标的“双击”动作的控制信号，在等待500毫秒之后，将控制指令传送给待测装置110。待测装置110基于所接收到的控制信号来执行应用程序中对应的操作。

在所述测试方法执行之前，伺服装置130需先建立出测试脚本。应用程序会产生多个受测画面，伺服装置130通过取像装置120拍摄这些受测画面而获得多个训练图像，以人工智能在这些训练图像中识别出受测物件，而测试负责人只需以表格化文字指定受测物件与执行动作即可完成测试脚本的编写。底下再举例来说明测试脚本编写系统的实施方式。测试脚本编写系统提供测试负责人编写测试脚本的环境。

图4是依照本发明一实施例的测试脚本编写系统的架构图。在本实施例中，伺服装置130还包括脚本编写模块401、可识别物件组402、物件属性编辑模块403、特殊物件处理模块404以及特殊事件处理模块405。脚本编写模块401、物件属性编辑模块403、特殊物件处理模块404以及特殊事件处理模块405可以是存储在伺服装置130的存储设备中的软件模块，也可以是由微控制器芯片芯片所组成的硬件，在此并不限定。

物件检测模块203将可识别的接口物件的物件信息存储至可识别物件组402，通过物件属性编辑模块403来编辑可识别的接口物件的物件属性。并且，物件检测模块203会将所检测到的接口物件告知脚本编写模块401，而脚本编写模块401在自物件属性编辑模块403获得可识别的接口物件的物件属性之后，再利用特殊物件处理模块404与特殊事件处理模块405来对未被识别的接口物件进行额外定义。

可识别物件组402是经由物件检测模块203将训练图像中可识别的接口物件筛选出来的集合。每个接口物件具有多个物件属性。物件属性包括物件类别、位置信息、执行顺序、执行行为以及等待时间。执行行为进一步包括制动器以及行为动作。制动器表示用来执行行为动作的模块，例如，可以是行为制动装置140所提供的输入装置模拟器。另外，为了便于区别执行顺序，还可以进一步包括区域此一属性。

表1

举例来说，表1所示为可识别物件组402中所记载内容的实施例。第一个属性为物件类别，用以识别接口物件属于哪一种控制项，包括按钮、核取方块、下拉式清单方块、日期选取器、标签项、连结标签项、清单方块、多栏式列示盒、单选按钮、文字方块等。第二个属性为位置信息，用以表示接口物件在训练图像中的坐标位置。例如，以接口物件的中心位置来作为其位置信息，以减少测试执行过程的误差。

第三、第四个属性为区域、执行顺序。同一时间、同一画面通常会有多个相同物件类别的接口物件，例如：三个按钮。此时，为方便区别，将显示单元111所获取的训练图像分为若干个区域，并由一个固定的规则加以定义，例如，先由左至右，再由上至下。在相同的区域中，进一步对同一类的接口物件区分执行顺序。执行顺序亦可由一个固定的规则加以定义，例如，先由左至右，再由上至下，根据接口物件的所在位置加以排序，来产生执行顺序。而区域这个属性还有一个功能，当取像装置120采用多个摄影机或具有对焦功能的摄影机架构时，伺服装置130可通过读取区域这个属性，采用相对应摄影机的输出图像或指定摄影机的对焦区域，以提升物件检测模块203的识别率。在可识别物件组402中的区域、执行顺序这两个属性只是预设值，可通过物件属性编辑模块403加以修改。

第五个属性为执行行为动作的制动器。例如，若标示为“鼠标模拟器”，则采用行为制动装置140的鼠标模拟器。第六个属性为行为动作，为预期在测试执行阶段所要执行的动作。第七个属性为等待时间，为动作执行后测试执行系统等待不作动的时间。设定此等待时间可减少因时序(timing)问题所造成的错误。

物件属性编辑模块403用以修改接口物件的物件属性。例如，制动器、行为动作与等待时间可由测试脚本编辑人员通过物件属性编辑模块403来进行设定。

而倘若测试流程中有接口物件无法由物件检测模块203所识别，则可通过特殊物件处理模块404进行额外定义。特殊物件共有五个属性。第一个属性为编号，用以识别每一个特殊物件，故此属性有唯一性，不可有任两个物件具有相同的值。另四个属性为位置信息、制动器、行为动作及等待时间，其定义分别与所述表1相同，但此四个属性都需要由测试脚本编辑人员于特殊物件处理模块404内人工给定。

另外，倘若测试流程中有与控制项无关的动作(例如，按windows键)，则可通过特殊事件处理模块405进行额外定义。特殊事件共有四个属性。第一个属性为编号，用以识别每一个特殊事件，故此属性有唯一性，不可有任两个事件具有相同的值。另三个属性为制动器、行为动作及等待时间，其定义分别与所述表1相同，但此三个属性都需要由测试脚本编辑人员于特殊事件处理模块405内人工给定。一般测试过程中，常需要进行屏幕截图，以作为除错或测试过程纪录(log)使用。此时，即可定义制动器为“取像装置”，动作为“截图(screenshot)”的特殊事件。本系统自动控制取像装置120完成拍图及后续动处理，例如将图像存储于特定数据夹，自动编号，给定专案与时间信息等信息。

脚本编写模块401用以基于接口物件的物件属性，产生测试脚本202。在此，脚本编写模块401为模块化工具，方便测试脚本编辑人员开发测试脚本202。测试脚本202以页面为单位。一个典型的测试脚本202由多个页面组成，以完成测试流程内多个受测画面的操作。一个页面即对应到待测装置110的一个受测画面。表2所示为测试脚本202中一个页面的示意图。

表2

一个页面基本上由三个部分组成页面编号、动作单元、断开时间(timeout)。页面编号用以识别每一个页面，具有唯一性，不可有任两个页面具有相同的编号。动作单元定义在此页面需要执行的测试操作，由多个接口物件(包括可识别的接口物件、特殊物件、特殊事件)组成。断开时间用以增加测试执行的强健性。倘若本页面的操作未在断开时间内完成，或待测装置110当前的受测画面未在断开时间内进入下一个受测画面，则可进一步通过异常通知模块205发出异常。

另外，伺服装置130还可提供测试环境校正系统，用以确保取像装置120能够取得合适大小的图像，供测试执行系统与测试脚本编写系统使用。在本实施例中，为提供最佳实作效果，除了所述物件模型201(对应于视窗物件的模型)之外，还另外提供另一物件模型，其对应于待测装置110的显示单元111外框。在测试环境校正系统中，使用对应待测装置110的显示单元111外框的物件模型，来提供边界框(boundarybox)信息与鼠标位置信息。

测试环境校正系统用以估测待测装置110的显示单元111的边界框是否在容差范围内。自所述另一物件模型取得边界框信息，并解析出上下边界与左右边界两组数值。之后，确认上下边界与左右边界这两组数值之中，至少有一组居于边界容差范围内。即上下边界数值位于上下边界容差范围内，或左右边界位于左右边界容差范围内。若无任一组数值居于边界容差范围，则可进一步发出警示，提示测试人员移动待测装置110或取像装置120，直到至少有一组数值居于边界容差范围内。若上下边界与左右边界这两组数值皆位于边界容差范围内，则可确认待测装置110的摆放位置合适，即可完成测试环境校正。若只有一组数值居于边界容差范围，则必须持续进行校正。

另外，测试执行系统若是通过鼠标模拟器、触控屏幕模拟器来执行行为动作时，往往需要基于屏幕解析度的坐标值。因此，在测试环境校正阶段则需要取得屏幕解析度信息。在此，可利用鼠标模拟器步进移动鼠标，再利用人工智能判别鼠标的位置。藉此自动推算出屏幕解析度，免去人工查找的麻烦。首先，将鼠标坐标归零，回到屏幕解析度坐标的原点(通常为屏幕左上角)。接着，指示鼠标模拟器于给定屏幕方向依鼠标单位步进量前进。鼠标单位步进量为鼠标每次前进的一个固定量，例如为3个像素。屏幕方向可依序给定为向右或向下。之后，判读物件检测模块203回报的鼠标坐标。若物件检测模块203连续若干次回报空值，即判断鼠标已移出屏幕边界外，并回报最后一个非空值的步进计数。由最后一个非空值的步进计数乘上鼠标单位步进量即可推算出给定屏幕方向的屏幕解析度。所推算出的屏幕解析度亦可存储为一组设定档(profile)，方便之后同款的待测装置可直接套用，不必再进行屏幕解析度获取的流程。

又，伺服装置130还提供了测试环境读取系统，用以自动读取测试机的系统环境。测试人员往往需要记录待测装置110的系统环境，以供分析测试结果时使用。在此，伺服装置130导入物件检测与字符识别等技术，实现此需求的自动化，有效降低测试人员手动抄写系统环境的负担。字符识别技术可根据一字符模型将具文字数据的图像进行分析识别，取得其中的文字信息。

例如，将输入画面进行预处理，以过滤非文字部分并移除噪声(常用的算法有灰阶后二质化、中值滤波等)。接着文字切割，取得单一字符的图像(常用的算法有水平投影和垂直投影等)。将每一个字符进行特征抽取，取得字符的架构、外型、像素方向等特征值。最后由识别器辨别出每一个字符(常用的算法有线性分类器(linearclassifier)、类神经网络(neuralnetwork)、支持向量机(supportvectormachine)等)。

由于字符识别技术尚未达到100％的识别率，故，测试环境读取系统会进一步将取像装置120所抓取的原图与字符识别技术所辨别出来的最佳n个可能答案(topn)一并呈现出来，供测试人员圈选正确答案。若正确答案不在n个可能答案内，测试环境读取系统也提供测试人员手动确认的接口，并收集此类识别不佳的样本，以供识别器的再训练或调适使用。

综上所述，所述实施例是利用伺服装置来执行测试脚本，而不是于待测装置中来执行，利用取像装置拍摄应用程序的画面，进而通过伺服装置分析所获得的图像来获得画面中的物件，并驱使行为制动装置来模拟待测装置的输入行为，使得待测装置进一步执行对应的操作。据此，具有不需倚赖待测装置的操作系统、并且具有高容错性、支持操作环境载入前的自动化、不需额外安装测试程序等优势。

此外，所述实施例所提供的物件化的编写方式，让一般测试人员可轻松来编写测试脚本。即，借力于人工智能的发展，以人工智能识别受测物件，之后，测试人员只需以表格化文字指定受测物件与执行动作，即可完成自动化测试脚本的编写，大大降低一般测试人员进行测试自动化的门槛。

虽然本发明已以实施例揭示如上，然其并非用以限定本发明，任何所属技术领域中技术人员，在不脱离本发明的精神和范围内，当可作些许的更改与润饰，故本发明的保护范围当视权利要求所界定者为准。