画面转换信息生成装置、画面转换信息生成方法、画面转换信息生成用程序以及画面转换信息生成系统与流程

1.本发明涉及一种生成用于对显示于显示器的画面上的按钮、图标等操作对象要素被操作时的画面转换进行验证的数据的技术。


背景技术：

2.以往，作为验证所开发的计算机系统的画面转换是否符合设计的方法，例如进行了以下处理：由人工对画面上的按钮、图标等操作对象要素分别进行点击、轻触等操作，来由人工逐次记录作为转换目的地的画面。在这样的方法中，花费了人工的大量的劳力和时间。
3.作为自动地生成画面转换图的方法，例如在专利文献1中记载了如下一种系统：通过进一步使用分析用的程序对计算机系统的程序进行分析，来生成画面转换图。
4.现有技术文献
5.专利文献
6.专利文献1：日本特开2008-140408号公报


技术实现要素：

7.发明要解决的问题
8.然而，即使使用专利文献1中记载的系统，也不能保证程序分析用的程序中不存在程序错误，因此也还是需要对该分析用的程序进行验证。结果存在如果不用人工实际确认则无法验证画面转换的问题。
9.本发明所涉及的具体方式的目的之一在于，提供一种无需人工而能够获得用于对画面转换进行验证的信息的技术。
10.用于解决问题的方案
11.[1]本发明所涉及的一个方式的画面转换信息生成装置(a)用于生成与通过按钮被操作所产生的画面转换有关的信息，该按钮是显示于对象装置的显示器的画面上的操作对象要素，所述画面转换信息生成装置具有：(b)画面数据获取部，其获取正显示于所述对象装置的所述显示器的所述画面的图像数据；(c)画面转换按钮提取部，其对由所述画面数据获取部获取到的所述画面的图像数据进行分析，来提取所述画面中包含的一个以上的所述按钮；(d)操作对象按钮选择部，其从所述画面转换按钮提取部所提取出的所述按钮中选择设为操作对象的按钮；(e)按钮操作部，其使所述对象装置产生对所述操作对象按钮选择部所选择出的按钮进行了操作时的信号；(f)画面转换记录部，其画面转换数据记录到记录介质中，该画面转换数据包含通过对所述对象装置的所述按钮的操作所产生的画面转换之前的所述画面的图像数据和该画面转换之后的所述画面的图像数据、以及与在该画面转换时被操作的所述按钮有关的数据；以及(g)画面转换图生成部，其使用所述画面转换数据生成画面转换图。
[0012]
[2]本发明所涉及的一个方式的画面转换信息生成方法(a)用于生成与通过按钮被操作所产生的画面转换有关的信息，该按钮是显示于对象装置的显示器的画面上的操作对象要素，所述画面转换信息生成方法包括以下步骤：(b)第一步骤，控制装置获取正显示于所述对象装置的所述显示器的所述画面的图像数据；(c)第二步骤，所述控制装置对在所述第一步骤中获取到的所述画面的图像数据进行分析，来提取所述画面中包含的一个以上的所述按钮；(d)第三步骤，所述控制装置从在所述第二步骤中提取出的所述按钮中选择设为操作对象的所述按钮；(e)第四步骤，所述控制装置使所述对象装置产生对在所述第三步骤中选择出的所述按钮进行了操作时的信号；(f)第五步骤，所述控制装置将画面转换数据记录到记录介质中，该画面转换数据包含通过针对对象装置的所述按钮的操作所产生的画面转换之前的所述画面的图像数据和该画面转换之后的所述画面的图像数据、以及与在该画面转换时被操作的所述按钮有关的数据；以及(g)第六步骤，所述控制装置使用所述画面转换数据生成画面转换图。
[0013]
[3]本发明所涉及的一个方式的画面转换信息生成用程序(a)用于使计算机系统生成与通过按钮被操作所产生的画面转换有关的信息，该按钮是显示于对象装置的显示器的画面上的操作对象要素，所述画面转换信息生成用程序使计算机系统执行以下步骤：(b)第一步骤，获取正显示于所述对象装置的所述显示器的所述画面的图像数据；(c)第二步骤，对在所述第一步骤中获取到的所述画面的图像数据进行分析，来提取所述画面中包含的一个以上的按钮；(d)第三步骤，从在所述第二步骤中提取出的所述按钮中选择设为操作对象的按钮；(e)第四步骤，使所述对象装置产生对在所述第三步骤中选择出的按钮进行了操作时的信号；(f)第五步骤，将画面转换数据记录到记录介质中，该画面转换数据包含通过针对对象装置的所述按钮的所述操作所产生的画面转换之前的所述画面的图像数据和该画面转换之后的所述画面的图像数据、以及与在该画面转换时被操作的所述按钮有关的数据；以及(g)第六步骤，使用所述画面转换数据生成画面转换图。
[0014]
[4]本发明所涉及的一个方式的画面转换信息生成系统(a)用于生成与通过按钮被操作所产生的画面转换有关的信息，该按钮是显示于对象装置的显示器的画面上的操作对象要素，所述画面转换信息生成系统包括：(b)摄像机，其用于拍摄所述显示器；(c)机器人，其对所述显示器的画面上的指定位置进行操作；以及(d)控制装置，其连接有所述摄像机和所述机器人，其中，(e)上述的[1]中记载的画面转换信息生成装置被用作所述控制装置。
[0015]
此外，在本说明书中，设为将显示于显示器(显示单元)的影像(图像)定义为“画面”，并且将该画面上包含的按钮、图标、字符列等操作对象要素统一定义为“按钮”。
[0016]
根据上述结构，对当前显示于显示器的画面的图像数据进行分析来提取作为操作对象要素的按钮，选择其中的设为操作对象的按钮并进行操作，因此无需人工就能够对画面转换进行验证。
附图说明
[0017]
图1是示出一个实施方式的画面转换信息生成系统1的整体结构的图。
[0018]
图2是示出用于构成控制装置的计算机系统的一例的图。
[0019]
图3是机器人20的示意图。
[0020]
图4是示出控制装置10的功能结构的框图。
[0021]
图5是示出由画面转换记录部15记录的画面转换数据的结构的一例的图。
[0022]
图6的(a)是示出画面转换图的一例的图。图6的(b)是示出画面转换图中包含的按钮的一例的图。
[0023]
图7是用于说明画面转换信息生成系统1进行的画面转换验证处理的动作的流程图。
[0024]
图8是用于说明图7所示的步骤s13中的操作对象按钮的选择处理的过程的流程图。
具体实施方式
[0025]
图1是示出一个实施方式的画面转换信息生成系统1的整体结构的图。画面转换信息生成系统1生成用于验证显示于对象装置2的显示器的各种画面的转换状态的数据，该对象装置2是成为生成画面转换信息的对象的对象装置，画面转换信息生成系统1构成为包括：控制装置(画面转换信息生成装置)10；机器人20，其用于针对对象装置2的显示器进行轻触等操作；以及摄像机30，其用于拍摄显示于对象装置2的显示器的画面。
[0026]
在此，本实施方式中的对象装置2例如是指智能手机、平板终端、汽车导航装置等能够经由附设于显示器上的触摸面板来被操作、并且与该操作对应地在显示器上显示各种画面的装置。例如，如果是智能手机，则通过经由触摸面板进行操作输入，能够使预先安装的应用软件(所谓的应用)动作来执行各种信息处理(例如收发邮件)，此时由应用软件来随时切换要显示于显示器上的画面并进行显示。另外，例如，如果是汽车导航装置，则通过经由触摸面板进行操作输入，能够使预先装入的软件动作来执行路径搜索等信息处理，此时由应用软件来随时切换要显示于显示器上的画面并进行显示。
[0027]
控制装置10例如使用包括cpu、ram、rom、大容量存储装置、通信接口等的计算机系统来构成。在图2中示出用于构成控制装置的计算机系统的一例。图示的计算机系统构成为包括cpu(中央运算单元)101、rom(只读存储器)102、ram(临时存储器)103、hdd(硬盘驱动器)104、外部if(接口)105、键盘106、鼠标107以及lcd(液晶显示装置)108。这些cpu 101等相互之间通过总线进行了连接。cpu 101通过执行程序来进行信息处理。rom 102保存cpu 101进行动作所需要的基本控制程序等。ram 103临时存储cpu 101的信息处理所需要的数据。通过这些来构成上述的控制装置10。hdd 104是用于存储数据的大容量存储装置，保存用于实现上述的控制装置10的各功能的应用程序、数据等。
[0028]
机器人20能够接受来自控制装置10的操作指令而使臂进行动作，来针对显示于对象装置2的显示器的画面上的按钮、图标等操作对象要素进行操作。在此，在本实施方式中，在将轻触设为“操作”的前提下进行说明，该轻触是在显示器上触碰的动作。如图3所示的机器人20的示意图那样，本实施方式的机器人20构成为具有能够在至少3个轴的方向上自如地移动的按压部21，能够利用该按压部21来轻触对象装置2的显示器2a上的任意部位。此外，这样的机器人20是作为产业用机器人等所公知的，例如能够使用能够通过下述的url访问的网站中所公开的机器人。
[0029]
https://www.jnovei.co.jp,/service,iqc/
[0030]
摄像机30拍摄显示于对象装置2的显示器2a的画面并将其图像数据输出到控制装
置10。此外，该摄像机30也可以与机器人20一体地构成。
[0031]
图4是示出控制装置10的功能结构的框图。这些功能是通过控制装置10的cpu 101读入hdd 104中存储的程序并执行该程序来实现的。如图所示，控制装置10构成为包括画面数据获取部11、画面转换按钮提取部12、操作对象按钮选择部13、按钮操作部14、画面转换记录部15、画面转换图生成部16以及画面相同性判定部17。
[0032]
画面数据获取部11从摄像机30获取当前显示于对象装置2的显示器2a的画面的图像数据。
[0033]
画面转换按钮提取部12通过公知的图像识别处理对由画面数据获取部11获取到的图像数据进行分析，来提取作为画面上的显示元件的按钮、图标、字符列等操作对象要素。在此，被提取的操作对象要素是被预想为在对其进行了操作的情况下会发生画面转换的图像元件。此外，如上所述，在本说明书中，将按钮、图标、字符列等操作对象要素统一定义为“按钮”。
[0034]
作为上述的按钮的提取方法，能够使用任意的规则。例如，画面转换按钮提取部12将由圆形、矩形的框所包围的区域、色彩或图案与周围的区域不同的区域等识别为显示有被预想为在被操作的情况下会发生画面转换的按钮的区域，提取该区域的图像数据及其位置坐标(例如图像的中心点坐标)。
[0035]
操作对象按钮选择部13从画面转换按钮提取部12所提取出的一个以上的按钮中选择设为由机器人20操作的对象的按钮。
[0036]
按钮操作部14进行用于由机器人20对操作对象按钮选择部13所选择出的本次设为操作对象的按钮进行操作的控制。具体地说，按钮操作部14对机器人20发送包含设为操作对象的按钮的在画面上的位置坐标的操作指令。机器人20当从控制装置10的按钮操作部14接收到该操作指令时，轻触正显示于对象装置2的显示器2a的画面上的各按钮中的、显示在操作指令中包含的位置坐标所表示的位置处的按钮。
[0037]
画面转换记录部15将表示通过按钮操作部14的操作所产生的画面转换的结果的画面转换数据记录到控制装置10的hdd 104中。具体地说，画面转换记录部15例如将转换前后的画面的图像数据、从画面中提取出的按钮的图像数据及位置坐标、作为操作对象所选择的按钮的图像数据及位置坐标等记录到hdd 104中。
[0038]
图5是示出由画面转换记录部15记录的画面转换数据的结构的一例的图。例如，文件夹a是累积了与画面a有关的数据的文件夹，在该文件夹内记录有表示画面a的图像数据、从画面a中提取出的按钮的图像数据及位置坐标、作为操作对象所选择的按钮的图像数据及位置坐标等的关联的转换信息数据。关于其它文件夹也是同样的。
[0039]
另外，在文件夹a中，文件夹b、d、e作为子文件夹而与文件夹a进行了关联，由此表示出转换路径。在本例中，表示出如下的情况：通过画面a上的规定的按钮被操作而转换到画面b、画面d、画面e的各画面，通过画面b上的规定的按钮被操作而转换到画面c，通过画面e上的规定的按钮被操作而转换到画面f。
[0040]
画面转换图生成部16基于由画面转换记录部15记录的画面转换数据来生成画面转换图。所生成的画面转换图被记录到hdd 104中，并且被适当地显示于lcd 108。
[0041]
画面相同性判定部17判定通过比较由画面转换记录部15记录的图像数据而被视为与当前显示于对象装置2的显示器2a的画面相同的画面是否已经显示在了目前为止所经
历的转换路径中。作为是否为相同的画面的判定方法，能够使用任意的公知的技术。例如，能够比较图像数据的像素，在规定的比例(例如90％)以上的像素一致的情况下判定为相同的画面。由于转换前后的画面会因一部分元件(例如时刻显示)的变化等而不完全一致，因此在本实施方式中，设为只要相似度为一定的基准以上，就视为两个画面是相同的。
[0042]
图6的(a)是示出画面转换图的一例的图。当从作为主画面的画面a起的转换路径上存在的按钮的操作全部完成时，使用到此为止所累积的数据来生成该画面转换图。通过将该画面转换图显示于lcd 108、或者通过未图示的打印机打印出该画面转换图，从而用户能够验证整体的画面转换的内容。另外，也可以在操作的中途显示画面转换图，从而能够确认操作完成到了什么程度。图6的(b)是示出画面转换图中包含的按钮的一例的图。在画面转换图中包含应用软件的图标40a、表示某种功能的图形按钮40b、同样表示某种功能的符号按钮40c、同样表示某种功能的字符列40d等各种操作对象要素。如上所述，在本说明书中将它们统称为“按钮”。
[0043]
在图6的(a)所示的本实施方式的画面转换图中，在表示从某个画面转换到了其它画面时，在表示各画面的图像相互之间配置表示转换方向的箭头图像来表示各画面的关系，并且在各画面相互之间配置成为转换契机的按钮的图像。例如，在画面a与画面b的各图像之间示出了成为它们之间的转换契机的按钮a1的图像。像这样，通过在各画面的图像之间示出表示转换方向的箭头图像并且示出按钮的图像，从而更容易掌握画面转换的状态。
[0044]
图7是用于说明画面转换信息生成系统1进行的画面转换验证处理的动作的流程图。此外，关于各步骤的处理，只要信息处理的结果不产生矛盾则也可以适当地变更各步骤的顺序，还可以进一步追加其它处理。在此，作为用于进行下面的处理的准备，设为预先手动地设定全部的画面中所共通地显示的主按钮hm的位置坐标，并且将画面a设定为作为该主按钮hm被按下时的转换目的地的主画面，并记录到hdd 104中。此外，关于返回到主画面的操作，除了例示的由图像形成的主按钮hm之外，还考虑到是硬件按钮的情况、基于特定操作的情况等。在这些情况下，只要预先设定硬件按钮的位置或者预先设定特定操作即可。
[0045]
控制装置10的画面数据获取部11获取当前显示于对象装置2的显示器2a的画面的图像数据(步骤s11)。画面转换按钮提取部12对画面数据获取部11所获取到的图像数据进行分析，来从该画面上的按钮中提取被预想为在被操作的情况下会发生画面转换的一个以上的按钮(步骤s12)。
[0046]
操作对象按钮选择部13从画面转换按钮提取部12所提取出的各按钮中选择本次的设为操作对象的按钮(步骤s13)，并将用于指示该按钮的操作的操作指令发送到机器人20。机器人20当从控制装置10接收到操作指令时，轻触显示于对象装置2的显示器2a的画面上的按钮中的、操作指令所指示的按钮(步骤s14)。
[0047]
控制装置10的画面数据获取部11从对象装置2获取转换后的画面的图像数据(步骤s15)。画面转换记录部15将画面转换前后的图像数据、操作对象按钮的图像数据及位置坐标等表示画面转换的结果的画面转换数据记录到hdd 104中(步骤s16)。
[0048]
画面数据获取部11判定是否完成了全部画面的转换的记录(步骤s17)，在全部画面的转换的记录未完成的情况下(步骤s17：“否”)，返回到步骤s11。在全部画面的转换的记录已完成的情况下(步骤s17：“是”)，控制装置10完成一系列的处理。具体地说，在步骤s17中，例如在转换后的画面是作为主画面的画面a、并且转换路径上的全部的按钮已经被操
作、画面a上的全部的按钮也已经被操作的情况下，能够判定为全部画面的转换的记录完成。
[0049]
图8是用于说明图7所示的步骤s13中的操作对象按钮的选择处理的过程的流程图。此外，关于各步骤的处理，只要信息处理的结果不产生矛盾则也可以适当地变更各步骤的顺序，还可以进一步追加其它处理。
[0050]
画面相同性判定部17根据来自操作对象按钮选择部13的指示，来判定当前显示于对象装置2的显示器2a的画面是否与目前为止所经历的转换路径上已经显示过的画面(已显示画面)相同(步骤s131)。
[0051]
在判定为当前的画面与已显示画面相同的情况下(步骤s131：“是”)，操作对象按钮选择部13判定在从画面上的已操作按钮转换的下级的转换路径的画面上是否存在未操作按钮(步骤s132)。
[0052]
在判定为存在未操作按钮的情况下(步骤s132：“是”)，再次选择已显示画面上的上次操作过的已操作按钮来作为本次的操作对象，以再次显示与该未操作按钮对应的画面(步骤s133)。
[0053]
另一方面，在步骤s132中判定为在已操作按钮的下级的转换路径的画面上不存在未操作的按钮的情况下(步骤s132：“否”)，判定在当前显示的画面上是否存在未操作按钮(步骤s134)，在判定为存在未操作按钮的情况下(步骤s135：“是”)，操作对象按钮选择部13选择未操作按钮中的某一个按钮来作为本次的操作对象(步骤s135)。
[0054]
另一方面，在步骤s134中判定为不存在未操作按钮的情况下(步骤s134：“否”)，通过返回到主画面的操作而返回到主画面(步骤s136)。具体地说，如上所述，操作预先登记的主按钮hm来进行返回到作为主画面的画面a的处理。
[0055]
接着，参照图6的(a)所示的画面转换图来说明记录画面转换的动作的具体例。此外，仅说明主要的流程，省略按照流程图的详细说明。作为前提，设为：画面a是主画面，如图6的(a)所示，当对画面a上的按钮a1进行操作时转换到画面b，当对按钮a2进行操作时转换到画面d，当对按钮a3进行操作时转换到画面e。另外，设为：画面b是从画面a转换的画面，当对画面b上的按钮b1进行操作时转换到画面a，当对按钮b2进行操作时转换到画面c。设为：画面c是从画面b转换的画面，当对画面c上的按钮c1进行操作时转换到画面b。设为：画面d是从画面a转换的画面，当对画面d上的按钮d1进行操作时转换到画面a。设为：画面e是从画面a转换的画面，当对画面e上的按钮e1进行操作时转换到画面f。设为：画面f是从画面e转换的画面，当对画面f上的按钮f1进行操作时转换到画面a。
[0056]
首先，作为初始设定，使对象装置2的显示器2a显示作为主画面的画面a。画面数据获取部11获取当前显示于对象装置2的显示器2a的画面a的图像数据。画面转换按钮提取部12对画面a的图像数据进行分析，提取按钮a1、a2、a3的位置坐标及图像来作为被预想为在被操作的情况下会发生画面转换的按钮(下面称为“成为操作对象候选的按钮”。)。在该时间点，按钮a1尚未被操作，因此操作对象按钮选择部13将按钮a1选择为操作对象按钮，按钮操作部14将包含按钮a1的位置坐标的操作指令发送到机器人20。由此，机器人20进行显示于对象装置2的画面a上的按钮a1的轻触。
[0057]
通过对按钮a1的轻触而从画面a转换到画面b。由于转换到了画面b，因此画面转换按钮提取部12对画面b进行分析，提取按钮b1、b2的位置坐标及图像来作为成为操作对象候
选的按钮。由于按钮b1尚未被操作，因此操作对象按钮选择部13将按钮b1选择为操作对象按钮，机器人20轻触画面b上的按钮b1。
[0058]
通过对按钮b1的轻触而从画面b转换到画面a。由于转换到了画面a，因此画面转换按钮提取部12对画面a的图像数据进行分析，提取按钮a1、a2、a3的位置坐标及图像来作为操作对象候选按钮。
[0059]
另外，画面相同性判定部17参照由画面转换记录部15记录的画面转换数据，判断为当前显示于对象装置2的显示器2a的画面a是与目前为止所经历的转换路径上的画面a相同的画面。
[0060]
在该情况下，由于转换路径上的画面b的按钮b1以外的按钮b2尚未被操作，因此操作对象按钮选择部13再次将按钮a1选择为操作对象按钮，以再次显示画面b。机器人20轻触画面a上的按钮a1。
[0061]
由于通过对按钮a1的轻触而从画面a转换到了画面b，因此画面转换按钮提取部12对画面b的图像数据进行分析，提取按钮b1、b2的位置坐标及图像来作为成为操作对象候选的按钮。在该时间点，按钮b2尚未被操作，因此按钮b2被选择为操作对象坐标，并由机器人20轻触画面b上的按钮b2。
[0062]
通过对按钮b2的轻触而从画面b转换到画面c。由于转换到了画面c，因此画面转换按钮提取部12对画面c的图像数据进行分析，提取按钮c1的位置坐标及图像来作为成为操作对象候选的按钮。在该时间点，按钮c1尚未被操作，因此按钮c1被选择为操作对象按钮，并由机器人20轻触画面c上的按钮c1。
[0063]
由此而转换到画面b。由于转换到了画面b，因此画面转换按钮提取部12对该画面b的图像数据进行分析，提取按钮b1、b2的位置坐标及图像来作为成为操作对象候选的按钮。
[0064]
在此，画面相同性判定部17判断为当前显示于对象装置2的显示器的画面b是与目前为止所经历的转换路径上已经显示过的画面b相同的画面。另外，画面b上的按钮b1、b2以及画面b的前一转换路径上的画面c上的按钮c1全部被进行了操作，因此通过返回到主画面的操作(主按钮hm的操作)而返回到作为主画面的画面a。
[0065]
由此而转换到了画面a，因此画面转换按钮提取部12对画面a的图像数据进行分析，提取按钮a1、a2、a3的位置坐标及图像来作为操作对象候选按钮。在该时间点，按钮a2尚未被操作，因此按钮a2被选择为操作对象按钮，并由机器人20轻触画面a上的按钮a2。
[0066]
由此而转换到了画面d，因此画面转换按钮提取部12对画面d的图像数据进行分析，提取按钮d1的位置坐标及图像来作为操作对象候选按钮。在该时间点，按钮d1尚未被操作，因此操作对象按钮选择部13将按钮d1选择为操作对象按钮。机器人20轻触画面d上的按钮d1。
[0067]
由此而转换到了画面a，因此画面转换按钮提取部12对画面a进行分析，提取按钮a1、a2、a3的位置坐标及图像来作为操作对象候选按钮。
[0068]
另外，画面相同性判定部17判断为该画面a是与目前为止所经历的转换路径上已经显示过的画面a相同的画面。另外，关于已经成为过操作对象的按钮a1、a2，对转换路径上的按钮全部进行了操作，因此操作对象按钮选择部13将按钮a3选择为本次的操作对象按钮。机器人20轻触画面a上的按钮a3。
[0069]
由此而转换到了画面e，因此画面转换按钮提取部12对画面e进行分析，提取按钮
e1的位置坐标及图像来作为操作对象候选按钮。在该时间点，按钮e1尚未被操作，因此操作对象按钮选择部13将按钮e1选择为操作对象按钮。机器人20轻触画面e上的按钮e1。
[0070]
由此而转换到了画面f，因此画面转换按钮提取部12对画面f进行分析，提取按钮f1的位置坐标及图像来作为操作对象候选按钮。在该时间点，按钮f1尚未被操作，因此操作对象按钮选择部13将按钮f1选择为操作对象按钮。机器人20轻触画面f上的按钮f1。
[0071]
由此而转换到了画面a，因此画面转换按钮提取部12对画面a进行分析，提取按钮a1、a2、a3的位置坐标及图像来作为操作对象候选按钮。
[0072]
另外，画面相同性判定部17判断为该画面a是与目前为止所经历的转换路径上已经显示过的画面a相同的画面。由于转换路径上的按钮全部被轻触、并且画面a上的按钮全部被轻触，因此全部转换的记录完成。
[0073]
在处理结束的时间点，画面转换图生成部16使用由画面转换记录部15记录在hdd 104中的数据，来生成如图6的(a)所示的画面转换图，将该画面转换图的数据记录到hdd 104中并且显示于lcd 108。
[0074]
如以上说明的那样，画面转换信息生成系统1对当前显示于对象装置2的显示器的画面的图像数据进行分析来提取操作对象候选按钮，从该操作对象候选按钮中选择操作对象按钮并向机器人20发送操作指令，机器人20对画面上的该按钮进行操作，因此不需要人工操作，从而能够削减劳力、时间。另外，由于无需事先制作操作方案，因此能够削减制作操作方案的劳力、时间。另外，由于能够累积表示画面转换结果的数据，基于该数据来生成画面转换图并进行显示或打印，因此能够容易地验证画面转换的内容。
[0075]
此外，上述的实施方式只是一例，在本发明的主旨的范围内能够进行各种变形。上述的实施方式中所说明的画面转换信息生成系统1的装置结构、数据结构只是一例。另外，表示画面转换的结果的画面转换数据不限定于如上所述的文件夹结构，例如能够考虑单纯地以时间序列累积数据等各种数据结构。
[0076]
另外，在上述的实施方式中，将对象装置2的画面的图像数据通过摄像机30进行拍摄而导入到控制装置10，但也可以是，将控制装置10与对象装置2利用信号线缆(或者无线通信单元)来相互连接，并将控制装置10的画面数据获取部11构成为由控制装置10直接导入捕捉显示器2a的画面所得到的图像数据。
[0077]
另外，在上述的实施方式中，由机器人20进行了针对对象装置2的显示器2a的操作，但也可以是，将控制装置10与对象装置2利用信号线缆(或者无线通信单元)来相互连接，并使对象装置2产生与对显示器2a的操作相应的信号。在该情况下，只要从控制装置10向对象装置2直接(在内部)发送信号并将控制部10的按钮操作部14构成为产生与对显示器2a的按钮的操作相应的信号即可。
[0078]
附图标记说明
[0079]
1：画面转换信息生成系统；2：对象装置；2a：显示器；10：控制装置；11：画面数据获取部；12：画面转换按钮提取部；13：操作对象按钮选择部；14：按钮操作部；15：画面转换记录部；16：画面转换图生成部；17：画面相同性判定部；20：机器人；30：摄像机。