经由通信网络连接CNC和机器人控制装置而得的机器人系统的制作方法

本发明涉及一种具备利用了CNC的机械以及机器人的机器人系统。

背景技术：

近年来，提出了通过使利用机床等的CNC(计算机数值控制装置)的机械与机器人进行协作来使生产工序自动化的各种系统。这种自动化系统不增加工厂人员就能增加产量，被积极地应用于再设计一部分工序来增加产量时或建设新工厂时等情况。

在这种自动化系统中执行的工序中，机器人有时从工厂的PLC(可编程逻辑控制器)的简易控制盘或利用了CNC的机械显示器的GUI(图形用户界面)中确认状态并能够进行操作。由此，现场作业人员能够集中操作利用了CNC的机械例如机床，或能够在由机械进行的加工中并行地进行其它作业。

例如在日本特开平6-149329号公报中公开了从机床实施机器人程序编辑、启动和机器人轻推的技术。然而在日本特开平6-149329号公报中并没有特别记载期望什么样的机械操作画面。在日本特开2010-277425号公报中公开了一种具备用于管理机床的画面来作为机器人的示教操作盘的GUI的加工系统。由此，操作员能够确认机床的状态并且能够从机器人执行机床的一部分操作。

对于工厂的作业人员来说，机器人被分为两种类型。一种类型的机器人与产品的加工直接相关。因此，产品的产量和质量依赖于机器人的性能和使用方法。另一种类型的机器人仅进行工件的搬送、自动换刀或清洗等生产工序中的辅助作业。在该情况下，产品的加工由机床等专用机械执行。

在前者的应用例中例如存在由机器人进行的机械部件的弧焊或汽车车体工厂中的点焊等。在这些情况下，如果不能按照预期使用机器人，则有可能发生质量问题并大量生产次品。因而，工厂的作业人员有仔细查看机器人的使用方法的动机。另外，存在作业人员的管理责任人由于作业人员熟练操作机器人因而容忍分割工作时间中的时间的倾向。

在后者的情况下，情况有所不同。产品的加工由利用了CNC的机械等执行，因此作业人员需要正确地理解该机械的使用方法并且具有关于加工本身的基本知识。另外，如果不完全掌握对该机械中能够执行的加工进行辅助的各种功能，则无法在短时间内不返工地实施确保了所需充分质量的加工。例如在使用加工中心的情况下，作业人员需要注意用于适当地处理工件的知识、用于输出NC程序的CAD/CAM、冷却剂的调节、用于固定工件的最佳夹具的选择、磨损刀具的刀具长度校正等各种事项。

在对利用了如上述CNC的机械进行处理时，存在作业人员感到机器人在变化小的条件下反复进行相同作业的倾向。另外，在机器人正常运行期间不与产品的质量相关，因此存在作业人员的管理责任人也会有类似印象的倾向。

结果，存在作业人员或管理责任人认为掌握一般生产业务所需的一个或两个过程即足够而不会熟读机器人使用说明书的倾向。机器人提供者无法责备该情况。这是由于，如果机器人的管理成本抵消了引入机器人带来的工厂整体的生产性提高，则失去引入机器人的意义。

只要机器人正常地持续运行并执行一般生产业务，则即使作业人员不熟练操作机器人也不会产生问题。但是，在作业人员或管理责任人为了研究业务的改进而要重新考虑机器人的作业内容的情况下，即使是小规模的变更，也要花费大量时间从页数繁多的使用说明书中找出相关联的说明处。

另外，作业人员平时几乎不会意识到机器人而进行其它作业，因此在发生问题导致机器人停止的情况下，将该情况作为意外的事件来受理，从而有时感到心理上的压抑。并且，机器人的GUI的设计标准与作业人员通常使用的利用了CNC的机械的GUI不同，因此在不习惯的作业中产生人为错误，有可能导致恢复作业无法顺利地进行(关于人为错误，特别是参照《为谁设计？增补修订版》、Donald A Norman、新曜社、原著《The Design of Everyday Things Revised and Expanded Edition》、第4章获知要做什么-制约、发现可能性、反馈、第五章人为错误？不，是设计差)。

提出了很多在任意外观与操作应答标准之间切换利用了CNC的机械或机器人中的某一个GUI画面。例如在日本特开平6-168020号公报中公开了对利用了CNC的机械显示进行切换的技术。在国际公开第2007/018753号中公开了对HTML(超文本标记语言)文件中的帧和显示在其内部的显示要素的布局进行变更的技术。在日本特开平2-051720号公报中公开了在触摸面板上显示键输入区域时变更键布局的方法。

然而，即使能够利用辅助GUI的构建的各种方法或软件，在由于不同的设计源、不同的目的、不同的用途而进行两个GUI的设计的情况下，通常两个GUI的最终标准差异也会很大。因而，完全掌握一个GUI的作业人员不依赖于使用说明书或有经验人的指导而完全掌握另一个GUI是很困难的。

作为针对这种问题的对策，与日本特开平6-149329号公报所公开的关联技术一样，存在从利用了CNC的机械的显示器的GUI的提供者将用于处理与CNC通信连接的机器人的GUI与用于机械的GUI进行合并而提供的方法。由此，能够以与处理机械相同的使用容易度来使用机器人。

然而，在该情况下，要在设计利用了CNC的机械的一侧开发专用GUI，结果导致机械成本增大。因此，实际上各机械制造商开发用于操作机器人的画面并将其提供给顾客是很罕见的。

技术实现要素：

作为作业人员感到不易使用机器人的状况，考虑以下两种情况。第一，在原机器人的GUI画面上，未应用通常能够针对人应用的公知的设计指南，从而不易使用。第二，熟练使用利用了CNC的机械的显示器的GUI画面的作业人员产生由GUI的操作差异引起的确认上的操作失误。本发明以应对后者的问题为目的。

根据本发明，提供一种机器人系统，具备利用了CNC的机械、经由通信网络与上述CNC连接的机器人控制装置、以及显示上述机械的GUI画面的显示器，其特征在于，该机器人系统具备：机械属性值存储部，其存储以下组合：用于对上述显示器的GUI画面追加机器人的显示要素的种类、外观、显示位置的每个属性所对应的值的组合以及上述显示要素的各种类的操作应答标准的每个属性所对应的值的组合；和机械画面生成部，其根据存储在上述机械属性值存储部中的上述每个属性所对应的值的组合，对上述机械的GUI画面追加并生成上述机器人的显示要素，在上述机械属性值存储部存储有上述机器人的上述显示要素和上述显示要素的各种类的操作应答标准的每个属性所对应的值的组合的情况下，上述机械画面生成部构成为生成包括上述机器人的显示要素在内的上述显示器的GUI画面，在上述CNC与上述机器人控制装置处于通信中时，能够从上述机械执行上述机器人的状态确认或操作。

在优选实施方式中，上述机器人控制装置具备：机器人属性值存储部，其用于将上述机器人的显示要素和上述显示要素的各种类的操作应答标准追加到上述显示器的GUI画面，上述机器人系统还具备：第一发送部，其将构成上述显示器的GUI画面的每个显示要素的种类、外观、显示位置的每个属性所对应的值的组合以及上述显示要素的各种类的操作应答标准的每个属性所对应的值的组合，从上述机械属性值存储部发送到上述机器人控制装置；第一制作部，上述机器人控制装置通过对所发送的上述每个属性所对应的值的组合进行分析，而使存储在上述机器人属性值存储部中的要追加的上述机器人的每个显示要素的外观和操作应答标准的属性所对应的值与上述显示器的GUI画面的每个显示要素的外观和操作应答标准的属性所对应的值一致，该第一制作部制作上述显示器的GUI画面的每个显示要素的外观和操作应答标准的一致后的上述机器人的每个显示要素的每个属性所对应的值的组合；以及第二制作部，其对所发送的每个属性的上述显示位置的属性值进行分析，来提取上述显示器的GUI画面的、至少根据功能或目的而分离的区域中每个显示要素的排列规则，并应用于存储在上述机器人属性值存储部中而要追加的上述机器人的每个显示要素中，来制作上述机器人的每个显示要素的显示位置的属性值的组合，上述机械属性值存储部构成为经由上述通信网络来反映以下组合：制作出的上述显示器的GUI画面的每个显示要素的外观和操作应答标准的一致的上述机器人的每个显示要素的每个属性所对应的值的组合、以及制作出的上述机器人的每个显示要素的显示位置的属性值的组合，上述机械画面生成部构成为根据上述机械属性值存储部的每个属性值被变更这一情况来再生成上述显示器的GUI画面。

在优选实施方式中，上述机器人控制装置具备：机器人属性值存储部，其用于将上述机器人的显示要素和该显示要素的各种类的操作应答标准追加到上述显示器的GUI画面，上述机器人系统还具备：显示器GUI画面捕捉处理部，上述机械捕捉上述显示器的GUI画面通过该显示器GUI画面捕捉处理部来获取画面捕捉图像数据；第二发送部，其将上述画面捕捉图像数据从上述显示器GUI画面捕捉处理部经由上述通信网络发送到上述机器人控制装置；第三制作部，上述机器人控制装置对所发送的上述画面捕捉图像数据进行分析，来确定上述显示器的GUI画面的每个显示要素的外观、显示位置、种类，并且使存储在上述机器人属性值存储部中的要追加的上述机器人的每个显示要素的外观属性所对应的值与从上述画面捕捉图像数据中确定出的外观一致，该第三制作部制作上述显示器的GUI画面的每个显示要素的外观一致的上述机器人的每个显示要素的每个属性所对应的值的组合；以及第四制作部，其对从上述画面捕捉图像数据确定出的每个显示要素的位置进行分析，来提取上述显示器的GUI画面的、至少根据功能或目的而分离的区域中每个显示要素的排列规则，并应用于存储在上述机器人属性值存储部中而要追加的上述机器人的每个显示要素中，制作上述机器人的每个显示要素的显示位置的属性值的组合，上述机械属性值存储部构成为经由上述通信网络反映以下组合：制作出的上述显示器的GUI画面的每个显示要素的外观一致的上述机器人的每个显示要素的每个属性所对应的值的组合、以及制作出的上述机器人的每个显示要素的显示位置的属性值的组合，上述机械画面生成部构成为根据上述机械属性值存储部的每个属性值被变更这一情况来再生成上述显示器的GUI画面。

在优选实施方式中，上述第二发送部构成为将由显示器GUI画面捕捉处理部周期性地获取的画面捕捉图像数据经由上述通信网络发送到上述机器人控制装置，上述第四制作部构成为：每次由上述机器人控制装置重新获取画面捕捉图像数据时，与已经获取的过去的图像数据进行比较来进行分析，确定上述显示器的GUI画面的操作应答的内容，并制作存储在上述机器人属性值存储部中的要追加的上述机器人的显示要素的各种类的操作应答标准的每个属性值的组合，上述机械属性值存储部构成为经由上述通信网络来反映应当追加的制作出的上述机器人的显示要素的各种类的操作应答标准的每个属性值的组合。

附图说明

通过参照与附图关联的本发明所例示的实施方式有关的详细说明，能够更加明确这些以及其它本发明的目的、特征和优点。

图1是表示一个实施方式所涉及的机器人系统的结构例的图。

图2是第一实施方式所涉及的机器人系统的功能框图。

图3是表示按照第一实施方式执行的处理的流程图。

图4是表示GUI画面的第一例的图。

图5是表示GUI画面的第二例的图。

图6是表示GUI画面的第三例的图。

图7是第二实施方式所涉及的机器人系统的功能框图。

图8是表示按照第二实施方式执行的处理的流程图。

图9是表示图8的步骤S206的处理的流程图。

图10是表示追加图标的方式的图。

图11是表示追加图标的方式的图。

图12是表示追加图标的处理的流程图。

图13是第三实施方式所涉及的机器人系统的功能框图。

图14是表示按照第三实施方式执行的处理的流程图。

图15是表示图14的步骤S507的处理的流程图。

图16是表示按照第四实施方式执行的处理的流程图。

图17是表示第一实施方式的变形例所涉及的机器人系统的图。

图18是表示第二实施方式的变形例所涉及的机器人系统的图。

图19是表示第一实施方式的其它变形例所涉及的机器人系统的图。

图20是表示第二实施方式的其它变形例所涉及的机器人系统的图。

图21是表示第三实施方式或第四实施方式的变形例所涉及的机器人系统的图。

图22是表示第三实施方式或第四实施方式的其它变形例所涉及的机器人系统的图。

图23是表示第一实施方式的进一步其它变形例所涉及的机器人系统的图。

图24是表示第二实施方式的进一步其它变形例所涉及的机器人系统的图。

图25是表示第一实施方式的进一步其它变形例所涉及的机器人系统的图。

图26是表示第二实施方式的进一步其它变形例所涉及的机器人系统的图。

图27是表示第三实施方式或第四实施方式的进一步其它变形例所涉及的机器人系统的图。

图28是表示第三实施方式或第四实施方式的进一步其它变形例所涉及的机器人系统的图。

具体实施方式

以下，参照附图说明本发明的实施方式。适当地变更图示的实施方式的结构要素的比例尺。对相同或对应的结构要素附加相同的参照附图标记。

图1示出一个实施方式所涉及的机器人系统的结构例。机器人系统1具备利用了CNC(计算机数值控制装置)的机械2、机器人3、以及控制机器人3的机器人控制装置4。另外，如图1所示，机械2具备具有GUI画面51的显示器5。

在本实施方式所涉及的机器人系统1中，如后文中所述，经由对机械2的GUI画面51进行操作的操作系统，确认机器人3的状态或能够执行机器人3的操作。

利用了CNC的机械2并不特殊的限定，但是例如也可以是NC机床、NC铣床、加工中心(MC)、车削加工中心(复合车床、TC)、磨床、磨削中心、滚床、插齿机、磨齿机、齿轮精加工机床、放电成形加工机、线切割放电加工机、激光加工机等机床，或冲压机、数值控制转塔冲床、弯板机等锻压机械、电动注射成形机等。

机器人3并不特殊限定，但是例如为具有如图示的6轴的垂直多关节型机器人。机器人3构成为：能够响应来自机器人控制装置4的控制指令，使刀具前端点(TCP)以规定的姿势定位于规定位置。

机器人控制装置4经由公知的通信网络与机械2连接。机器人控制装置4为具备如下部分的数字计算机：执行各种运算的CPU、存储机器人3的控制程序和参数等信息的存储器、以及用于与外部装置连接的接口。

在本实施方式中使用的通信网络6为在M2M中采用的通信等，即可以是有线或也可以是无线。期望通信网络6确保通信的实时性。如果包括能够收发一般数据的通信标准，则通信网络6例如也可以是属于现场网络的通信或属于伺服控制网络的通信。

显示器5的GUI画面51例如为触摸面板、液晶监视器(LCD)、电子纸、阴极射线管等平面型监视器。在机械2与机器人3两者的显示要素遵循基于共同模型的UI(用户接口)自动生成标准的情况下，可以采用使用特殊眼镜而能够立体观察的3D监视器、3D全息装置。

图2是机器人系统1的功能框图。机器人系统1具备机械画面生成部11和机械属性值存储部12。

遵照基于属性定义和值的模型基础的UI自动生成标准来构成机械画面生成部11。机械画面生成部11通过对属性定义和值进行分析，以能够进行逆向工程的方式定义模型。模型化的原理例如请参照非专利文献1的4.2.2.3“Multi-targeting by Reverse Engineering”、4.3.1的“Run-time Adaptation:a Three-step Process”或“Model-Based UI XG Final Report”、May 2010。

机械画面生成部11能够无编程地切换UI。在本实施方式中针对以下两种情况进行描述：(1)将所有与机械2的GUI画面内的机械2的状态确认和操作有关的部分以及与机器人3的状态确认和操作有关的部分，按照同一标准属性定义，生成为每个属性值的组合的情况；(2)与机械的状态确认和操作有关的部分并不限于基于属性定义和属性值的方法，而仅针对与机器人3的状态确认和操作有关的部分，支持模型基础的UI自动生成标准的情况。

显示在GUI画面51中的显示要素为：如在设计人员研究GUI画面51的情况下想到的、伴有在GUI画面51内能够视觉观察的名称的辨别对象的种类和其单独对象。对这些显示要素并不进行限定，但是其中可以包括图标、标签、文本框、标签、菜单、图像显示区域(image)、表格、网格、复选框、选择按钮、分类区域、饼图、柱状图、线图、标尺、滚动条等。

在本说明书中使用的“显示要素的外观属性”为与形状有关的特征。例如为矩形、三角形、六边形、圆、正圆等形状，尺寸、位置、根据形状与尺寸与位置决定的有效边界、边界以直线和连接点调整角度并被其它直线包围的部分，或对直线与直线的连接点定义弧而设为圆角的部分等。外观属性也可包括阴影效果、有无附带的文本、文本语言种类、字体种类、尺寸和显示位置。

在显示要素为网格的情况下，外观属性也可以包含矩阵的定义、行的标题、列的标题的有无、各单元内显示要素种类(文本、复选框、图像显示区域等)。

在本说明书中使用的“显示要素的操作应答标准”能够包括有效操作的规定与限定、针对各种有效操作的应答反馈的种类(动画、色彩变化、闪烁效果)。作业人员的机器人3的GUI是否适合于机械2的GUI的实际感觉还与GUI画面51的反馈标准是否一致有关。因此，本发明中的用于指定机器人3的显示要素属性的标准也可以包括规定GUI画面51的反馈标准的属性。

在本说明书中使用的“分组区域(Grouping Region)”相当于“GUI画面51的、至少根据功能或目的而分离的区域”。例如，在分组区域中有CSS3标准中的框模型或HTML标准中的帧。在HTML中，以矩形区域单位来分割窗口，进行显示要素的分组。然而，在利用了CNC的机械2的GUI画面51中，除了矩形以外，也可以通过六边形、正圆、椭圆等一般几何图形将显示要素分组。

在通过并非矩形的几何图形来进行显示要素的分组的实际GUI画面中，为了作业人员不会误解GUI画面，在很多情况下能够解释为GUI画面的设计人员应用视觉感知格式塔原则(Gestalt principles of visual perception)，近来，大量使用一般几何图形(六边形、正圆、椭圆等)来设计并不罕见。因此，在本实施方式中，不将使显示要素分组的区域称为帧或框(box)，而称为分组区域。

机械属性值存储部12存储机械属性值。另外，机械属性值存储部12具备机器人3的显示要素属性值存储部121。

如图2所示，机械2的CNC 20具备通信部21，该通信部21具备机器人操作内容发送部211。另外，机器人控制装置4具备通信部41，该通信部41具备机器人操作内容接收部411。由此，在CNC 20与机器人控制装置4之间收发机器人3的操作内容。

参照图3说明一个实施方式所涉及的由机器人系统1执行的处理。首先，在步骤S101中，判断CNC 20与机器人控制装置4是否在通信中。

在CNC 20与机器人控制装置4通信中时，进入到步骤S102。在步骤S102中，判断在机械属性值存储部12中是否存储有机器人3的显示要素的属性值。

在步骤S102的判断结果是肯定的情况下，进入到步骤S103，机械属性值存储部12将与机器人3的显示要素的种类、外观、显示位置、操作应答标准对应的属性值发送到机械画面生成部11。

在步骤S104中，机械画面生成部11根据机器人3的显示要素属性值组合，追加机器人3的显示要素来生成GUI画面51。GUI画面51包括本来用于机械2的状态确认和操作的信息。在此，除此以外，机械画面生成部11在机械2的GUI画面51的各分组区域内追加外观和操作应答标准为共通的机器人3的显示要素。因而，机械2的作业人员能够从机械2的GUI画面51中操作机器人3。

在CNC 20与机器人控制装置4未进行通信时(在步骤S101的判断结果为否定的情况下)或并未存储与机器人3的显示要素相关联的属性值时(在步骤S102的判断结果是否定的情况下)，进入到步骤S105，机械画面生成部11生成仅对机械2进行状态确认和操作的画面。即，机器人3的显示要素从GUI画面51中排除。

并不仅限于显示器5的GUI画面51的局部分区的矩形区域中追加机器人3的显示要素。例如也可以在与机械2的导航有关的显示区域中以相同的外观、操作应答标准的显示要素来追加切换为用于进行机器人3的状态确认或操作的画面的导航。

图4示出GUI画面51的第一例。在图4的左侧示出仅包括机械2的显示要素的GUI画面51，右侧示出包括机械2的显示要素和机器人3的显示要素的GUI画面51。

在显示器的GUI画面51的各种切换画面区域中，在CNC 20未与机器人3进行通信时，显示机械2的各种设定和管理画面等。当与机器人3的通信开始时，各种切换画面区域被分配至用于确认机器人3的状态等的区域。

在机械2的图标的全局导航的区域中追加用于打开对机器人3进行状态确认和操作的画面的图标。另外，在文本子菜单区域中也追加用于打开机器人3的其它画面的文本的子菜单。

图5示出GUI画面51的第二例。与图4同样地，在图5的左侧示出仅包括机械2的显示要素的GUI画面51，右侧示出包括机械2的显示要素和机器人3的显示要素的GUI画面51。

在机械2的GUI画面51中，在图标的全局导航区域中，如果与表示滑动的三角形的记号接触而滑动，则能够切换所显示的图标。机器人3的图标被追加到全局导航的图标表格。另外，在上部存在通过网格进行区域分割而得到的小图标的状态显示区域，在该区域有余地时，也可以使机器人3的警告显示以相同外观进行显示。

图6示出GUI画面51的第三例。与上述示例同样地，在图6的左侧示出仅包括机械2的显示要素的GUI画面51，在右侧示出包括机械2的显示要素和机器人3的显示要素的GUI画面51。

在机械2的GUI画面51中存在包括图标的全局导航的显示区域，在该显示区域中追加机器人3的图标。如图6所示，在将机械2的各种目的画面分割为四个区域而能够进行显示的标准的情况下，例如也可以在其中的两个区域中分配用于对机器人3进行状态确认和操作的画面。

根据本实施方式所涉及的机器人系统1，得到以下优点。

对显示在利用了CNC 20的机械2的显示器5中的GUI 51进行设计的机械制造商按照每个属性值的定义预先将通信连接目的地的机器人3的显示要素的设定保存到机器人3的显示要素属性值存储部121。在此，机器人3的显示要素被设定为与机械2的显示要素的外观和操作应答标准相同。由此，在与机器人3进行通信时，能够将对机器人3进行状态确认和操作的GUI显示在机械2的GUI画面51中。

结果是，作业人员与机械2的制造商、机型无关地，能够与该机械2同样地操作机器人3。由此，即使作业人员不熟悉机器人3或作业人员并未读过机器人3的使用说明书，作业人员也能够根据显示在机械2的显示器5中的信息来获取机器人3的状态确认和操作所需的信息。

在处理工业设备时，在利用GUI画面上的操作这一情况变得很普遍的当前，实际使用方法也根据设备不同而不同。根据本实施方式，作业人员仅观察利用了CNC的机械的GUI画面，就能够推测与机器人相关联的信息。结果是，学会机器人的操作所需的时间缩短。在本系统中，机器人控制装置能够根据通信网络6的数据收发来确定利用了CNC的机械制造商与机型。因而，如果在机械属性值存储部12的机器人的显示要素属性值存储部121中预先保存与多个制造商的利用了CNC的机械对应的属性值组合，则即使在机器人连接于与当前机械2不同的机械的情况下，只要保持有与其不同的机械对应的属性值组合，就能够根据其不同机械的GUI画面设计来适当地追加用于对机器人进行操作和状态确认的显示要素。

在CNC与机器人控制装置之间的通信被切断时，机器人的GUI不会显示在机械的显示器中。因而，作业人员能够根据机械的GUI画面来判断是否能够与机器人进行协作。一旦机器人的显示要素被正常地追加到机械的GUI画面之后，在机器人的显示要素消失的情况下，作业人员能够推测与机器人的通信由于某种理由而被切断。在该方式下，作业人员能够具有与即插即用的UX(User Experience：用户体验)相同的感觉，因此快速变得熟练。

通过委托机器人的操作经验少的作业人员对切换后的机器人画面进行协作，并用通常作为可用性测试(或UX指标(User Experience Metrics)计测)而公知的各种方法来进行试验，能够核实实际是否变得使用便捷。或者，也可以使用根据日本特开2010-102465号公报所公开的作业人员的操作记录信息并通过规定的计算式来估计熟练程度来进行试验的方法等。

图7是第一实施方式所涉及的机器人系统1的功能框图。在本实施方式中，机械属性值存储部12具备用于存储机械2的显示要素属性值的机械属性值存储部122以及用于存储机器人3的显示要素属性值的机器人属性值存储部121。

CNC 20的通信部21具备：机器人操作内容发送部211、用于发送机械2的显示要素属性值的属性值发送部212、以及用于接收机器人3的显示要素属性值的属性值接收部213。

机器人控制装置4的通信部41具备：机器人操作内容接收部411、用于接收机械2的显示要素属性值的属性值接收部412、用于发送机器人3的显示要素属性值的属性值发送部413、机器人属性值存储部42、用于对机械2的显示要素属性值进行分析的属性值分析部43、以及用于决定机器人3的显示要素属性值的属性值决定部44。

在本实施方式中，由机械属性值存储部12的属性值存储部122存储有用于对机械2进行状态确认和操作的属性值。对于此，在机械属性值存储部12中并未存储用于对机器人3进行状态确认和操作的属性值。生成用于对机器人3进行状态确认和操作的画面信息的属性值被存储在机器人控制装置4的机器人属性值存储部42中。

参照图8说明在本实施方式所涉及的机器人系统1中执行的处理。步骤S201～S205的处理与参照图3说明的步骤S101～S105的处理相同。然而，在本实施方式中，在步骤S202的判断结果是否定的情况下，执行步骤S206、S207的处理。

在步骤S206中，机器人控制装置4决定机器人3的显示要素属性值组合。在后文中说明步骤S206的详细处理。在步骤S207中，机器人控制装置4将机器人3的显示要素属性值组合发送到机械属性值存储部12。

接着，参照图9说明图8的步骤S206的处理。在机械属性值存储部12中存储有机械2的显示要素属性定义和属性值组合。该信息仅能够读取而并不能变更。因此，将该信息发送到机器人控制装置4，通过机器人控制装置4分析该信息。

在步骤S301中，将构成显示器5的GUI画面51的属性定义和属性值组合从机械属性值存储部12发送到机器人控制装置4。

在步骤S302中，判断机械2的GUI画面标准的所有属性定义和属性值是否被公开。即，判断机械2的显示要素的种类、外观、显示位置、操作应答标准等属性值组合是否被全部公开。

在所有属性定义和属性值组合被公开的情况下(在步骤S302的判断结果是肯定的情况下)，进入到步骤S303，根据属性定义和属性值组合，确定每个显示要素的外观、显示位置、种类、操作应答标准。

在步骤S304中，搜索相当于机械2的操作的全局导航的图标菜单、文本菜单。决定机器人3的显示要素属性与值的组合，使得以作为搜索结果而被发现的形式追加机器人3的状态确认、面向操作的面向导航的图标和菜单。

在步骤S305中，搜索所有机械2的分组区域和画面转变的关系并确定。在步骤S306中，确定每个分组区域的显示要素的排列规则。

在步骤S307中，按照所确定的排列规则，决定机器人3的显示要素属性定义和属性值的组合，使得再次排列在机器人3用各种画面上预先准备的每个显示要素的排列。在后文中说明决定布局的算法。

另一方面，在步骤S302中，在所有属性定义和属性值组合并未公开的情况下(在判断结果是否定的情况下)，即仅公开了用于决定为追加机器人3的显示要素所需的最小限度的属性和属性值的、机械2的显示要素属性值的组合的情况下，进入到步骤S308。在步骤S308中，可追加的分组区域与显示要素的种类由公开属性限定，因此搜索并确定可变更和追加的属性定义和属性值。

在步骤S309中，从作为搜索结果而发现的部分中确定相当于全局导航、菜单的机械的分组区域，并追加所需的机器人的显示要素，由此进行指定。

接着，自由地追加机器人3的显示要素并确定良好的区域的尺寸和位置，显示要素的排列规则仅按照所公开的标准，其余设为现有值的状态，从而完成布局处理。将变更的机器人3的显示要素属性值的组合从机器人控制装置4存储到机械属性值存储部12。利用其结果，通过机械画面生成部11来更新显示器5的GUI画面51。

在从用于处理机械2的画面切换为用于处理机器人3的画面时，期望能够从处理机械2时的区域中自然地推测要视觉观察的区域和要操作的区域是否与处理机械2时的区域一致，以便作业人员不会引发人为错误接管型滑动或模式错误滑动(参照《为谁设计？增补修订版》、Donald A Norman、新曜社、原著《The Design of Everyday Things Revised and Expanded Edition》、第四章获知要做什么-制约、发现可能性、反馈、第五章人为错误？不，是设计差)。

为了该目的，排列成机器人3的各种显示要素接近显示器5的GUI画面51的相同种类的显示要素。接着，举出用于指定布局的示例，但是也可以在不会引起人为错误的范围内定义其它决定布局的规则来生成布局。

参照图10和图11说明追加图标的处理。在机械属性值存储部12中存储有用于对机械2进行状态确认和操作的属性定义和属性值。但是，并未存储用于对机器人3进行状态确认和操作的属性定义和属性值。

另一方面，在机器人控制装置4的机器人属性值存储部42中存储有要添加于机械2的GUI画面51的、用于对机器人3进行状态确认和操作的现有GUI的属性定义和定义值。参照图11，示出追加给显示器5的GUI画面51以适合于机械2用设计的机器人的图标。图标的追加处理按照图12示出的步骤S401～S411来执行。

根据本实施方式所涉及的机器人系统1，通过对机械画面生成部11中与生成有关的属性定义和定义值的组合进行逆向工程，将用于使机器人3的显示要素适合于机械2的画面的分析自动化。由此，能够使机器人3的显示要素的追加处理自动化。

因而，机械2的制造商不需要在机械属性值存储部12中预先指定根据机器人3的制造商或机型不同而不同的值的组合。通过该机器人系统1使处理自动化，因此能够消减GUI画面的设计费用。另外，即使在将机器人3与不同于机械2的机械进行连接的情况下，只要该不同的机械具有与机械2相同的结构，也能自动地决定用于该不同的机械的机器人3的操作和用于状态确认的显示要素。而且，在使机器人3返回至与机械2的连接的情况下，已经存在适合于机械属性值存储部12的机器人的显示要素属性值存储部121的机器人的显示要素属性值的组合，在机械的GUI画面上顺利地追加机器人的显示要素。新连接于机器人3的机械在每次连接时使该机器人3分析机械的GUI画面，自动地决定适合于机器人3的显示要素的追加标准。由此，如果多个制造商的机械具有与本实施方式的机械2相同的结构，则不需要由设计师分析这些多个制造商的各GUI画面，机器人3能够适当地决定用于对机器人3进行操作、状态确认的显示要素的追加标准。

图13是第三实施方式所涉及的机器人系统1的功能框图。根据本实施方式，代替生成用于对机械2进行状态确认和操作的画面的属性值，机器人控制装置4对显示器5的GUI画面51的画面捕捉数据进行分析。本实施方式在无法从机械属性值存储部12读取与机械2相关联的属性值时特别有效。

根据本实施方式，机器人系统1还具备显示器GUI画面捕捉处理部13。另外，CNC 20还具备显示器5的GUI画面51的图像捕捉数据发送部214。机器人控制装置4还具备显示器5的GUI画面51的图像捕捉数据接收部414以及显示器5的GUI画面51的图像捕捉数据分析部45。

图14是表示本实施方式所涉及的通过机器人系统1执行的处理的流程图。机器人系统1按照步骤S501～S509对GUI画面51的画面捕捉数据进行分析。图15示出的步骤S601～S608为更详细地示出步骤S507的处理的流程图。

画面更新周期在利用了CNC的机械2和机器人3两者中，最慢也为15fps(帧/秒钟)，例如为60fps或30fps。在画面更新周期在机械2与机器人3之间不同的情况下，期望机器人3的画面更新周期与机械2的画面更新周期相同或更小。

从机械2的GUI画面51获取的静止图像数据或动画数据用于辨别GUI画面51的每个显示要素。例如使用在GUI画面51的运行中画面捕捉到的类似于位图(bit-map)数据的图像文件。公知的文件图像形式存在“bmp”、“GIF”、“png”、“jpeg”等。

另外，公知的方法也可以使用《Associating the Visual Representation of User Interfaces with their Internal Structures and Metadata》、Oct.15-19,2011、UIST’11所公开的对计算机画面进行自动分析的软件“Sikuli”。

对PC等工作站的GUI画面进行分析的技术为公知的，对利用了CNC的机械的GUI画面进行分析的算法能够使用类似于公知技术的算法。

对利用了CNC的机械的GUI画面进行自动分析的算法包括以下第一工序和第二工序。

第一工序：机器人控制装置4根据获取到的显示器5的GUI画面51的图像捕捉数据来确定机械2的显示要素。

第二工序：机器人控制装置4不限于能够确定所有属性值，因此以使机器人3的显示要素模仿判明的机械2的各种显示要素的外观并再现排列规则的方式，决定与显示位置有关的属性值。

此外，在对显示器5的GUI画面51追加机器人3的显示要素时，在模仿不充分的情况下，作业人员能够进行操作使得将画面捕捉数据反复发送到机器人控制装置4来进行分析。例如该操作在完成追加机器人3的显示要素的时间点使显示器5的GUI画面51显示消息框，能够通过作业人员回答来执行是否承认机器人3的GUI追加的完成。

接着，说明显示要素的种类确定方法。

与分析通常的照片图像有所不同，能够通过构建以现有GUI画面的设计倾向为前提的算法来高精度地执行GUI画面的图像数据的分析。这是由于，工业设备的GUI画面的设计在很多情况下应用设计人员所指的同形设计(Skeuomorphic Design)。如果从“《为谁设计？增补修订版》、Donald A Norman、新曜社、原著《The Design of Everyday Things Revised and Expanded Edition》、第四章获知要做什么-制约、发现可能性、反馈、第五章人为错误？不，是设计差”的220页中摘录，则“同形设计是指例如即使旧的、熟悉的想法已经无法起到功能性作用也使该想法与新技术结合(To incorporate old,familiar ideas into new technologies,even though they no longer play a functional role)”。“用于克服针对新想法的恐惧的一个方法是使其模仿于原想法来制作。这具有使从原想法向新想法的转变简单这种优点。舒适且学习变得容易。不需要替换当前的概念模型，只要修改即可。(One way of overcoming the fear of the new is to make it look like the old.In fact,it has its benefits in easing the transition from the old to the new.It gives comfort and makes learning easier.Existing conceptual models need only be modified rather than replaced)”。

说明在每个利用了CNC的机械和机器人中GUI画面的设计人员所设想的设计的方向性。GUI画面的设计倾向于在信息处理设备的个人计算机、工作站的领域中与份额大的确定设计源的GUI画面设计相类似。作为GUI画面的设计，虽然包括用于ATM的储蓄处理的设计、发电站等机械设备的管理用设计、安保服务公司所提供的监控和警报用GUI画面的设计等，但是很少采用与这些相类似的设计。

这是由于，无论是利用了CNC的机械的使用者还是机器人的使用者，可以假设为他们被雇用或创业而从事这种业务，但是假设在此以前具有家庭用个人计算机、培训机构中训练的个人计算机等中使用GUI画面的经验。

然而，在新兴国家的培训机构或家庭中，个人计算机的普及率仍然低，在新兴国家即使确保制造工厂的人员，也有时很难找到具有个人计算机使用经验的人。因此，如今在GUI画面的设计中不应忽视智能手机。智能手机首先在发达国家普及，但是在新兴国家也快速地普及。因而，作为制造工厂的作业人员而新录用的人员在很多情况下即使不会操作个人计算机也可期望熟练使用智能手机。因此，在重新设计GUI画面的情况下，期望考虑智能手机的GUI画面的设计准则。

存在个人计算机或智能手机等假设为制造工厂的新雇用人员积累使用经验并认为妥当的现有设备，具有这些的GUI画面的设计。而且，在忽视这种GUI画面设计的方向性的情况下，设计人员想到了使用产品的作业人员到完全掌握设备为止的熟练时间变长或有可能无法完全掌握所有有用的功能。

因而，以下所示的算法是重视通过图像处理对以往的个人计算机或智能手机的画面进行自动分析的情况下的效率的顺序，而这对于利用了CNC的机械、对机器人的GUI画面进行自动分析的目的也是有用的。

首先，说明对一个GUI画面的图像数据进行分析的算法。在该图像数据的分析中利用现有的图像处理技术和光学字符识别(Optical Character Recognition，以下称为“OCR”)技术。其中，在由属性定义和属性值指定GUI画面的样式下，在字符显示和其画面内的显示位置以及与字符有关的字体、尺寸、相对于水平线的字符绘制的角度、拱形状地配置曲线状字符等字符的绘制特征全部被指定的情况下，将其信息利用于分析，而以下需要通过OCR读取图像数据内的字符，即使字符本身命中率并非100％，字符区域的检测也假设为100％来进行解释。

(字符区域的分析算法)

通常，OCR确定字符区域并识别其内部单独字符。通过OCR处理得到多个字符区域的位置。由于即不识别手写字符也不识别由相机得到的实拍图像，因此识别成功率高到可视为100％。当单独地评价字符时有时含错误检测，但是字符区域的识别几乎不会失败。作为依据，具有以低质量文档图像为对象的附带条件的高分辨率方式的技术进展(参照“使用附带条件的高分辨率和字符线宽判断的恶化文档图像的二值化法”、池田修二郎、吉田大海、饭国洋二、2014电子信息通信学会综合大会演讲论文集)、基于神经网络技术的分析性能提高等识别率提高的进展。

另外，在本发明中，使用即使在字符颜色为淡色且背景色为浓色的情况下或字符颜色为浓色且背景色为淡色的情况下也能够进行检测的OCR。原理上，针对图像数据利用关于饱和度(Saturation)添加高通滤波器时能够与字符颜色与背景色的浓淡关系无关地检测边缘这一情况。如果检测到边缘，则只要以针对饱和度的中央值反转的方式对所有像素变更显示颜色等，在任意情况下，均能够设为字符颜色为浓色且背景色为单色而进行字符检测处理。

GUI画面的显示图标的区域背景当然是相对于单色或对单色实施阴影的部分能够检测字符的背景，但即使背景为实拍图像或特殊的外观图像，通过将字符设为白色字符等使得GUI画面的使用者能够读取，也能够检测字符。在该情况下，即使单独字符的命中率降低，也能够正确地检测字符区域。

接着，说明从通过OCR检测出的字符区域中获取背景信息的算法。

(1-1)从原图像数据中仅剪辑字符区域。

(1-2)将字符区域的图像变换为256灰度的灰度等级。

(1-3)得到与每个灰度的浓淡色对应的图像内像素数的合计值的分布。

(1-4)分布内关注最大灰度的浓淡色。

如果背景为单色或对单色实施阴影的部分，则最大灰度的浓淡色为背景色的像素反映的部分的可能性大。在背景为实拍图像或特殊的外观图像的情况下，最大灰度的浓淡色为字符颜色的像素反映的部分或背景色的像素反映的部分中的一个。

将该灰度的浓淡色设为A。在此，A还不定。

(1-5)从最大灰度的浓淡色中提取±5左右灰度的浓淡色的像素。将其称为“A附近像素”。而且，针对字符区域的整个像素数，计算A附近像素数的合计数的比例。如果其比例为20％至40％左右，则A为字符颜色的可能性大。如果比例为60％至80％左右，则A为背景色的可能性大。

在此所指的百分比的值根据语言不同而大不同。如果是印欧语系的表音字符，则构成字符区域内字符的像素数的存在比例倾向于小，相反中文繁体字表意字符等倾向于高。关于这一点，在使用本发明前，需要预先确定检测对象的利用了CNC的机械的GUI画面的显示语言的种类。

将字符颜色不设为单色的理由在于，通常在绘制字体时对背景进行抗锯齿处理，由此在很多情况下感到比人的视觉更平滑。

(1-6)在从首先从字符区域内整个像素得到的、像素相对于浓淡色的灰度的合计数最大的灰度A分离±30左右以上的灰度中存在与背景色或字符颜色对应的像素的可能性大。除了A附近的灰度以外，接着成为最大的灰度的浓淡色设为B。通过A附近灰度像素的整个面积的比例，在前级A作为背景色这种概率变高的情况下，执行下一过程。

将B附近的±5左右灰度像素称为“B附近像素”。计算B附近像素数的合计数相对于字符区域的整个像素数的比例。如果其比例与A的比例的合计值在90％以上，则A被确定为背景色且B被确定为字符颜色。在中文繁体字等的情况下，用于字符表现的像素数与用于背景色的像素数的各存在比例有时接近一半一半。

在这种情况下，针对B附近像素与A附近像素的比例的两者，分别计算从原图像数据中得到的像素数的存在比例而并非计算字符区域。此时，确定为字符颜色的颜色附近的像素数必须少于确定为背景色的颜色附近的像素数。利用该情况，能够确定字符颜色与背景色。

(1-7)如果A附近灰度的像素数与B附近灰度的像素数的合计比例相对于字符区域的整个像素数为20％～50％左右，则在背景中分配实拍图像或特殊外观图像的可能性大。

(1-8)在该情况下，从字符区域的整个像素中剪辑与A附近灰度对应的像素，将其余的像素设为C区域。针对C区域，将色调分解为256灰度，得到相对于灰度的C区域的像素数合计数分布。另外，针对C区域，将亮度分解为256灰度，得到相对于灰度的C区域的像素数的错误系数分布。在此，评价每个分布的最大的灰度的±5区域的像素数合计数是否为C区域的合计像素数的90％以上。

如果该评价针对亮度和灰度两者均真实，则C区域为单色背景或视觉上接近单色的印象背景，否则能够判断为在背景中分配实拍图像或特殊外观图像。由此能够判断为A为字符颜色。

以上，说明了字符区域的判断方法。实际上，利用格式塔法则(Gestalt principles of visual perception)并使用微妙的阴影效果，产生使作业人员识别特殊外观的艺术效果。另外，根据上述方法，还假设在产生该艺术效果的区域内侧检测出的几个字符区域的背景有时被判断为单色或对单色实施阴影的背景。然而，该情况不会成为作为本发明的目的的将机器人的GUI画面与机械的GUI画面匹配的阻碍因素。

接着，说明用于使图案与背景分离的图案尺寸与布局位置的确定算法。

在判断显示要素的种类时图案处理成为问题。图案为显示公司标志等特殊外观的区域还是图标还是照片或线图、饼图或标尺成为问题。

说明确定图案的算法。

在此，在确定图案尺寸和布局位置时，设为容纳这些的分组区域为现有区域。当考虑在分组区域内使背景与图案分离的算法时，作为前提的事实如下。

(2-1)在分组区域内的可操作对象为图案的情况下，图案由背景包围。GUI设计人员考虑在作业人员视觉观察图案时关注图案来进行识别。因而，倾向于背景面积在分组区域内小于图案，使得清楚地关注图案。

(2-2)在图案也可以不被识别为可操作对象的情况下，上述想法不会成立，有时确定分组区域的整个区域成为特殊外观图案。如果通过以下检测背景的算法无法使背景与图案分离，则可以判断为在此不存在作业人员可操作的显示要素。

(2-3)作为操作对象的图标可以限定成收纳在正方形、正多边形、正圆来决定图案。对于并非正方形、正多边形、正圆的图案普通作业人员看一眼而不理解为图标，因此工业设备的GUI设计人员通常不设计纵长区域的图标或横长区域的图标。

(2-4)图标除了单色和存在对该颜色附加的阴影的背景以外，有时将实拍图像或特殊外观图像作为背景。这是同形设计的图标存在于背景图像上的情况。在该情况下，作为图标名称的字符显示被以白色字符来绘制等，被绘制在从背景图像分离的区域。在此，即使在实拍图像或特殊外观图像背景的情况下，也通过直到前一过程的原图像数据整体的OCR处理，得到字符区域的背景信息，根据该信息继续进行分析。

(2-5)关于图标图案的意义，仅在通过动画来分析GUI画面时，仅作为变化的记录而保持为数据，不进行更多的分析。

作为第一例，说明背景是否为单色或确定为对单色实施阴影的背景的情况。作为第二例，说明通常背景为实拍图像或者特殊外观图像的情况。

第一例的算法如下。

(3-1)对确定过的背景色和同一性质的分组区域进行确定。在此，主要假设刀具图标菜单、实施同形设计的图标、扁平设计的图标以及其它柱形状的标尺、饼图的标尺的布局位置的检测。

(3-2)首先，假设为存在刀具图标菜单而进行图像处理。如果在此能够检测则为刀具图标菜单，在此能够确定图案尺寸与布局位置，结束处理。如果不能确定，则过渡到用于确定下一候选的阶段。刀具图标菜单传统地在16×16像素的矩形区域内将使背景色浮起的可立体观察的颜色配置于矩形边界，图案即可以线描也可以同形设计，但是其背景色为单色为特征。另外，在存在多个图标时，具有在画面的横方向上水平地以等间隔排列或在纵方向上垂直地以等间隔排列这种特征。还有时大于16×16像素的正方形、长方形，但是也能够检测该正方形、长方形。

因而，首先从分组区域中提取与背景色一致的像素。进行将其余的区域设为黑色的二值化处理。接着，动态地制作表示矩形形状的四角的90度角的四种模型，进行图案匹配。如果四角模型中即使命中一个，则将其一个水平线或垂直线的长度拉伸一个像素量并且对拉伸的部分进行原四角模型图案匹配。

从表示该四角的模型和动态地生成的四角模型中使用拉伸一边的长度的新模型，由此确定刀具图标菜单的每个图标区域边界框的尺寸。该尺寸也可以是16×16，即使更大的长方形也能够确定。

如果确定图标框的模型尺寸，则通过图案匹配来核实这些模型尺寸是否向水平方向以等间隔排列或是否向垂直方向以等间隔排列。如果在此匹配则作为刀具图标菜单的可能性大。

接着，确认在通过图案匹配确定的框内至少绘制一些图案。

只限定于从原分组区域确定的图标的框内，检测是否存在类似图标的图案。在此，框内得到针对色调(Hue)、饱和度(Saturation)、亮度(Value)的分布，但是并不在整个面积中统一地进行得到分布的过程，分割为存在图案的可能性大的区域，分别得到分布。这是由于，越接近框中央则存在用于图案的像素的可能性越高，越接近框边界则该像素被背景色所占的可能性越高。因此，通过仅由从图标框边界仅进入一个像素内侧的四边形的边构成的区域在开端的分布获取区域内取得分布，除了使用于背景色和框的颜色以外对像素合计数进行计测。而且，将这些分布除以构成该区域的像素数。

而且，关于下一分布，还在仅由仅进入一个像素内侧的四边形的边构成的区域内取得分布，进行相同处理，最后在框中央的一点或线中结束处理。

此时，开端的分布为零或接近零并随着接近最后框中央的分布而求得1或接近1的值。通过确认比最初分布更接近中央的分布非连续且大的倾向来确定为图标。

接着，说明用于判断同形设计的图标还是扁平设计的图标的算法。能够通过该算法来自动地确定刀具图标菜单的存在与存在位置。另外，如果即使在使用六边形等特殊轮廓形状的图标的情况下也通过二值化处理来取出框，则能够通过相同的处理进行自动分析。

(3-3)在此，假设为存在扁平设计的图标而进行图像处理。但是，在该图像处理中，无法判断是否为表示设备状态的图标或由用户进行操作而画面响应的图标。

为了判断该情况，需要分析动画数据而检测响应的样子。但是，为了对用于模仿的设计倾向进行计测并补充，能够对扁平设计的图标尺寸与其它显示要素之间的相对位置关系进行计测即可。

作为扁平设计的图标特征，针对单色的背景色通过饱和度或亮度明显不同的单色或对该单色施加阴影的配色来绘制的图案，通常以收纳在正方形或正圆中的方式进行绘制。

状态显示用扁平设计的图标并不限定于排列，能够假设为操作用部分进行排列。在图标间距离近的情况下，背景色还有时通过饱和度或亮度不同的颜色划分。另外，还在很多情况下字符颜色与图案的颜色完全相同或非常接近。

根据该特征进行连续的图像处理，由此设计师不会视觉观察图标存在位置而能够自动进行检测。

例如存在以下方法。针对确定位置的像素，定义赋予独特的特征量的函数，制作如在此越高则越是图标的中心的部分。针对分组区域内的整个区域评价该情况。于是，该评价值作为像素位置的高度而得到，因此缩小到存在类似图标的图的区域，实施其函数处理，由此能够对多个图标的中心位置与这些之间的间隔进行计测。这些越是等间隔则作为扁平设计的图标的可能性越高。

该函数的定义方法如下。定义多个区域以在其像素中心绘制轮。设为期望轮的尺寸为图标的尺寸。针对每个区域，除了背景色的像素以外，制作饱和度的分布，除以区域内包含的整个像素数。在中心区域和仅绘制轮的数量的区域中将这些值相加。于是，在图标中心计算该函数的情况下成为最大的值，当从该中心稍偏离时成为稍小的值，当仅存在背景的区域的中心的像素执行函数时成为零。

定义对如上述的特征量进行运算的函数，一个一个地评价能够期待存在的区域的像素，由此即使不解释图标的图案也能够正确地计测图标的中心点与尺寸。

第二例的算法如下。

(4-1)无法将背景色确定为单色，可知是实拍图像或特殊外观图像，因此，在此不尝试检测刀具盒图标、扁平设计的图标。在这种情况下，检查是否存在同形设计的图标。

(4-2)将分组区域分割为等间隔的正方形格子，在格子区域内指定正圆的区域。将该区域称为“格子正圆区域”。不将矩形设为判断用数据是由于，在图案为六边形、圆弧、圆而并非四边形的情况下提高其分析精度。

期望使每个格子的一边长度在通过OCR对GUI画面的整体图像数据进行分析时与最小尺寸字符所占的矩形的一边长度一致。这是由于，GUI画面在作业人员以20cm～40cm的距离凝视的情况下倾向于使用小字符。但是，在作业人员进行其它并行作业的同时进行作业上的选择的情况下、仅假设确认状态的情况下，倾向于使用大字符使得使画面容纳在视野中的程度能够确认GUI的布局。

还有时仅具有表示图标、标尺、状态的显示颜色而不具有字符信息。在该情况下，决定为5mm左右，根据GUI画面的实际尺寸和像素数来确定相当于对应的格子正圆区域的直径的像素数。

(4-3)而且，针对所有格子正圆区域，关于色调、饱和度、亮度，得到相对于256灰度的像素的合计分布。而且，在判断为该分布类似的部分在整体格子中为30～50％左右的情况下，该部分为背景图案的可能性大，除此以外的格子正圆区域为任意的图案，因此通常分布不类似。因此，在该区域中存在同形设计的图标的可能性大。

通过目前的处理，能够估计大致图标位置范围，但是还无法确定。因此，针对该分组区域，除了有可能存在图标的像素以外应用形态分量分析(MCA：morphological component analysis)，使每个图标被覆盖的像素区域的原背景图案恢复。在“Simultaneous cartoon and texture image inpainting using morphological component analysis(MCA)”,M.Elad、J.-L.、Starck,P.Querre、D.L.Donoho、Applied and Computational Harmonic Analysis、August 2005中详细说明了该算法。

而且，将移除的像素与恢复的像素相互进行比较，移除能够判断为色调、饱和度、亮度分别接近的像素，由此能够从移除的像素中排除原背景，从而能够使同形设计的图标浮起。这样能够确定图标尺寸和中心位置。

换言之，将图标周围背景作为框区域而处理，将相当于框的图案弄清楚，由此确定同形设计的图标中心位置。

(4-4)另外，之后，通过模型匹配检查存在文本框、表格框等。

通过设为上述结构，能够自动分析利用了CNC的机械的GUI画面的图标外观的设计倾向。不需要图标本身的意义分析。

(算法解释)

此外，在前一节为止说明的“字符区域的分析算法”处通过OCR处理可知字体的典型种类与尺寸。

(5-1)确定背景。在画面整个区域中以作为背景未指定实拍图像和图案的图像的情况为前提来进行分析。

(5-2)将图像变换为灰度等级而分割为256灰度。对与每个灰度的浓淡色对应的图像内像素的合计值进行计测。由此，得到与每个灰度对应的浓淡色在图像数据内含多少的分布。在该分布中与合计值最高的灰度的浓淡色对应的像素成为背景的可能性大。将该浓淡色设为D。为了缩小该值，从其中合计值最高的灰度的浓淡色中确定针对±20左右灰度的浓淡色的像素位置。将该浓淡色称为“D附近的浓淡色”。设为±20左右是由于，在很多情况下使用对背景附加阴影效果的灰度级，并检测该灰度级。

而且，生成从处理前的图像数据仅提取成为其对象的像素的二值化图像。该图像能够分为外侧与内侧，在内侧具有柱状图、饼图等表示指示器的几何形状等各种UI。

在二值化图像的外侧边界形状为单纯的矩形、圆角的四边形、柱形状的情况下，D为背景色的可能性大。因此，进行覆盖二值化图像的外侧的图案匹配的图像处理。将匹配的模型图像作为矩形、圆角的四边形，在其形状与画面的水平线平行的条件下，计测是否与二值化图像的外侧边界一致。即使不完全一致也相当于80％以上的比例即可。

(5-3)对原图像数据整体进行OCR处理。而且，检测出的所有字符区域未与二值化图像的边界重叠，在二值化图像的内侧存在一个以上时，决定为D为背景色。

根据原图像数据获取与D对应的像素的RGB值，由此得到背景色的RGB值。

(5-4)假设为背景色并非一个颜色，而搜索其余的三个颜色的基本背景色。设为三个颜色是由于，如果通过该搜索找不到任何颜色，则以背景色为一个颜色为前提而进入到下一步骤。

(5-5)在大画面的GUI中，针对淡色的背景，除了浓色的字符以外，包含针对浓色的背景包含淡色的字符的区域的情况并不罕见。对检测出的所有字符区域实施上述字符区域的背景信息的分析方法。

在此，目前确定为一个或两个的背景色以外的背景色保持所有该背景色。

(5-6)在通过目前的方法得不到的情况下，即使字符颜色与背景色的浓淡关系相对于背景色D反转的其它背景色存在于原图像数据，有可能残留有不成为OCR的检测对象的标志等图的显示区域，而并非GUI画面的操作区域。

例如在很多情况下感到特殊质感的背景的表面挖写的标志形成特殊外观，有可能在OCR中无法作为字符而检测到。在该情况下，从比相对于原图像数据的灰度等级变换图像的各灰度的像素数的合计值的分布成为最大数的灰度中搜索处于±20左右范围外侧的、像素的合计值高的灰度。将发现的灰度的浓淡色称为F。F能够判断为从一般的GUI操作区域分离的、实施特殊外观的区域的背景。

需要预先决定判断F的阈值，使得以除了合计值低的灰度以外合计值一举地变高的差变得低灰度的合计值的三倍以上的情况为目的等变得适当。

(5-7)通过目前的分析，尽管找到从字符区域中提取的单色的背景色，当从原图像数据整个区域中计算该背景色的存在比例时，作为背景色，有时其存在比例小。在这种情况下，将实拍图像指定为接近画面整个区域的面积程度的情况、实施特殊外观的特殊图像被指定的可能性大。

在利用了CNC的机械的GUI画面上不存在用于操作的显示要素的状态，通常能够假设为不存在，因此通过使用假设在设定于画面整个区域的图像内侧存在作业人员的操作区域即矩形、椭圆、圆等操作区域的搜索算法，能够分析针对画面整体缩窄为局部区域的操作用区域。

(5-8)第一缩窄的操作用区域能够假设为存在能够通过OCR检测的字符。这基于利用了CNC的机械为机械操作用的业务用。

(5-9)通过前一过程为止进行的、针对原图像数据整个区域的OCR处理以及字符区域的背景信息的分析的实施来确定背景色的候选。该背景色扩大的区域为作业人员的操作用区域的可能性大。

(5-10)限定于从这些背景色得到的浓淡色和接近该浓淡色的±20灰度左右的浓淡色，从原图像数据整体中得到二值化图像。对该二值化图像实施使用矩形、圆角矩形等内侧旋挖的模型的图案匹配，确定操作用区域。

如果匹配为80％以上的区域，则从区域的外侧实施实拍图像或特殊图像的部分中排除作为噪声而出现的部分，从而能够确定区域的形状。并且确认在实施匹配的区域的内侧存在通过OCR检测出的字符区域这一情况，确定操作用区域，并且确定背景色。

(5-11)确定分组区域。

分组区域是指在用于操作工业设备的GUI画面的情况下使表示设备的运行状态的区域、操作对象区域分离并且使公司标志的显示区域分离的区域。该情况通过从原图像中提取作为背景色而检测的区域来能够确定。

(5-12)分组区域存在与背景色不同颜色的矩形形状或由普通几何图形的边界分隔的情况以及完全不存在上述情况的情况。在完全没有相当于边界的颜色的情况下，通过相同种类的显示要素的集合区域之间或与其它背景色之间的边界通过任意地分割通过显示要素的位置关系来分割分组区域的边界。

在存在相当于边界的颜色的情况下，针对饱和度(Value)使用高通滤波器或针对色调(Hue)使用高通滤波器由此检测边缘，其边缘为直线且进行接近背景区域整体的宽度、长度的图案匹配处理并进行检测。能够将检测位置的像素位置确定为分组区域的边界。

(5-13)确定始终显示的菜单、图标菜单或全局导航。

(5-14)菜单的确定以存在字符标签这一情况为前提。菜单这一情况存在以下以往的设计图案，因此准备能够按这些每个设计图案检测的算法。

在存在字符标签的情况下，通过对前一过程为止的原图像数据整个区域进行的OCR处理和每个字符区域的分析，存在字符标签的存在位置的候选和其背景色的信息。

确定即不仅是标签、也不是文本框也不是其它显示要素而是菜单这一情况，能够通过是否在分组区域的边界附近以纵列或横列来平行地排列。

仅一个图像数据是极限。在存在动画数据的情况下，使用对菜单画面进行操作时的画面应答后的图像数据，计测画面变化，由此保持成为菜单这种判断的可靠证据的信息。只要通过画面变化的自动分析获取不到并非菜单这种判断的可靠证据，则不能推翻菜单这种判断。相反地在即使得到菜单这种判断也无法获取基于作业人员的操作的画面变化的情况下，保持保留是否为菜单或标签的可能性的形式的信息。

(5-15)仅为字符，但是指定了确定的背景色的图案。字符区域以纵或横地平行地排列，通过高通滤波器来检测上下或左右的端以浓颜色的边界色、表示边界的柱等分隔这一情况并进行确认，从而确定菜单。

(5-16)通过按下设备键槽的指定键在附近显示区域内覆盖显示的图案。仅通过一个图像无法判断该图案。准备未显示菜单的图像和显示的图像的两个图像，求得其差分并通过OCR进行检测。

(5-17)在图标菜单、带标签的图标的情况下，能够通过前一节的“用于使图案与背景分离的图案尺寸和布局位置的确定算法”中说明的方法来确定。

(5-18)确定文本输入区域、标签。这在很多情况下文本输入区域的背景色为白色，并非这样而色调存在差异，也在很多情况下接近背景色的饱和度。如果以该情况为前提来进行图案匹配则能够确定位置。

(5-19)关于标签，在通过OCR确定的字符区域中，除了存在于目前的过程中发现的显示要素的内侧的部分以外的所有字符区域被判断为标签。

(5-20)其余的不清楚的区域被判断为特殊外观图像。但是，柱状图、标尺、饼图的候选通过图案匹配检测出。状态显示用的柱状图、标尺、饼图在动画数据中有时显示状态随着时间而变化，如果检测出该情况则进行分析。特别是，仅通过一个图像数据无法确定三维形状的显示区域。能够通过对包括该显示区域且其显示内容发生变化的状态的一个以上的图像数据进行图像处理来确定。

在上述算法中，能够通过现有图像处理技术能够连续地自动执行，能够分析显示要素的种类与布局。从一个图像数据中存在种类不定的显示要素，分析动画数据并切出由显示要素的操作应答引起的画面的变化并进行比较而进行分析，由此能够补充不定的信息并确定显示要素的种类。

在上述方法中，仅依靠图像数据、动画数据，无法自动地以100％的精度来确定所有显示要素，但是估计80％以上的精度。能够进一步分析确定的显示要素并对确定的概率进行数值判断。通过指定被判断为确定错误的阈值，作为模仿基准的显示要素的确定率接近100％。

(针对每个显示要素的差异检测方法)

在此所指的差异并非是单独图标等单独的外观而除了外观以外的外观尺寸、使用颜色、阴影绘制效果等。关于机器人画面的每个显示要素，将种类一致的部分在整个细节部分中，以与利用了CNC的机械的GUI画面的表现一致的方式决定与GUI画面的每个属性对应的值。

利用了CNC的机械的GUI画面的显示要素的种类与尺寸与显示位置的数据已经一致，由此与第二实施方式相关联地实施上述决定布局的算法。

但是，在机器人一侧必须与单独机械的机型对应的方式准备图标与字体。例如在图标的情况下，在机器人一侧准备与同形设计对应的机型以及与扁平设计对应的机型。

(根据视觉感知格式塔原则来生成具有一贯性的画面的方法)

作为确认心理学的成果的格式塔法则(Gestalt principles of visual perception)中能够应用于GUI设计的部分如“UI设计的心理学理解难易度和使用难易度的法则第二版”、Jeff Johnson、压印、原著“Designing with the Mind in Mind,Second Edition”、与视觉确认有关的“格式塔法则(Gestalt principles of visual perception)”，第34页至第49页为止，存在以下情况。

(a)接近(Proximity)：接近的部分看起来属于同一组。

(b)类似(Similarity)：相似的部分之间视作同一组。

(c)连续(Continuity)：倾向于并非未连续的多个部分而掌握为连续的形状。

(d)关闭(Closure)：关闭打开的形状。

(e)对称性(Symmetry)：倾向于将复杂的部分简化而解释。

(f)图形和表面(Figure/Ground)：大脑将视场分离为前景与背景。

(g)共同命运(Common Fate)：感知同时移动的对象是否形成组或相关联。

有几个用于将这些应用于模仿的实施方法。

(使用格式塔法则的显示要素的种类确定方法)

(背景的检测方法的扩展)

关于在前一节中说明的背景的检测，能够通过从格式塔法则(Gestalt principles of visual perception)导出的算法来提高检测精度。

说明使用图形和表面(Figure/Ground)的法则的背景的检测方法。该方法在对背景未指定照片图像的情况下有效地起作用。

在确定颜色相对大的区域的内部存在相对窄的区域的情况下，人较强倾向于将窄区域一侧解释为图并将覆盖该图的大区域解释为表面，设计师较强倾向于按照上述情况。特别是，工业设备的操作用GUI能够假设为为了防止由作业人员引起的错误操作而必须遵循。

这意味着从检测扁平设计的图标的算法相反地能够制作用于确定背景色的算法。分组区域的检测方法的扩展和接近(Proximity)法则和类似(Similarity)法则在设计人员已知和不知时实际地应用。

标签与文本框的位置关系在很多情况下与水平线平行地排列配置或与垂直线的左侧或右侧中的一个的位置对齐，标签配置于上面并在其正下方配置文本框。即，在进行用于检测前一节为止的类似于文本框的部分的图案匹配之后，在其附近，在排列位置上存在字符区域时，该字符区域为标签，该标签意味着确定为说明文本框而大致不会脱离。实际上，通过堆叠其它UI要素的布局规则与不会矛盾的佐证来最终能够确定为标签与文本框。

在设计师要应用格式塔法则(Gestalt principles of visual perception)时，与为了考虑新设计相比，在很多情况下利用为用于检查想到的设计是否被误解的指南。设计师要注意的检查全部是不可能的，但是能够通过机器人3使其一部分自动化。

构成应用连续(Continuity)法则、关闭(Closure)法则的算法而能够通过图像处理来自动检查用于通过本发明自动追加的机器人3的操作、状态确认的显示要素是否被作业人员误解。例如检查被追加的图标与周围图像特征相比通过与连续法则对应的判断处理而连续地被看作其它特征的可能性高的情况并且通过与关闭法则对应的判断处理被解释为其它意义的情况等。被判断的部分被切换为作为不判断的代替的显示要素，能够避免容易被作业人员误解的显示要素的自动追加。

在此，判断处理也可以是由机器人3的开发源即开发人想出的，但是也可以是通过机械学习或多层神经网络技术导出的判断处理。例如在应用多层神经网络的情况下，存在在中间层的学习规则中组入平缓地确定与连续(Continuity)法则、关闭(Closure)法则对应的学习方向性的运算的方法。将从对人的网站使用便捷度测试得到的是否被误解的统计数据设为输入输出，进行“监督式学习”。机器人3执行在此得到的算法的判断处理。

应用该判断处理，在能够评价为排列地存在同形设计的图标时，能够作为一个分组区域候选而检测覆盖该图标的矩形区域。

根据本实施方式，得到以下优点。

机械制造商不提供与每个公司的机器人的使用的显示要素对应的属性值的组合，并且在利用了CNC的机械的GUI画面的特征根据属性定义和它们的值的形式无法获取的通常的情况下，设计人员不对机械的GUI画面的图像数据和动画数据进行视觉观察并分析，通过按照适当顺序来实施图像处理而自动进行分析，减少使机器人的GUI画面符合的费用。

在机器人3连接于与机械2不同的机械的情况下，也只要该不同机械具有与机械2相同的结构，通过该不同的机械的GUI画面用于对机器人3进行操作、状态确认的显示要素按照与上述说明相同的顺序来自动进行追加。这样机器人3针对多个制造商的机械的GUI画面的每个设计，不需要设计师的介入而能够自动地进行应对。

但是，如在“Associating the Visual Representation of User Interfaces with their Internal Structures and Metadata”、Oct.15-19,2011、UIST’11中也记载那样，来自图像捕捉数据的显示要素的分析成功率并非100％。对未能分析的属性值采用现有值。

接着，说明第四实施方式所涉及的机器人系统1。本实施方式所涉及的机器人系统1具有与图13示出的第三实施方式相同的结构。机器人系统1构成为，显示器GUI画面捕捉处理部周期性地捕捉画面而机器人控制装置4随时分析图像捕捉数据。

在本实施方式中，“通信网络”确保实时性使得能够高速地传送捕捉图像。

图16是表示本实施方式所涉及的在机器人系统1中执行的处理的流程图。根据本实施方式，在短时间间隔来能够获取捕捉图像的数据。

分析一个图像捕捉数据的工序与第三实施方式同样地执行。从在不同时刻获取到的多个画面的数据中提取有变化的部分，由此确定GUI画面51内的操作应答标准。

另外，关于根据一个图像捕捉数据无法确定的种类的显示要素，通过对画面变化的上下文进行分析，能够验证确定的属性值的有效性。在通过验证在确定的处理中发现错误的情况下，能够进行修正使得更正错误。

根据本实施方式，在短周期内继续捕捉图像，能够对显示器5的GUI画面51的变化进行计测，因此能够检测显示器5的显示要素的操作应答标准。关于在一个GUI画面51的分析中判断为无法确定的显示器5的GUI画面51的分组区域，也有时通过进行作业人员的操作的上下文分析，能够确定显示要素的种类。并且，能够根据新辨别的分析结果来改进显示器5的GUI画面51中的机器人3的显示要素的显示。

图17～图28示出各种变形例所涉及的机器人系统1。

图17示出第一实施方式的变形例所涉及的机器人系统1。在本变形例中，机械画面生成部11和机械属性值存储部12被内置于CNC 20。在该情况下，显示器5例如具备触摸面板或液晶画面和机械式键槽的组合。

图18示出第二实施方式的变形例所涉及的机器人系统1。在本变形例中，机械画面生成部11和机械属性值存储部12被内置于CNC 20。

图19示出第一实施方式的其它变形例所涉及的机器人系统1。在本变形例中，机械画面生成部11和机械属性值存储部12被内置于显示器5。在显示器5中内置有在触摸面板或液晶画面和机械式键槽的组合等HCI(Human-Computer Interaction)部分以外生成画面或用于控制该生成的OS(Operating System)存储器、大容量存储盘(HDD(hard disk drive)、SSD(solid state disk)等)、显卡以及画面控制软件等。在该变形例中，CNC 20与GUI画面51的生成不相关。

图20示出第二实施方式的其它变形例所涉及的机器人系统1。在本变形例中，机械画面生成部11和机械属性值存储部12被内置于显示器5。

图21示出第三实施方式或第四实施方式的变形例所涉及的机器人系统1。在本变形例中，机械画面生成部11、显示器GUI画面捕捉处理部13以及机械属性值存储部12被内置于CNC 20。

图22示出第三实施方式或第四实施方式的其它变形例所涉及的机器人系统1。在本变形例中，机械画面生成部11、显示器GUI画面捕捉处理部13以及机械属性值存储部12被内置于显示器5。

图23示出第一实施方式的进一步其它变形例所涉及的机器人系统1。在本变形例中，机械画面生成部11被内置于CNC 20。机械属性值存储部12被设置于云服务器。CNC 20经由云通信网络71与云服务器7连接。机器人3的显示要素属性值被从云服务器7发送到CNC 20的机械画面生成部11。在CNC 20与机器人控制装置4之间的通信被切断时，机器人3的显示要素不会显示在GUI画面51中。

图24示出第二实施方式的进一步其它变形例所涉及的机器人系统1。在本变形例中，机械画面生成部11被内置于CNC。机械属性值存储部12被设置于云服务器。CNC 20经由云通信网络71与云服务器7连接。

图25示出第一实施方式的进一步其它变形例所涉及的机器人系统1。在本变形例中，机械画面生成部11被内置于显示器5。机械属性值存储部12被设置于云服务器7。显示器5经由云通信网络71与云服务器7连接。在本变形例中，CNC 20与GUI画面51的生成不相关。机器人3的显示要素属性值被从云服务器7发送到显示器5的机械画面生成部11。在CNC 20与机器人控制装置4之间的通信被切断时，机器人3的显示要素不会显示在GUI画面51中。

图26示出第二实施方式的进一步其它变形例所涉及的机器人系统1。在本变形例中，机械画面生成部11被内置于显示器5。机械属性值存储部12被设置于云服务器7。

根据有效使用云服务器7的变形例，在CNC 20与机器人控制装置4之间的通信开始时，机械2的显示要素属性定义和机器人3的机型信息被发送到云服务器7。云服务器7将对应的机器人3的GUI的属性值发送到显示器5并生成GUI画面51。这样，通过将与机械2的GUI画面51的设计和机器人3的机型对应的数据存储到云服务器7，在通信全部建立之后，能够迅速地从机械2执行机器人3的状态确认和操作。

图27示出第三实施方式或第四实施方式的进一步其它变形例所涉及的机器人系统1。在本变形例中，机械画面生成部11和显示器GUI画面捕捉处理部13被设置于CNC 20。机械属性值存储部12被设置于云服务器7。CNC 20经由云通信网络71与云服务器7连接。

图28示出第三实施方式或第四实施方式的进一步其它变形例所涉及的机器人系统1。在本变形例中，机械画面生成部11和显示器GUI画面捕捉处理部13被设置于显示器5。机械属性值存储部12被设置于云服务器7。显示器5经由云通信网络71与云服务器7连接。

根据本发明所涉及的机器人系统，能够起到以下效果。

(1)关于机器人的GUI画面的外观和操作，利用了CNC的机械的GUI画面具有一贯性，因此作业人员在机器人的操作中不容易产生人为错误。另外，作业人员容易学习机器人的操作，从而能够容易地变得熟练。

(2)在针对机器人不具有足够知识的机械作业人员面对必须使用机器人的状况的情况下，也能够根据与利用了CNC的机械有关的知识和经验来推测机器人的操作。特别是，与机器人安全有关的信息的显示方法适合于在利用了CNC的机械中使用的GUI设计标准，而并非是由机器人提供者规定的GUI标准。因而，能够避免作业人员接近不懂使用方法的机器人的危险行为，能够讯速地确认机器人的状态。

(3)利用了CNC的机械具有按照用于自动生成GUI画面的属性定义和基于属性值的形式的模型来自动生成GUI的功能。因而，如果指定适合于每个属性的值，则能够适当地切换机械的GUI画面。由此，能够消减利用了CNC的机械的成本。

(4)根据利用了CNC的机械的显示器的GUI画面的标准求出每个属性值。GUI画面的标准能够从机械提供者得到或如果使用实机来核实则能够获取所需的数据。机器人提供者能够预先准备适合于从各种开发源提供的利用了CNC的机械的GUI画面。

(5)将利用了CNC的机械的显示器的GUI画面的画面捕捉数据取入于机器人控制装置，由此将机械的显示器的GUI画面进行自动分析并能够求出每个属性值。在该情况下，在机械提供者与机器人提供者之间不需要对GUI画面的标准进行信息交换或机器人系统的使用者不需要核实机械的GUI画面的标准。如果利用了CNC的机械与机器人能够正常地开始进行通信，则自动地求出每个属性值。因此，作业人员能够从利用了CNC的机械顺利地操作机器人。

以上，说明了本发明的各种实施方式，但是认为本领域技术人员还能够通过其它实施方式来实现本发明所意图的作用效果。特别是，在不脱离本发明的范围内能够删除或替换上述实施方式的结构要素或进一步附加公知的手段。另外，通过任意地组合在本说明书中明确或示意地公开的多个实施方式的特征来能够实施本发明，对于本领域技术人员来说是显而易见的。

根据本发明所涉及的机器人系统，机器人用GUI画面的外观和操作与利用了CNC的机械的GUI画面具有一贯性。因而，能够防止提高机器人的操作的作业人员引起人为错误，并且能够辅助作业人员学会机器人的操作。