一种实现图像化编程的方法与流程

本发明涉及一种存储图像化编程应用程序的机器可读介质，一种实现图像化编程的方法，一种实现图像化编程的控制设备。

背景技术：

现有技术中，机器人的编程均采用很专业的方式进行，多为采用编写代码的方式进行，然而这种方式过于专业，不适合普通用户使用，导致普通用户难以编程控制机器人。

技术实现要素：

本发明所要解决的技术问题是提供一种存储图像化编程应用程序的机器可读介质，一种实现图像化编程的方法，一种实现图像化编程的控制设备。通过本发明，可以解决现有技术中的编程工具无法让普通用户编程控制机器人，缺乏人机交互乐趣的技术问题。

本发明提供一种存储图像化编程应用程序的机器可读介质，一种实现图像化编程的方法，一种实现图像化编程的控制设备。

一种实现图像化编程的方法，包括控制设备，所述控制设备包括能够显示用户界面的显示模块，所述方法包括以下步骤：

在用户界面上显示程序编辑区域，所述程序编辑区域用于显示和编辑控制程序，所述程序编辑控制区域包括判断条件显示区域和执行动作显示区域，所述判断条件显示区域包括数个判断条件单体区域，所述执行动作显示区域包括数个执行动作单体区域；

当用户选择其中一个所述判断条件单体区域时，响应于用户的选择操作，在所述用户界面上显示模块选择区域，所述模块选择区域此时显示为包括数个条件模块，或者当用户选择其中一个所述执行动作单体区域时，响应于用户的选择操作，在所述用户界面上显示模块选择区域，所述模块选择区域此时显示为包括数个动作模块；

当用户选择其中一个所述条件模块时，响应于用户的选择操作，在被选择的这一个判断条件单体区域显示被选择的这一个条件模块的对应的条件模块图标和/或条件模块名称，或者当用户选择其中一个所述动作模块时，响应于用户的选择操作，在被选择的这一个执行动作单体区域显示被选择的这一个动作模块的对应的动作模块图标和/或动作模块名称。

优选地，所述方法还包括以下步骤，在用户界面上显示程序编辑区域的同时，在用户界面上显示控制窗格，所述控制窗格包括启动模块。

优选地，当用户选择所述启动模块时，响应于用户的选择操作，所述控制设备完成对所述控制程序的编辑工作。

优选地，响应于用户选择启动模块，在所述用户界面显示对话框，提示用户程序编辑工作已经完成。

优选地，当用户选择所述启动模块时，响应于用户的选择操作，在所述用户界面显示对话框，所述对话框内显示供用户选择的按钮。

优选地，当所述对话框弹出的同时，所述用户界面的除了所述对话框以外的其他区域的显示状态，比所述对话框未弹出时的所述其他区域的显示状态更暗，且比所述对话框自身的显示状态更暗。

优选地，所述控制窗格还包括停止模块和/或保存模块和/或清除模块；响应于用户选择所述停止模块，所述控制设备控制机器人停止执行所有控制程序；响应于用户选择所述保存模块，所述控制设备将所有已经编辑的所述判断条件和所述执行动作保存至指定的存储介质中；响应于用户选择所述清除模块，所述控制设备将所有已经编辑的控制程序清除。

优选地，在用户界面上显示程序编辑区域的同时，在所述程序编辑区域内显示横向分隔线和纵向分隔线，通过所述横向分隔线和所述纵向分隔线，所述判断条件显示区域和所述执行动作显示区域分别被分割成数个判断条件单体区域和执行动作单体区域。

优选地，响应于用户选择其中一个所述判断条件单体区域，该被选择的判断条件单体区域被突出显示；响应于用户选择其中一个所述执行动作单体区域，该被选择的执行动作单体区域被突出显示；响应于用户选择其中一个条件模块，该被选择的条件模块被突出显示；响应于用户选择其中一个动作模块，该被选择的动作模块被突出显示。

优选地，所述突出显示为高亮显示和/或闪烁显示。

优选地，所述程序编辑区域包括判断条件区域和执行动作区域，所述判断条件区域包括便于用户识别区分的判断条件窗格和判断条件显示区域，所述判断条件显示区域包括数个判断条件单体区域；所述执行动作区域包括便于用户识别区分的执行动作窗格和执行动作显示区域，所述执行动作显示区域包括数个执行动作单体区域；所述模块选择区域包括便于用户识别区分的模块选择窗格和模块区域。

优选地，所述该条件模块显示为包括条件模块名称和/或条件模块图标；所述该动作模块显示为包括动作模块名称和/或动作模块图标。

优选地，用户通过触摸所述显示模块实现选择操作，可以是当用户触摸的瞬间即完成选择操作；可以是用户触摸的时间达到预设时长时才完成选择操作；可以是当用户连续多次触摸时才完成选择操作；可以是当用户触摸压力得到一定阈值时完成选择操作。

优选地，所述方法还包括以下步骤，响应于用户选择启动模块，所述控制设备完成对所述控制程序的编辑工作，所述控制设备将已经编辑完成的控制程序发送至机器人。

优选地，所述控制设备是手机，用户实现选择操作的同时，所述手机产生振动。

一种存储图像化编程应用程序的机器可读介质，所述图像化编程应用程序包括用于以下操作的指令集：

在用户界面上显示程序编辑区域，所述程序编辑区域用于显示和编辑控制程序，所述程序编辑控制区域包括判断条件显示区域和执行动作显示区域，所述判断条件显示区域包括数个判断条件单体区域，所述执行动作显示区域包括数个执行动作单体区域；

当用户选择其中一个所述判断条件单体区域时，响应于用户的选择操作，在所述用户界面上显示模块选择区域，所述模块选择区域此时显示为包括数个条件模块，或者当用户选择其中一个所述执行动作单体区域时，响应于用户的选择操作，在所述用户界面上显示模块选择区域，所述模块选择区域此时显示为包括数个动作模块；

当用户选择其中一个所述条件模块时，响应于用户的选择操作，在被选择的这一个判断条件单体区域显示被选择的这一个条件模块的对应的条件模块图标和/或条件模块名称，或者当用户选择其中一个所述动作模块时，响应于用户的选择操作，在被选择的这一个执行动作单体区域显示被选择的这一个动作模块的对应的动作模块图标和/或动作模块名称。

优选地，所述机器可读介质还包括以下指令集，在用户界面上显示程序编辑区域的同时，在用户界面上显示控制窗格，所述控制窗格包括启动模块。

优选地，所述机器可读介质还包括以下指令集，当用户选择所述启动模块时，响应于用户的选择操作，所述控制设备完成对所述控制程序的编辑工作。

优选地，所述机器可读介质还包括以下指令集，响应于用户选择启动模块，在所述用户界面显示对话框，提示用户程序编辑工作已经完成。

优选地，所述机器可读介质还包括以下指令集，当用户选择所述启动模块时，响应于用户的选择操作，在所述用户界面显示对话框，所述对话框内显示供用户选择的按钮。

优选地，所述机器可读介质还包括以下指令集，当所述对话框弹出的同时，所述用户界面的除了所述对话框以外的其他区域的显示状态，比所述对话框未弹出时的所述其他区域的显示状态更暗，且比所述对话框自身的显示状态更暗。

优选地，所述机器可读介质还包括以下指令集，所述控制窗格还包括停止模块和/或保存模块和/或清除模块；响应于用户选择所述停止模块，所述控制设备控制机器人停止执行所有控制程序；响应于用户选择所述保存模块，所述控制设备将所有已经编辑的所述判断条件和所述执行动作保存至指定的存储介质中；响应于用户选择所述清除模块，所述控制设备将所有已经编辑的控制程序清除。

优选地，所述机器可读介质还包括以下指令集，在用户界面上显示程序编辑区域的同时，在所述程序编辑区域内显示横向分隔线和纵向分隔线，通过所述横向分隔线和所述纵向分隔线，所述判断条件显示区域和所述执行动作显示区域分别被分割成数个判断条件单体区域和执行动作单体区域。

优选地，所述机器可读介质还包括以下指令集，响应于用户选择其中一个所述判断条件单体区域，该被选择的判断条件单体区域被突出显示；响应于用户选择其中一个所述执行动作单体区域，该被选择的执行动作单体区域被突出显示；响应于用户选择其中一个条件模块，该被选择的条件模块被突出显示；响应于用户选择其中一个动作模块，该被选择的动作模块被突出显示。

优选地，所述突出显示为高亮显示和/或闪烁显示。

优选地，所述程序编辑区域包括判断条件区域和执行动作区域，所述判断条件区域包括便于用户识别区分的判断条件窗格和判断条件显示区域，所述判断条件显示区域包括数个判断条件单体区域；所述执行动作区域包括便于用户识别区分的执行动作窗格和执行动作显示区域，所述执行动作显示区域包括数个执行动作单体区域；所述模块选择区域包括便于用户识别区分的模块选择窗格和模块区域。

优选地，所述该条件模块显示为包括条件模块名称和/或条件模块图标；所述该动作模块显示为包括动作模块名称和/或动作模块图标。

优选地，用户通过触摸所述显示模块实现选择操作，可以是当用户触摸的瞬间即完成选择操作；可以是用户触摸的时间达到预设时长时才完成选择操作；可以是当用户连续多次触摸时才完成选择操作；可以是当用户触摸压力得到一定阈值时完成选择操作。

优选地，所述机器可读介质还包括以下指令集，响应于用户选择启动模块，所述控制设备完成对所述控制程序的编辑工作，所述控制设备将已经编辑完成的控制程序发送至机器人。

优选地，所述控制设备是手机，用户实现选择操作的同时，所述手机产生振动。

一种实现图像化编程的控制设备，所述控制设备包括能够显示用户界面的显示模块，

所述用户界面上显示程序编辑区域，所述程序编辑区域用于显示和编辑控制程序，所述程序编辑控制区域包括判断条件显示区域和执行动作显示区域，所述判断条件显示区域包括数个判断条件单体区域，所述执行动作显示区域包括数个执行动作单体区域；

当用户选择其中一个所述判断条件单体区域时，响应于用户的选择操作，所述用户界面上显示模块选择区域，所述模块选择区域此时显示为包括数个条件模块，或者当用户选择其中一个所述执行动作单体区域时，响应于用户的选择操作，所述用户界面上显示模块选择区域，所述模块选择区域此时显示为包括数个动作模块；

当用户选择其中一个所述条件模块时，响应于用户的选择操作，被选择的这一个判断条件单体区域显示被选择的这一个条件模块的对应的条件模块图标和/或条件模块名称，或者当用户选择其中一个所述动作模块时，响应于用户的选择操作，被选择的这一个执行动作单体区域显示被选择的这一个动作模块的对应的动作模块图标和/或动作模块名称。

优选地，用户界面上显示程序编辑区域的同时，用户界面上显示控制窗格，所述控制窗格包括启动模块。

优选地，用户选择所述启动模块时，响应于用户的选择操作，所述控制设备完成对所述控制程序的编辑工作。

优选地，响应于用户选择启动模块，所述用户界面显示对话框，提示用户程序编辑工作已经完成。

优选地，用户选择所述启动模块时，响应于用户的选择操作，所述用户界面显示对话框，所述对话框内显示供用户选择的按钮。

优选地，所述对话框弹出的同时，所述用户界面的除了所述对话框以外的其他区域的显示状态，比所述对话框未弹出时的所述其他区域的显示状态更暗，且比所述对话框自身的显示状态更暗。

优选地，所述控制窗格还包括停止模块和/或保存模块和/或清除模块；响应于用户选择所述停止模块，所述控制设备控制机器人停止执行所有控制程序；响应于用户选择所述保存模块，所述控制设备将所有已经编辑的所述判断条件和所述执行动作保存至指定的存储介质中；响应于用户选择所述清除模块，所述控制设备将所有已经编辑的控制程序清除。

优选地，用户界面上显示程序编辑区域的同时，所述程序编辑区域内显示横向分隔线和纵向分隔线，通过所述横向分隔线和所述纵向分隔线，所述判断条件显示区域和所述执行动作显示区域分别被分割成数个判断条件单体区域和执行动作单体区域。

优选地，响应于用户选择其中一个所述判断条件单体区域，该被选择的判断条件单体区域被突出显示；响应于用户选择其中一个所述执行动作单体区域，该被选择的执行动作单体区域被突出显示；响应于用户选择其中一个条件模块，该被选择的条件模块被突出显示；响应于用户选择其中一个动作模块，该被选择的动作模块被突出显示。

优选地，所述突出显示为高亮显示和/或闪烁显示。

优选地，所述程序编辑区域包括判断条件区域和执行动作区域，所述判断条件区域包括便于用户识别区分的判断条件窗格和判断条件显示区域，所述判断条件显示区域包括数个判断条件单体区域；所述执行动作区域包括便于用户识别区分的执行动作窗格和执行动作显示区域，所述执行动作显示区域包括数个执行动作单体区域；所述模块选择区域包括便于用户识别区分的模块选择窗格和模块区域。

优选地，所述该条件模块显示为包括条件模块名称和/或条件模块图标；所述该动作模块显示为包括动作模块名称和/或动作模块图标。

优选地，用户通过触摸所述显示模块实现选择操作，可以是当用户触摸的瞬间即完成选择操作；可以是用户触摸的时间达到预设时长时才完成选择操作；可以是当用户连续多次触摸时才完成选择操作；可以是当用户触摸压力得到一定阈值时完成选择操作。

优选地，响应于用户选择启动模块，所述控制设备完成对所述控制程序的编辑工作，所述控制设备将已经编辑完成的控制程序发送至机器人。

优选地，所述控制设备是手机，用户实现选择操作的同时，所述手机产生振动。

通过本发明，解决了现有技术中现有技术中的编程工具无法让普通用户编程控制机器人，缺乏人机交互乐趣的技术问题，实现了普通用户以图像化的方式编辑控制程序。

附图说明

图1示例本发明的程序编辑区域的显示。

图2示例本发明的判断条件单体区域的选择。

图3示例本发明的条件模块的选择。

图4示例本发明的执行动作单体区域的选择。

图5示例本发明的动作模块的选择。

图6示例本发明的启动模块的选择。

图7示例本发明的对话框的显示。

图8示例本发明的本发明的判断条件单体区域的选择。

图9示例本发明的条件模块的选择。

图10示例本发明的本发明的判断条件单体区域的选择。

图11示例本发明的条件模块的选择。

图12示例本发明的执行动作单体区域的选择。

图13示例本发明的动作模块的选择。

图14示例本发明的执行动作单体区域的选择。

图15示例本发明的动作模块的选择。

图16示例本发明的启动模块的选择。

图17示例本发明的对话框的显示。

具体实施方式

下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行描述，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术普通技术人员在没有付出创造性劳动而获得的所有其他实施方式，都属于本发明保护的范围。

本发明旨在提供一种存储图像化编程应用程序的机器可读介质，一种实现图像化编程的方法，一种实现图像化编程的控制设备。

通过本发明，可以实现图像化编程，使得用户可以直观地对机器人的控制程序进行编程，增加了用户在使用机器人时的人机交互乐趣。

图1-6示例性地展示了运用图像化编程应用程序辅助用户编程的一些实施例，具体地，图1-7以六个不同的阶段101-106示例用户操作图像化编程应用程序以编辑用户所需的控制程序的GUI 100。如图所示，图2例示GUI 100包括程序编辑区域120、模块选择区域130以及控制窗格140。

程序编辑区域120显示用户希望机器人执行的控制程序，并允许用户对所述控制程序进行编辑。所述程序编辑区域120包括判断条件区域121和执行动作区域125。

所述判断条件区域121包括便于用户识别区分的判断条件窗格122和判断条件显示区域123。所述判断条件窗格122(如图所示，此时可以显示“判断条件”)旨在帮助用户识别区分哪些部分属于所述控制程序的判断条件，所述判断条件显示区域123旨在告知用户所述控制程序包括哪些判断条件；所述判断条件显示区域123包括数个判断条件单体区域124，每一个所述判断条件单体区域124代表一个判断条件，则用户可以通过观察所述GUI 100的所述判断条件显示区域123内的数个判断条件单体区域124，对每一个判断条件进行迅速且直观地判断和区分。

所述执行动作区域125包括便于用户识别区分的执行动作窗格126和执行动作显示区域127。所述执行动作窗格126(如图所示，此时可以显示“执行动作”)旨在帮助用户识别区分哪些部分属于所述控制程序的执行动作，所述执行动作显示区域127旨在告知用户所述控制程序包括哪些执行动作；所述执行动作显示区域127包括数个执行动作单体区域128，每一个所述执行动作单体区域128代表一个执行动作，则用户可以通过观察所述GUI 100的所述执行动作显示区域127内的数个执行动作单体区域128，对每一个执行动作进行迅速且直观地判断和区分。

所述控制程序包括数行程序，每一行程序包括判断条件部分和执行动作部分，当机器人的运行状态某一行程序或某多行程序的判断条件部分时，则机器人执行该某一行程序或某多行程序的执行动作部分。为了区分每一行程序，所述程序编辑区域120包括横向分隔线129A，利用该横向分隔线129A，用户可以清楚地辨别每一行程序包括的判断条件部分和执行动作部分。

每一行程序包括判断条件部分和执行动作部分，所述判断条件部分包括数个判断条件，所述执行动作部分包括数个执行动作。为了区分每一个判断条件和/或每一个执行动作，所述程序编辑区域120包括纵向分隔线129B，利用该纵向分隔线129B，用户可以清楚辨别每一个判断条件和/或每一个执行动作。

通过所述横向分隔线129A和所述纵向分隔线129B，所述判断条件显示区域123和所述执行动作显示区域125分别被分割成数个判断条件单体区域124和执行动作单体区域128。

需要强调的是，虽然在本发明的所有附图中均显示了所述横向分隔线129A和所述纵向分隔线129B，但这是优选的方案，即使在所述程序编辑区域120内不显示所述横向分隔线129A和所述纵向分隔线129B，只要在布局上适当对齐每一个判断条件和/或每一个执行动作，用户即可以清楚地辨别每一个判断条件和/或每一个执行动作，不会妨碍用户正确阅读控制程序。

模块选择区域130显示条件模块选择的集合或者显示动作模块选择的集合。这些模块在所述图像化编程应用程序内预先存储好的，这些模块是可以更新的，显示的图标和名称也是可以更新和改变的，本发明附图仅仅是实例性的展示，并不限定本发明的保护范围。当用户选择(例如，通过触摸)其中一个条件模块或者显示模块时，所述图像化编程应用程序在所述程序编辑区域120的对应位置上显示相应地图标。所述模块选择区域130包括便于用户识别区分的模块选择窗格131和模块区域135。所述模块选择窗格131旨在帮助用户识别区分所述模块区域135正在显示的内容是条件模块136，还是动作模块138。

如图2所示，所述模块选择窗格131显示为“条件模块选择”，则用户可以清楚地知道所述模块区域135正在显示的内容是条件模块136；如图2所示，此时模块区域135显示的条件模块136有“距离小于5厘米”、“距离小于6厘米”、“距离小于7厘米”等；在一些实施例中，在紧挨每个所述条件模块136的位置，显示一个条件模块图标137，不同功能的条件模块136对应的条件模块图标137也不同。在一些实施例中，所述条件模块图标137整合在所述条件模块136内并紧挨该条件模块136的条件模块名称而显示。

如图4所示，所述模块选择窗格131显示为“动作模块选择”，则用户可以清楚地知道所述模块区域135正在显示的内容是动作模块138；如图4所示，此时模块区域135显示的动作模块138有“向前”、“向左”、“停止”等；在一些实施例中，在紧挨每个所述动作模块138的位置，显示一个动作模块图标139，不同功能的动作模块138对应的动作模块图标139也不同。

在一些实施例中，所述动作模块图标139整合在所述动作模块138内并紧挨该动作模块138的动作模块名称而显示。

所述控制窗格140显示用户正在使用的功能，如附图所示，显示“程序逻辑”，从而告知用户他正在进行进行控制程序的编辑。所述图像化编程应用程序还可以在所述GUI 100中显示启用模块142和停止模块143；当用户选择所述启用模块142时，机器人启动并执行所述控制程序；当用户选择所述停止模块143时，机器人停止执行所述控制程序。

需要说明的是，本发明附图中的黑色箭头用于说明用户正在选择的位置，目的在于更好地解释清楚本发明的技术方案，并不用于限定本发明必然在GUI中显示出这个箭头。

用户如果通过触摸的方式在所述GUI 100上进行选择操作时，可以是当用户触摸的瞬间即完成选择操作，也可以是用户触摸的时间达到一定时长是才完成选择操作；可以是当用户连续多次触摸某完成选择操作；也可以是当用户触摸压力得到一定阈值时，所述图像化编程应用程序才认为用户在所述GUI 100上完成了选择操作。

在一些实施例中，用户在进入所述图像化编程应用程序时，所述图像化编程应用程序在所述程序编辑区域120显示为空白，不显示任何内容；在一些实施例中，用户在进入所述图像化编程应用程序时，所述程序编辑区域120显示控制程序，该控制程序是在机器可读介质中预先存好的，所述图像化编程应用程序在启动时读取所述机器可读介质并将存储在其中的控制程序显示在所述程序编辑区域120。

在一些实施例中，用户在进入所述图像化编程应用程序时，所述图像化编程应用程序在所述模块选择区域130显示为空白，不显示任何内容；在一些实施例中，用户在进入所述图像化编程应用程序时，所述模块选择区域130显示所述条件模块或所述动作模块。

在一些实施例中，当用户编辑控制程序时，如图2所示，如果用户选择(例如，通过触摸。如上文所述，图中的箭头仅示例性地表示用户选择的位置)其中一个判断条件单体区域124(图2中示例性地选择了最左侧的一个判断条件单体区域124)进行编辑，即编辑所述控制程序中的其中一行程序的其中一个判断条件；此时响应于用户在所述判断条件显示区域123中选定了一个判断条件单体区域124，所述图像化编程应用程序在所述模块选择区域130显示对应的内容，具体为所述模块选择窗格131显示为“条件模块选择”，所述模块区域135显示“距离小于5厘米”、“距离小于6厘米”、“距离小于7厘米”等条件模块136；优选地，在紧挨每个所述条件模块136的位置，显示一个条件模块图标137。

在一些实施例中，当用户编辑控制程序时，如图4所示，如果用户选择(例如，通过触摸)其中一个执行动作单体区域128(图4中示例性地选择了最左侧的一个执行动作单体区域128)进行编辑，即编辑所述控制程序中的其中一行程序的其中一个执行动作；此时响应于用户在所述执行动作显示区域125中选定了一个执行动作单体区域128，所述图像化编程应用程序在所述模块选择区域130显示对应的内容，具体为所述模块选择窗格131显示为“动作模块选择”，所述模块区域135显示“向前”、“向左”、“停止”等动作模块138；优选地，在紧挨每个所述动作模块138的位置，显示一个动作模块图标139。

在一些实施例中，当用户选择一个所述判断条件单体区域124或一个所述执行动作单体区域128时，所述图像化编程应用程序将被选择的所述判断条件单体区域124或所述执行动作单体区域128突出显示，例如可以是将被选择的所述判断条件单体区域124或所述执行动作单体区域128高亮显示，闪烁显示等一切与未被选择之前的显示方式不同的、可被用户识别的突出显示方式。

在一些实施例中，如果用户使用安装有所述图像化编程应用程序的手机、手持计算设备进行编程操作，当用户选择一个所述判断条件单体区域124或一个所述执行动作单体区域128时，所述手机、手持计算设备将产生振动，从而提醒用户。

在一些实施例中，如图2所示，当用户已经选择其中一个判断条件单体区域124进行编辑，即编辑所述控制程序中的其中一行程序的其中一个判断条件，所述模块选择区域130显示对应的内容时，用户可以选择其中一个条件模块136，如图3所示(图3中，示例性地选择了最上面的一个条件模块136)，此时所述图像化编程应用程序在被选择的这一个判断条件单体区域124显示被选择的这一个条件模块136的对应的条件模块图标137，或显示被选择这一个条件模块136的条件模块名称，或显示被选择这一个条件模块136的内容，或显示能够让用户识别出的、能够代表被选择这一个条件模块136的图形和/或文字。

在一些实施例中，如图4所示，当用户已经选择其中一个执行动作单体区域128进行编辑，即编辑所述控制程序中的其中一行程序的其中一个执行动作，所述模块选择区域130显示对应的内容时，用户可以选择其中一个动作模块138，如图5所示(图5中，示例性地选择了最上面的一个动作模块138)，此时所述图像化编程应用程序在被选择的这一个执行动作单体区域128显示被选择的这一个动作模块138的对应的动作模块图标139，或显示被选择这一个动作模块138的名称，或显示被选择这一个动作模块138的内容，或显示能够让用户识别出的、能够代表被选择这一个动作模块138的图形和/或文字。

在一些实施例中，如图6所示，当用户选择(例如，通过触摸)所述GUI 100中显示的启动模块142时，所述图像化编程应用程序完成对所述控制程序的编辑工作，安装有所述图像化编程应用程序的控制设备(例如，手机)将已经编辑完成的控制程序发送至机器人。

在一些实施例中，如图6-7所示，当用户选择(例如，通过触摸)所述GUI100中显示的启动模块142时，所述图像化编程应用程序完成对所述控制程序的编辑工作，同时所述图像化编程应用程序在所述GUI 100弹出对话框150，提示用户程序编辑工作已经完成。优选地，在所述图像化编程应用程序在所述GUI100弹出对话框150的同时，所述GUI 100的除了所述对话框150的其他区域的显示状态，比所述对话框150未弹出时的所述其他区域的显示状态更暗，且比所述对话框150自身的显示状态更暗。更优选地，所述对话框150内显示可供用户选择的按钮，例如可以是确认按钮，和/或取消按钮。

在一些实施例中，如图6所示，当用户选择(例如，通过触摸)所述GUI 100中显示的停止模块143时，安装有所述图像化编程应用程序的控制设备(例如，手机)控制机器人停止执行所有程序。

在一些实施例中，所述GUI 100中显示清除模块；当用户选择所述清除模块时，所述图像化编辑应用程序将所有已经编辑的所述判断条件和所述执行动作清除。

在一些实施例中，所述GUI 100中显示保存模块；当用户选择所述保存模块时，所述图像化编辑应用程序将所有已经编辑的所述判断条件和所述执行动作保存至指定的存储介质中。

如图1-7所示，现将描述包括GUI 100的图像化编程应用程序的示例性操作。

在所述阶段101，在该阶段所述图像化编程应用程序在所述GUI 100显示所述程序编辑区域120和控制窗格140；优选地，此时，所述图像化编程应用程序在所述程序编辑区域120内显示所述横向分隔线129A和所述纵向分隔线129B。

阶段102示例用户对其中一个判断条件单体区域124的选择(例如，用户通过手指触摸所述判断条件单体区域124)。图像化编程应用程序响应于对判断条件单体区域124的选择而将所述判断条件单体区域124突出显示(例如，图1所示的高亮显示)且在所述模块选择区域130显示对应的内容，具体为所述模块选择窗格131显示为“条件模块选择”，所述模块区域135显示“距离小于5厘米”、“距离小于6厘米”、“距离小于7厘米”等条件模块136，在紧挨每个所述条件模块136的位置，显示一个条件模块图标137(需要说明的是，在一些实施例中，所述条件模块136包括所述条件模块图标137)。

在阶段103处，用户随后选择(例如，用户通过手指触摸所述条件模块135和/或条件模块图标137)所述模块区域135中显示的条件模块136(此时，可以将该条件模块136突出显示)，作为响应所述图像化编程应用程序在被选择的这一个判断条件单体区域124(即用户在所述阶段101中选择的判断条件单体区域124)显示被选择的这一个条件模块136的对应的条件模块图标137。

在104阶段，用户选择其中一个执行动作单体区域128，图像化编程应用程序响应于对执行动作单体区域128的选择而将所述执行动作单体区域128突出显示且在所述模块选择区域130显示对应的内容，具体为所述模块选择窗格131显示为“动作模块选择”，所述模块区域135显示“向前”、“向左”、“停止”等动作模块138，在紧挨每个所述动作模块138的位置，显示一个动作模块图标139(需要说明的是，在一些实施例中，所述动作模块138包括所述动作模块图标139)。

在阶段105处，用户随后选择所述模块区域135中显示的动作模块138(此时，可以将该动作模块138突出显示)，作为响应所述图像化编程应用程序在被选择的这一个执行动作单体区域128(即用户在所述阶段103中选择的执行动作单体区域128)显示被选择的这一个动作模块138的对应的动作模块图标139。

下一个阶段106示例用户选择所述GUI 100中显示的启动模块142，此时所述图像化编程应用程序完成对所述控制程序的编辑工作；此时，优选地，安装有所述图像化编程应用程序的控制设备(例如，手机)将已经编辑完成的控制程序发送至机器人。

最后一个阶段107(此为一些实施例具有的阶段，此阶段是非必要的)处，所述图像化编程应用程序响应于用户选择了启动模块142，此时所述图像化编程应用程序在所述GUI 100弹出对话框150，提示用户程序编辑工作已经完成。优选地，如图7所示，在所述图像化编程应用程序在所述GUI 100弹出对话框150的同时，所述GUI 100的除了所述对话框150的其他区域的显示状态，比所述对话框150未弹出时的所述其他区域的显示状态更暗。

如图8-17所示，现将描述包括GUI 100的图像化编程应用程序的示例性操作。

阶段201-202示例编辑第二行程序的其中一个判断条件，具体与阶段102-103类似，在此不再赘述。阶段203-204示例编辑第二行程序的另一个判断条件，具体与阶段102-103类似，在此不再赘述。

阶段205-206示例编辑第二行程序的其中一个执行动作，具体与阶段104-105类似，在此不再赘述。阶段207-208示例编辑第二行程序的其中一个执行动作，具体与阶段104-105类似，在此不再赘述。

阶段209示例选择启动模块，具体与阶段106类似，在此不再赘述。

最后一个阶段210(此为一些实施例具有的阶段，此阶段是非必要的)处，所述图像化编程应用程序响应于用户选择了启动模块142，此时所述图像化编程应用程序在所述GUI 100弹出对话框150，具体与阶段107类似，在此不再赘述。

控制设备安装有所述图像化编程应用程序，用户可以在所述控制设备上运行该应用程序。所述控制设备可以将编辑完成的控制程序发送至机器人，机器人执行所述控制程序。

本发明提供一种实现图像化编程的方法，包括控制设备，所述控制设备包括能够显示用户界面的显示模块，所述方法包括以下步骤：

在用户界面上显示程序编辑区域120，所述程序编辑区域用于显示和编辑控制程序，所述程序编辑控制区域包括判断条件显示区域123和执行动作显示区域127，所述判断条件显示区域123包括数个判断条件单体区域124，所述执行动作显示区域127包括数个执行动作单体区域128；

当用户选择其中一个所述判断条件单体区域124时，响应于用户的选择操作，在所述用户界面上显示模块选择区域130，所述模块选择区域130此时显示为包括数个条件模块136，或者当用户选择其中一个所述执行动作单体区域128时，响应于用户的选择操作，在所述用户界面上显示模块选择区域130，所述模块选择区域130此时显示为包括数个动作模块138；

当用户选择其中一个所述条件模块136时，响应于用户的选择操作，在被选择的这一个判断条件单体区域124显示被选择的这一个条件模块136的对应的条件模块图标137和/或条件模块名称，或者当用户选择其中一个所述动作模块138时，响应于用户的选择操作，在被选择的这一个执行动作单体区域128显示被选择的这一个动作模块138的对应的动作模块图标139和/或动作模块名称。

优选地，所述方法还包括以下步骤，在用户界面上显示程序编辑区域的同时，在用户界面上显示控制窗格140，所述控制窗格140包括启动模块142。

优选地，所述方法还包括以下步骤，当用户选择所述启动模块142时，响应于用户的选择操作，所述控制设备完成对所述控制程序的编辑工作。

优选地，所述方法还包括以下步骤，响应于用户选择启动模块142，在所述用户界面显示对话框150，提示用户程序编辑工作已经完成。

优选地，所述方法还包括以下步骤，当用户选择所述启动模块142时，响应于用户的选择操作，在所述用户界面显示对话框150，所述对话框内显示供用户选择的按钮。

优选地，所述方法还包括以下步骤，当所述对话框150弹出的同时，所述用户界面的除了所述对话框150以外的其他区域的显示状态，比所述对话框150未弹出时的所述其他区域的显示状态更暗，且比所述对话框150自身的显示状态更暗。

优选地，所述方法还包括以下步骤，所述控制窗格140还包括停止模块143和/或保存模块和/或清除模块；响应于用户选择所述停止模块143，所述控制设备控制机器人停止执行所有控制程序；响应于用户选择所述保存模块，所述控制设备将所有已经编辑的所述判断条件和所述执行动作保存至指定的存储介质中；响应于用户选择所述清除模块，所述控制设备将所有已经编辑的控制程序清除。

优选地，所述方法还包括以下步骤，在用户界面上显示程序编辑区域的同时，在所述程序编辑区域120内显示横向分隔线129A和纵向分隔线129B，通过所述横向分隔线129A和所述纵向分隔线129B，所述判断条件显示区域123和所述执行动作显示区域125分别被分割成数个判断条件单体区域124和执行动作单体区域128。

优选地，所述方法还包括以下步骤，响应于用户选择其中一个所述判断条件单体区域124，该被选择的判断条件单体区域124被突出显示；响应于用户选择其中一个所述执行动作单体区域128，该被选择的执行动作单体区域128被突出显示；响应于用户选择其中一个条件模块136，该被选择的条件模块136被突出显示；响应于用户选择其中一个动作模块138，该被选择的动作模块138被突出显示。

优选地，所述突出显示为高亮显示和/或闪烁显示。

优选地，所述程序编辑区域120包括判断条件区域121和执行动作区域125，所述判断条件区域121包括便于用户识别区分的判断条件窗格122和判断条件显示区域123，所述判断条件显示区域123包括数个判断条件单体区域124；所述执行动作区域125包括便于用户识别区分的执行动作窗格126和执行动作显示区域127，所述执行动作显示区域127包括数个执行动作单体区域128；所述模块选择区域130包括便于用户识别区分的模块选择窗格131和模块区域135。

优选地，所述该条件模块136显示为包括条件模块名称和/或条件模块图标137；所述该动作模块138显示为包括动作模块名称和/或动作模块图标139。

优选地，用户通过触摸所述显示模块实现选择操作，可以是当用户触摸的瞬间即完成选择操作；可以是用户触摸的时间达到预设时长时才完成选择操作；可以是当用户连续多次触摸时才完成选择操作；可以是当用户触摸压力得到一定阈值时完成选择操作。

优选地，所述方法还包括以下步骤，响应于用户选择启动模块142，所述控制设备完成对所述控制程序的编辑工作，所述控制设备将已经编辑完成的控制程序发送至机器人。

优选地，所述控制设备是手机，用户实现选择操作的同时，所述手机产生振动。

本发明提供一种存储图像化编程应用程序的机器可读介质，所述图像化编程应用程序包括用于以下操作的指令集：

在用户界面上显示程序编辑区域120，所述程序编辑区域用于显示和编辑控制程序，所述程序编辑控制区域包括判断条件显示区域123和执行动作显示区域127，所述判断条件显示区域123包括数个判断条件单体区域124，所述执行动作显示区域127包括数个执行动作单体区域128；

当用户选择其中一个所述判断条件单体区域124时，响应于用户的选择操作，在所述用户界面上显示模块选择区域130，所述模块选择区域130此时显示为包括数个条件模块136，或者当用户选择其中一个所述执行动作单体区域128时，响应于用户的选择操作，在所述用户界面上显示模块选择区域130，所述模块选择区域130此时显示为包括数个动作模块138；

当用户选择其中一个所述条件模块136时，响应于用户的选择操作，在被选择的这一个判断条件单体区域124显示被选择的这一个条件模块136的对应的条件模块图标137和/或条件模块名称，或者当用户选择其中一个所述动作模块138时，响应于用户的选择操作，在被选择的这一个执行动作单体区域128显示被选择的这一个动作模块138的对应的动作模块图标139和/或动作模块名称。

优选地，所述机器可读介质还包括以下指令集，在用户界面上显示程序编辑区域的同时，在用户界面上显示控制窗格140，所述控制窗格140包括启动模块142。

优选地，所述机器可读介质还包括以下指令集，当用户选择所述启动模块142时，响应于用户的选择操作，所述控制设备完成对所述控制程序的编辑工作。

优选地，所述机器可读介质还包括以下指令集，响应于用户选择启动模块142，在所述用户界面显示对话框150，提示用户程序编辑工作已经完成。

优选地，所述机器可读介质还包括以下指令集，当用户选择所述启动模块142时，响应于用户的选择操作，在所述用户界面显示对话框150，所述对话框内显示供用户选择的按钮。

优选地，所述机器可读介质还包括以下指令集，当所述对话框150弹出的同时，所述用户界面的除了所述对话框150以外的其他区域的显示状态，比所述对话框150未弹出时的所述其他区域的显示状态更暗，且比所述对话框150自身的显示状态更暗。

优选地，所述机器可读介质还包括以下指令集，所述控制窗格140还包括停止模块143和/或保存模块和/或清除模块；响应于用户选择所述停止模块143，所述控制设备控制机器人停止执行所有控制程序；响应于用户选择所述保存模块，所述控制设备将所有已经编辑的所述判断条件和所述执行动作保存至指定的存储介质中；响应于用户选择所述清除模块，所述控制设备将所有已经编辑的控制程序清除。

优选地，所述机器可读介质还包括以下指令集，在用户界面上显示程序编辑区域的同时，在所述程序编辑区域120内显示横向分隔线129A和纵向分隔线129B，通过所述横向分隔线129A和所述纵向分隔线129B，所述判断条件显示区域123和所述执行动作显示区域125分别被分割成数个判断条件单体区域124和执行动作单体区域128。

优选地，所述机器可读介质还包括以下指令集，响应于用户选择其中一个所述判断条件单体区域124，该被选择的判断条件单体区域124被突出显示；响应于用户选择其中一个所述执行动作单体区域128，该被选择的执行动作单体区域128被突出显示；响应于用户选择其中一个条件模块136，该被选择的条件模块136被突出显示；响应于用户选择其中一个动作模块138，该被选择的动作模块138被突出显示。

优选地，所述突出显示为高亮显示和/或闪烁显示。

优选地，所述程序编辑区域120包括判断条件区域121和执行动作区域125，所述判断条件区域121包括便于用户识别区分的判断条件窗格122和判断条件显示区域123，所述判断条件显示区域123包括数个判断条件单体区域124；所述执行动作区域125包括便于用户识别区分的执行动作窗格126和执行动作显示区域127，所述执行动作显示区域127包括数个执行动作单体区域128；所述模块选择区域130包括便于用户识别区分的模块选择窗格131和模块区域135。

优选地，所述该条件模块136显示为包括条件模块名称和/或条件模块图标137；所述该动作模块138显示为包括动作模块名称和/或动作模块图标139。

优选地，用户通过触摸所述显示模块实现选择操作，可以是当用户触摸的瞬间即完成选择操作；可以是用户触摸的时间达到预设时长时才完成选择操作；可以是当用户连续多次触摸时才完成选择操作；可以是当用户触摸压力得到一定阈值时完成选择操作。

优选地，所述机器可读介质还包括以下指令集，响应于用户选择启动模块142，所述控制设备完成对所述控制程序的编辑工作，所述控制设备将已经编辑完成的控制程序发送至机器人。

优选地，其特征在于，所述控制设备是手机，用户实现选择操作的同时，所述手机产生振动。

本发明提供一种实现图像化编程的控制设备，所述控制设备包括能够显示用户界面的显示模块，

所述用户界面上显示程序编辑区域120，所述程序编辑区域用于显示和编辑控制程序，所述程序编辑控制区域包括判断条件显示区域123和执行动作显示区域127，所述判断条件显示区域123包括数个判断条件单体区域124，所述执行动作显示区域127包括数个执行动作单体区域128；

当用户选择其中一个所述判断条件单体区域124时，响应于用户的选择操作，所述用户界面上显示模块选择区域130，所述模块选择区域130此时显示为包括数个条件模块136，或者当用户选择其中一个所述执行动作单体区域128时，响应于用户的选择操作，所述用户界面上显示模块选择区域130，所述模块选择区域130此时显示为包括数个动作模块138；

当用户选择其中一个所述条件模块136时，响应于用户的选择操作，被选择的这一个判断条件单体区域124显示被选择的这一个条件模块136的对应的条件模块图标137和/或条件模块名称，或者当用户选择其中一个所述动作模块138时，响应于用户的选择操作，被选择的这一个执行动作单体区域128显示被选择的这一个动作模块138的对应的动作模块图标139和/或动作模块名称。

优选地，用户界面上显示程序编辑区域的同时，用户界面上显示控制窗格140，所述控制窗格140包括启动模块142。

优选地，用户选择所述启动模块142时，响应于用户的选择操作，所述控制设备完成对所述控制程序的编辑工作。

优选地，响应于用户选择启动模块142，所述用户界面显示对话框150，提示用户程序编辑工作已经完成。

优选地，用户选择所述启动模块142时，响应于用户的选择操作，所述用户界面显示对话框150，所述对话框内显示供用户选择的按钮。

优选地，所述对话框150弹出的同时，所述用户界面的除了所述对话框150以外的其他区域的显示状态，比所述对话框150未弹出时的所述其他区域的显示状态更暗，且比所述对话框150自身的显示状态更暗。

优选地，所述控制窗格140还包括停止模块143和/或保存模块和/或清除模块；响应于用户选择所述停止模块143，所述控制设备控制机器人停止执行所有控制程序；响应于用户选择所述保存模块，所述控制设备将所有已经编辑的所述判断条件和所述执行动作保存至指定的存储介质中；响应于用户选择所述清除模块，所述控制设备将所有已经编辑的控制程序清除。

优选地，用户界面上显示程序编辑区域的同时，所述程序编辑区域120内显示横向分隔线129A和纵向分隔线129B，通过所述横向分隔线129A和所述纵向分隔线129B，所述判断条件显示区域123和所述执行动作显示区域125分别被分割成数个判断条件单体区域124和执行动作单体区域128。

优选地，响应于用户选择其中一个所述判断条件单体区域124，该被选择的判断条件单体区域124被突出显示；响应于用户选择其中一个所述执行动作单体区域128，该被选择的执行动作单体区域128被突出显示；响应于用户选择其中一个条件模块136，该被选择的条件模块136被突出显示；响应于用户选择其中一个动作模块138，该被选择的动作模块138被突出显示。

优选地，所述突出显示为高亮显示和/或闪烁显示。

优选地，所述程序编辑区域120包括判断条件区域121和执行动作区域125，所述判断条件区域121包括便于用户识别区分的判断条件窗格122和判断条件显示区域123，所述判断条件显示区域123包括数个判断条件单体区域124；所述执行动作区域125包括便于用户识别区分的执行动作窗格126和执行动作显示区域127，所述执行动作显示区域127包括数个执行动作单体区域128；所述模块选择区域130包括便于用户识别区分的模块选择窗格131和模块区域135。

优选地，所述该条件模块136显示为包括条件模块名称和/或条件模块图标137；所述该动作模块138显示为包括动作模块名称和/或动作模块图标139。

优选地，用户通过触摸所述显示模块实现选择操作，可以是当用户触摸的瞬间即完成选择操作；可以是用户触摸的时间达到预设时长时才完成选择操作；可以是当用户连续多次触摸时才完成选择操作；可以是当用户触摸压力得到一定阈值时完成选择操作。

优选地，响应于用户选择启动模块142，所述控制设备完成对所述控制程序的编辑工作，所述控制设备将已经编辑完成的控制程序发送至机器人。

优选地，所述控制设备是手机，用户实现选择操作的同时，所述手机产生振动。

所述机器可读介质可以是暂态的或非暂态的。