手势控制方法、控制装置和控制系统与流程

本公开涉及控制领域，特别涉及一种手势控制方法、控制装置和控制系统。

背景技术：

伴随着基础经济、民生工程的大力发展，诸如起重机的工程车辆在工程建设、轨道交通和抢险救援等领域发挥着重要作用。例如，轮式起重机其因吊重能力强、转场效率高而得到市场的广泛青睐。

传统的吊装作业需要操作人员进入操纵室。操作人员根据被吊物体种类、外形尺寸、周边环境和当前位置，并结合自身经验，实时操作安装在操纵室座椅两侧的手柄，调整起重机吊臂长度、变幅角度和被吊物高度等，使被吊物安全到达目标位置，从而完成被吊物的吊装作业过程。

技术实现要素：

发明人注意到，在工程车辆的传统作业方式中，操作人员需要进入操纵室，因此视野会受到限制。此外，由于需要专人进行吊索具安装、周围环境观察和下达操作指令，因此工作效率较低，且存在作业指令不能够被操作人员快速、准确理解的吊装风险。

为此，本公开提供一种对工程车辆进行方便高效控制的方案。

根据本公开实施例的第一方面，提供一种手势控制方法，包括：在预定方向上进行视频采集；根据所采集视频中的用户手部图像，检测用户是否在拍摄视野的参照区域内开启手势控制功能；若用户在所述参照区域内开启手势控制功能，则根据所采集视频中的用户手部图像，检测用户是否在拍摄视野的工作区域中完成控制操作；若用户在所述工作区域中完成控制操作，则检测所述用户手部图像在所述工作区域内的当前位置相对于所述参照区域的移动方向及在所述移动方向上的移动距离，其中所述参照区域设置在所述工作区域中的预定位置上；根据所述移动方向和所述移动距离，生成与当前工作模式相对应的动作指令；将所述动作指令发送给对应的车辆控制装置，以便所述车辆控制装置根据所述工作指令对相应的工程车辆进行控制。

在一些实施例中，根据所述移动方向和所述移动距离，生成与当前工作模式相对应的动作指令包括：确定所述移动距离和所述预定长度的比值，以作为当前工作模式下的动作速度，其中所述预定长度为所述参照区域沿所述移动方向移动到所述工作区域边界的长度；根据所述移动方向确定当前工作模式下的动作方向；根据所述动作方向和所述动作速度生成相应的动作指令。

在一些实施例中，在显示屏上显示与所述动作方向和所述动作速度相对应的提示信息。

在一些实施例中，所述显示屏为透明显示屏。

在一些实施例中，将所述动作指令发送给对应的车辆控制装置包括：利用第一协议对所述动作指令进行处理，以得到第一指令信息；利用第二协议对所述动作指令进行处理，以得到第二指令信息；将所述第一指令信息和第二指令信息发送给对应的车辆控制装置。

在一些实施例中，检测用户是否在所述参照区域内激活手势控制功能包括：根据所采集视频中的用户手部图像，检测用户手部图像是否位于所述参照区域内；若用户手部图像位于所述参照区域内，则进一步检测用户手部图像是否对应预设手势；若用户手部图像对应预设手势，则确定用户在参照区域内激活手势控制功能。

在一些实施例中，检测用户是否在所述工作区域中完成控制操作包括：检测所述用户手部图像是否在所述工作区域中停止运动；若所述用户手部图像在所述工作区域中停止运动，则确定用户在所述工作区域中完成控制操作。

在一些实施例中，根据用户通过输入装置输入的指令，对当前工作模式进行调整。

在一些实施例中，若在所采集视频中不包括用户手部图像，则关闭手势控制功能。

根据本公开实施例的第二方面，提供一种手势控制装置，包括：摄像模块，被配置为在预定方向上进行视频采集；控制模块，被配置为根据所采集视频中的用户手部图像，检测用户是否在拍摄视野的参照区域内开启手势控制功能，若用户在所述参照区域内开启手势控制功能，则根据所采集视频中的用户手部图像，检测用户是否在拍摄视野的工作区域中完成控制操作，若用户在所述工作区域中完成控制操作，则检测所述用户手部图像在所述工作区域内的当前位置相对于所述参照区域的移动方向及在所述移动方向上的移动距离，其中所述参照区域设置在所述工作区域中的预定位置上，根据所述移动方向和所述移动距离，生成与当前工作模式相对应的动作指令；通信模块，被配置为将所述动作指令发送给对应的车辆控制装置，以便所述车辆控制装置根据所述工作指令对相应的工程车辆进行控制。

在一些实施例中，控制模块被配置为确定所述移动距离和所述预定长度的比值，以作为当前工作模式下的动作速度，其中所述预定长度为所述参照区域沿所述移动方向移动到所述工作区域边界的长度，根据所述移动方向确定当前工作模式下的动作方向，根据所述动作方向和所述动作速度生成相应的动作指令。

在一些实施例中，上述装置还包括：显示屏，被配置为显示与所述动作方向和所述动作速度相对应的提示信息。

在一些实施例中，所述显示屏为透明显示屏。

在一些实施例中，通信模块被配置为利用第一协议对所述动作指令进行处理，以得到第一指令信息，利用第二协议对所述动作指令进行处理，以得到第二指令信息，将所述第一指令信息和第二指令信息发送给对应的车辆控制装置。

在一些实施例中，控制模块被配置为根据所采集视频中的用户手部图像，检测用户手部图像是否位于所述参照区域内，若用户手部图像位于所述参照区域内，则进一步检测用户手部图像是否对应预设手势，若用户手部图像对应预设手势，则确定用户在参照区域内激活手势控制功能。

在一些实施例中，控制模块被配置为检测所述用户手部图像是否在所述工作区域中停止运动，若所述用户手部图像在所述工作区域中停止运动，则确定用户在所述工作区域中完成控制操作。

在一些实施例中，上述装置还包括：输入模块，被配置为接收用户输入的指令；控制模块还被配置为对当前工作模式进行调整。

在一些实施例中，控制模块还被配置为在所采集视频中不包括用户手部图像的情况下，关闭手势控制功能。

根据本公开实施例的第三方面，提供一种手势控制装置，包括：存储器，被配置为存储指令；处理器，耦合到存储器，处理器被配置为基于存储器存储的指令执行实现如上述任一实施例所述的方法。

根据本公开实施例的第四方面，提供一种手势控制系统，包括如上述任一实施例所述的手势控制装置，以及配置有车辆控制装置的工程车辆，所述车辆控制装置被配置为根据所述手势控制装置发送的工作指令对所述工程车辆进行控制。

在一些实施例中，所述车辆控制装置被配置为在所述工作指令包括第一指令信息和第二指令信息的情况下，利用相应的第一协议对第一指令信息进行处理以得到第一动作指令，利用相应的第二协议对第二指令信息进行处理以得到第二动作指令，在所述第一动作指令和所述第二动作指令相同的情况下，利用所述第一动作指令或所述第二动作指令对所述工程车辆进行控制。

在一些实施例中，所述车辆控制装置还被配置为在接收到所述工作指令后，判断是否还接收到手柄控制指令，若接收到所述手柄控制指令，则仅执行所述手柄控制指令。

根据本公开实施例的第五方面，提供一种计算机可读存储介质，其中，计算机可读存储介质存储有计算机指令，指令被处理器执行时实现如上述任一实施例涉及的方法。

通过以下参照附图对本公开的示例性实施例的详细描述，本公开的其它特征及其优点将会变得清楚。

附图说明

为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本公开一个实施例的手势控制方法的示例性流程图；

图2为本公开一个实施例的动作控制界面的示意图；

图3为本公开另一个实施例的动作控制界面的示意图；

图4为本公开一个实施例的手势控制装置的示例性框图；

图5为本公开另一个实施例的手势控制装置的示例性框图；

图6为本公开又一个实施例的手势控制装置的示例性框图；

图7为本公开一个实施例的手势控制系统的示例性框图；

具体实施方式

下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。

除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。

同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。

对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为授权说明书的一部分。

在这里示出和讨论的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它示例可以具有不同的值。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。

图1为本公开一个实施例的手势控制方法的示例性流程图。在一些实施例中，手势控制方法步骤由手势控制装置执行。

在步骤101，在预定方向上进行视频采集。

在一些实施例中，通过摄像装置在预定方向上进行视频采集。

在步骤102，根据所采集视频中的用户手部图像，检测用户是否在拍摄视野的参照区域内开启手势控制功能。

在一些实施例中，在拍摄视野中设置参照区域。根据所采集视频中的用户手部图像，检测用户手部图像是否位于参照区域内。若用户手部图像位于参照区域内，则进一步检测用户手部图像是否对应预设手势。若用户手部图像对应预设手势，则确定用户在参照区域内激活手势控制功能。

例如，用户通过移动手部，使手部图像位于参照区域内，并且在该参照区域内竖起大拇指，以便开启手势控制功能。只有在手势控制功能开启后，才会进行后续的处理。由此可确保因用户随意摆手所造成的误操作。

在步骤103，若用户在参照区域内开启手势控制功能，则根据所采集视频中的用户手部图像，检测用户是否在拍摄视野的工作区域中完成控制操作。

在一些实施例中，在拍摄视野中设置工作区域，参照区域设置在工作区域中的预定位置上。通过检测用户手部图像是否在工作区域中停止运动，若用户手部图像在工作区域中停止运动，则确定用户在工作区域中完成控制操作。

例如，在开启手势控制功能后，用户向右移动手部。在移动一段距离后，用户手部保持静止一段时间，即表明用户完成一次控制操作。

在步骤104，若用户在工作区域中完成控制操作，则检测用户手部图像在工作区域内的当前位置相对于参照区域的移动方向及在移动方向上的移动距离。

在步骤105，根据移动方向和移动距离，生成与当前工作模式相对应的动作指令。

在一些实施例中，通过确定移动距离和预定长度的比值，以作为当前工作模式下的动作速度，其中预定长度为参照区域沿移动方向移动到工作区域边界的长度。根据移动方向确定当前工作模式下的动作方向。根据动作方向和动作速度生成相应的动作指令。

在一些实施例中，在显示屏上显示与动作方向和动作速度相对应的提示信息，以便用户了解与动作方向和动作速度相关联的信息。

在一些实施例中，显示屏为透明显示屏。例如，手势控制装置可以为智能眼镜，智能眼镜的至少一个眼镜片上设置透明显示屏。通过将动作方向和动作速度显示在显示屏上，从而便于用户了解信息。此外，由于显示屏为透明显示屏，从而不影响用户的视线。

在步骤106，将动作指令发送给对应的车辆控制装置，以便车辆控制装置根据工作指令对相应的工程车辆进行控制。

在一些实施例中，利用第一协议对动作指令进行处理，以得到第一指令信息。利用与第一协议不同的第二协议对动作指令进行处理，以得到第二指令信息。将第一指令信息和第二指令信息发送给对应的车辆控制装置。车辆控制装置在接收到第一指令信息和第二指令信息后，利用第一协议对第一指令信息进行处理以得到第一动作指令，利用第二协议对第二指令信息进行处理以得到第二动作指令。仅在第一动作指令和第二动作指令相同的情况下，才会利用第一动作指令或第二动作指令进行相应的控制。由此可提升信息传输的安全性，有效避免因动作指令传输错误而导致的错误操作。

在本公开上述实施例提供的手势控制方法中，操作人员通过移动手部及控制手势，就能在不进入操纵室的情况下对工程车辆进行控制。由此可由操纵人员一人完成吊索具安装、周围环境观察和起重机操纵，从而能够有效降低人力成本，提高作业安全、效率和被吊物安装精度。

在一些实施例中，根据用户通过输入装置输入的指令，对当前工作模式进行调整。

例如，对于起重机存在独立动作控制模式和复合动作控制模式。独立动作控制模式包括伸缩动作控制模式、回转动作控制模式、变幅动作控制模式和起升动作控制模式。复合动作控制模式包括伸缩/变幅复合控制模式、伸缩/起升动作控制模式、伸缩/回转动作控制模式、变幅/回转复合控制模式、变幅/起升复合控制模式、回转/起升动作控制模式。用户可根据需要，利用诸如方向键和确认键、触摸板等输入装置输入相应的指令，以便选择当前的工作模式。

在一些实施例中，将拍摄视野中的参照区域和工作区域映射到显示屏上。由此用户一边观看必要的信息，一边还能看到手势移动。

图2为本公开一个实施例的动作控制界面的示意图。

如图2所示，在显示屏上显示的动作控制界面上包括参照区域21和工作区域22。用户可在参照区域21中开启手势控制功能，还可在工作区域22内通过移动手部来进行相应控制。由于显示屏是透明屏，因此用户可直观地在参照区域21和工作区域22内通过手势动作进行相应的控制操作。

在一些实施例中，参照区域21为正方形、圆形或其它便于用户进行操作的形状。

在一些实施例中，动作控制界面上还设有指示设备23，以便在需要时提醒用户。此外，在动作控制界面上还设有工作模式提示信息，以提示用户当前所处的工作模式。

图3为本公开另一个实施例的动作控制界面的示意图。

如图3所示，用户选择当前工作模式为“回转”，则动作控制界面上突出显示“回转”。用户将手移动到参照区域内，并竖起大拇指，以开启手势控制功能。手势控制装置在开启手势控制功能后点亮指示设备23，以便提醒用户手势控制功能开启成功。

随后，用户的手部可在工作区域22内移动。例如，用户的手部从参照区域21开始向右侧移动一段距离后停止。通过计算参照区域21的右侧边界到用户手部当前位置之间的距离，并根据最大长度转换为相应的百分比。例如，得到的百分比为51％。由于用户在回转模式下向右移动了51％的距离，因此得到的指令状态为：动作方向为右回转，动作速度为51％。通过将得到的指令状态显示在动作控制界面上，如图3中的信息24所示。

此外，还可根据用户手部的移动显示相应的进度指示条，如图3中的进度指示条25所示。

手势控制装置将得到的指令发送给车辆控制装置，以便车辆控制装置控制工程车辆以51％的动作速度执行右回转动作。

在一些实施例中，若用户手部离开工作区域22，则关闭手势控制功能，以避免对车辆的错误控制。

图4为本公开一个实施例的手势控制装置的示例性框图。如图4所示，手势控制装置包括摄像模块41、控制模块42和通信模块43。

摄像模块41被配置为在预定方向上进行视频采集。

控制模块42被配置为根据所采集视频中的用户手部图像，检测用户是否在拍摄视野的参照区域内开启手势控制功能，若用户在参照区域内开启手势控制功能，则根据所采集视频中的用户手部图像，检测用户是否在拍摄视野的工作区域中完成控制操作，若用户在工作区域中完成控制操作，则检测用户手部图像在工作区域内的当前位置相对于参照区域的移动方向及在移动方向上的移动距离，其中参照区域设置在工作区域中的预定位置上，根据移动方向和移动距离，生成与当前工作模式相对应的动作指令。

在一些实施例中，控制模块42被配置为确定移动距离和预定长度的比值，以作为当前工作模式下的动作速度，其中预定长度为参照区域沿移动方向移动到工作区域边界的长度，根据移动方向确定当前工作模式下的动作方向，根据动作方向和动作速度生成相应的动作指令。

在一些实施例中，控制模块42被配置为根据所采集视频中的用户手部图像，检测用户手部图像是否位于参照区域内，若用户手部图像位于参照区域内，则进一步检测用户手部图像是否对应预设手势，若用户手部图像对应预设手势，则确定用户在参照区域内激活手势控制功能。

在一些实施例中，控制模块42被配置为检测用户手部图像是否在工作区域中停止运动，若用户手部图像在工作区域中停止运动，则确定用户在工作区域中完成控制操作。

在一些实施例中，控制模块42还被配置为在所采集视频中不包括用户手部图像的情况下，关闭手势控制功能。

通信模块43被配置为将动作指令发送给对应的车辆控制装置，以便车辆控制装置根据工作指令对相应的工程车辆进行控制。

在一些实施例中，通信模块43被配置为利用第一协议对动作指令进行处理，以得到第一指令信息，利用第二协议对动作指令进行处理，以得到第二指令信息，将第一指令信息和第二指令信息发送给对应的车辆控制装置。

在本公开上述实施例提供的手势控制装置中，操作人员通过移动手部及控制手势，就能在不进入操纵室的情况下对工程车辆进行控制。由此可由操纵人员一人完成吊索具安装、周围环境观察和起重机操纵，从而能够有效降低人力成本，提高作业安全、效率和被吊物安装精度。

图5为本公开另一个实施例的手势控制装置的示例性框图。图5与图4的不同之处在于，在图5所示实施例中，手势控制装置还包括显示屏44。显示屏44被配置为显示与动作方向和动作速度相对应的提示信息。

在一些实施例中，显示屏44为透明显示屏。例如，手势控制装置可以为智能眼镜，智能眼镜的至少一个眼镜片上设置透明显示屏。通过将动作方向和动作速度显示在显示屏上，从而便于用户了解信息。此外，由于显示屏为透明显示屏，从而不影响用户的视线。

在一些实施例中，如图5所示，手势控制装置还包括输入模块45。输入装置45可为方向键和确认键、触摸板、或者其它类型的输入装置。

输入模块45被配置为接收用户输入的指令。控制模块42还被配置为对当前工作模式进行调整。

图6为本公开又一个实施例的手势控制装置的示例性框图。如图6所示，手势控制装置包括存储器61和处理器62。

存储器61用于存储指令，处理器62耦合到存储器61，处理器62被配置为基于存储器存储的指令执行实现如图1中任一实施例涉及的方法。

如图6所示，该手势控制装置还包括通信接口63，用于与其它设备进行信息交互。同时，该装置还包括总线64，处理器62、通信接口63、以及存储器61通过总线64完成相互间的通信。

存储器61可以包含高速ram存储器，也可还包括非易失性存储器(non-volatilememory)，例如至少一个磁盘存储器。存储器61也可以是存储器阵列。存储器61还可能被分块，并且块可按一定的规则组合成虚拟卷。

此外，处理器62可以是一个中央处理器cpu，或者可以是专用集成电路asic，或者是被配置成实施本公开实施例的一个或多个集成电路。

本公开同时还涉及一种计算机可读存储介质，其中计算机可读存储介质存储有计算机指令，指令被处理器执行时实现如图1中任一实施例涉及的方法。

图7为本公开一个实施例的手势控制系统的示例性框图。如图7所示，手势控制系统包括手势控制装置71和工程车辆72，工程车辆72中设置有车辆控制装置73。手势控制装置71为图4至图6中任一实施例涉及的手势控制装置。

车辆控制装置73被配置为根据手势控制装置发送的工作指令对工程车辆进行控制。

在一些实施例中，车辆控制装置73被配置为在工作指令包括第一指令信息和第二指令信息的情况下，利用相应的第一协议对第一指令信息进行处理以得到第一动作指令，利用相应的第二协议对第二指令信息进行处理以得到第二动作指令。在第一动作指令和第二动作指令相同的情况下，利用第一动作指令或第二动作指令对工程车辆进行控制。

由此，可避免因指令传输错误而导致的错误操作。

在一些实施例中，车辆控制装置73还被配置为在接收到工作指令后，判断是否还接收到手柄控制指令，若接收到手柄控制指令，则仅执行手柄控制指令。

这里需要说明的是，在诸如起重机的工程车辆中，操纵室设有控制手柄，通过操纵手柄而产生的控制信号的优先级要高于其它控制设备。因此在接收到手柄控制指令的情况下，即使手势控制装置发送了工作指令，也仍根据手柄控制指令进行相应控制。

在一些实施例中，车辆控制装置73还被配置为在执行手势控制装置发送的工作指令前，还会判断动作方向和动作速度是否有效，仅在动作方向和动作速度有效的情况下才会执行相应控制，由此进一步提升了系统安全性。

在一些实施例中，在上面所描述的功能单元模块可以实现为用于执行本公开所描述功能的通用处理器、可编程逻辑控制器(programmablelogiccontroller，简称：plc)、数字信号处理器(digitalsignalprocessor，简称：dsp)、专用集成电路(applicationspecificintegratedcircuit，简称：asic)、现场可编程门阵列(field-programmablegatearray，简称：fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件或者其任意适当组合。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

本公开的描述是为了示例和描述起见而给出的，而并不是无遗漏的或者将本公开限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显然的。选择和描述实施例是为了更好说明本公开的原理和实际应用，并且使本领域的普通技术人员能够理解本公开从而设计适于特定用途的带有各种修改的各种实施例。