随车起重机的实时观测系统与观测方法与流程

[0001]
本发明涉及随车起重机的技术领域，特别涉及随车起重机的实时观测系统与方法。


背景技术：

[0002]
随着基础建设的发展，随车起重机广泛应用于不同场合的工程建设中，随车起重机能够自动移动到不同位置区域进行相应的起重操作。由于随车起重机的实际工作场地较为复杂，其通常存在各种不同类型的障碍物，这要求随车起重机在运动过程中需要实时观测这些障碍物的存在位置并及时避开这些障碍物，以确保随车起重机的正常运动。现有技术都是通过人工肉眼实时观测的方式识别障碍物的存在状态并对随车起重机的运动状态进行适应性调整，但是这种方式并不能全面地和及时地观测到障碍物的实际存在状态，从而严重地限制随车起重机运动的顺畅性以及对随车起重机的运动带来一定的安全隐患。


技术实现要素：

[0003]
针对现有技术存在的缺陷，本发明提供随车起重机的实时观测系统与方法，其采集所述随车起重机所处外界环境对应的环境图像，并对该环境图像进行分析处理，以此确定该外界环境中障碍物的存在状态信息，并根据该障碍物的存在状态信息，确定该随车起重机的规划运动路径范围，再实时观测该随车起重机在进行运动过程中的实际运动路径，并根据该实际运动路径和该规划运动路径范围，调整该随车起重机的运动状态；可见，该随车起重机的实时观测系统与方法通过对随车起重机所处外界环境进行拍摄，并从拍摄得到的环境图像中识别其中存在的障碍物，再根据障碍物的位置和尺寸形成随车起重机的规划运动路径范围，同时对比随车起重机的实际运动路径和该规划运动路径范围，以此调整随车起重机的运动状态以避免随车起重机在运动过程中不会触碰任何障碍物，从而提高随车起重机运动的顺畅性、稳定性和安全性。
[0004]
本发明提供随车起重机的实时观测系统，其特征在于，其包括环境图像采集模块、环境图像分析处理模块、规划运动路径范围确定模块和运动状态调整模块；其中，
[0005]
所述环境图像采集模块用于采集所述随车起重机所处外界环境对应的环境图像；
[0006]
所述环境图像分析处理模块用于对所述环境图像进行分析处理，以此确定所述外界环境中障碍物的存在状态信息；
[0007]
所述规划运动路径范围确定模块用于根据所述障碍物的存在状态信息，确定所述随车起重机的规划运动路径范围；
[0008]
所述运动状态调整模块用于实时观测所述随车起重机在进行运动过程中的实际运动路径，并根据所述实际运动路径和所述规划运动路径范围，调整所述随车起重机的运动状态；
[0009]
进一步，所述环境图像采集模块采集所述随车起重机所处外界环境对应的环境图像具体包括：
[0010]
对所述随车起重机所处外界环境进行双目拍摄，以此获得关于所述外界环境的第一环境图像和第二环境图像；
[0011]
以及，
[0012]
所述环境图像分析处理模块对所述环境图像进行分析处理，以此确定所述外界环境中障碍物的存在状态信息具体包括：
[0013]
对所述第一环境图像和所述第二环境图像进行降噪预处理后，根据所述第一环境图像和所述第二环境图像之间的图像视差，生成关于所述外界环境的立体环境图像；
[0014]
再从所述立体环境图像中提取相应的图像纹理信息，并对所述图像纹理信息进行分析处理，从而确定所述外界环境中障碍物的存在位置信息和大小尺寸信息；
[0015]
进一步，所述规划运动路径范围确定模块根据所述障碍物的存在状态信息，确定所述随车起重机的规划运动路径范围具体包括：
[0016]
根据所述障碍物的大小尺寸信息，确定所述障碍物的几何中心位置和所述障碍物的最大水平方向尺寸和最大竖直方向尺寸，并结合所述集合中心位置、所述最大水平方向尺寸和所述最大竖直方向尺寸，确定所述障碍物对所述随车起重机的活动产生干扰的障碍空间区域；
[0017]
再根据所有障碍物的存在位置信息和障碍空间区域，确定所述随车起重机在地面进行运动过程中不触碰任何障碍物时对应的规划运动路径范围；
[0018]
进一步，所述运动状态调整模块实时观测所述随车起重机在进行运动过程中的实际运动路径，并根据所述实际运动路径和所述规划运动路径范围，调整所述随车起重机的运动状态具体包括：
[0019]
实际观测所述随车起重机在进行运动过程中的六自由度位姿信息，并根据所述六自由度位姿信息得到所述实际运动路径；
[0020]
再确定所述实际运动路径与所述规划运动路径范围之间的交叠区域大小，并根据所述交叠区域大小，调整所述随车起重机的运动位姿和/或运动速度。
[0021]
本发明还提供随车起重机的实时观测方法，其特征在于，其包括如下步骤：
[0022]
步骤s1，采集所述随车起重机所处外界环境对应的环境图像，并对所述环境图像进行分析处理，以此确定所述外界环境中障碍物的存在状态信息；
[0023]
步骤s2，根据所述障碍物的存在状态信息，确定所述随车起重机的规划运动路径范围；
[0024]
步骤s3，实时观测所述随车起重机在进行运动过程中的实际运动路径，并根据所述实际运动路径和所述规划运动路径范围，调整所述随车起重机的运动状态；
[0025]
进一步，在所述步骤s1中，采集所述随车起重机所处外界环境对应的环境图像，并对所述环境图像进行分析处理，以此确定所述外界环境中障碍物的存在状态信息具体包括：
[0026]
步骤s101，对所述随车起重机所处外界环境进行双目拍摄，以此获得关于所述外界环境的第一环境图像和第二环境图像；
[0027]
步骤s102，对所述第一环境图像和所述第二环境图像进行降噪预处理后，根据所述第一环境图像和所述第二环境图像之间的图像视差，生成关于所述外界环境的立体环境图像；
[0028]
步骤s103，从所述立体环境图像中提取相应的图像纹理信息，并对所述图像纹理信息进行分析处理，从而确定所述外界环境中障碍物的存在位置信息和大小尺寸信息；
[0029]
进一步，在所述步骤s2中，根据所述障碍物的存在状态信息，确定所述随车起重机的规划运动路径范围具体包括：
[0030]
步骤s201，根据所述障碍物的大小尺寸信息，确定所述障碍物的几何中心位置和所述障碍物的最大水平方向尺寸和最大竖直方向尺寸，并结合所述集合中心位置、所述最大水平方向尺寸和所述最大竖直方向尺寸，确定所述障碍物对所述随车起重机的活动产生干扰的障碍空间区域；
[0031]
步骤s202，根据所有障碍物的存在位置信息和障碍空间区域，确定所述随车起重机在地面进行运动过程中不触碰任何障碍物时对应的规划运动路径范围；
[0032]
进一步，在所述步骤s3中，实时观测所述随车起重机在进行运动过程中的实际运动路径，并根据所述实际运动路径和所述规划运动路径范围，调整所述随车起重机的运动状态具体包括：
[0033]
步骤s301，实际观测所述随车起重机在进行运动过程中的六自由度位姿信息，并根据所述六自由度位姿信息得到所述实际运动路径；
[0034]
步骤s302，确定所述实际运动路径与所述规划运动路径范围之间的交叠区域大小，并根据所述交叠区域大小，调整所述随车起重机的运动位姿和/或运动速度；
[0035]
进一步，在所述步骤s302中，确定所述实际运动路径与所述规划运动路径范围之间的交叠区域大小，并根据所述交叠区域大小，调整所述随车起重机的运动位姿和/或运动速度具体包括根据所述六自由度位姿信息得到所述随车起重机在实际运动过程中的运动方向和运动速度，并根据所述运动方向和所述运动速度并结合所述交叠区域大小，调整所述随车起重机的运动速度，以使所述随车起重机在实际运动过程中出现偏离规划运动路径的情况时，减缓所述随车起重机的运动速度，其具体为：
[0036]
第一，利用下面公式(1)，确定所述随车起重机在运动过程的实际运动路径的运动方向θ：
[0037][0038]
在上述公式(1)中，ω
x
表示所述随车起重机的六自由度位姿信息中沿x轴方向的运动加速度值，ω
y
表示所述随车起重机的六自由度位姿信息中沿y轴方向的运动加速度值，ω
z
表示所述随车起重机的六自由度位姿信息中沿z轴方向的运动加速度值，g表示重力加速度值；
[0039]
第二、利用下面公式(2)，确定所述随车起重机在运动过程的实际运动路径的运动速度v：
[0040][0041]
在上述公式(2)中，v
x
表示所述随车起重机沿所述x轴方向的运动速度，v
y
表示所述随车起重机沿所述y轴方向的运动速度，v
z
表示所述随车起重机沿所述z轴方向的运动速度；
[0042]
第三、利用下面公式(3)，根据所述运动方向θ和所述运动速度v并结合所述交叠区
域大小，确定所述随车起重机的速度调整值
[0043]
v
t
＝v
×
(1-e
vtsinθ-s
)
ꢀꢀꢀ
(3)
[0044]
在上述公式(3)，v
t
表示经过时间t后所述随车起重机需要调整到的目标速度值，s表示所述交叠区域的宽度值，t表示所述随车起重机速度调整总时长。
[0045]
相比于现有技术，该随车起重机的实时观测系统与方法采集所述随车起重机所处外界环境对应的环境图像，并对该环境图像进行分析处理，以此确定该外界环境中障碍物的存在状态信息，并根据该障碍物的存在状态信息，确定该随车起重机的规划运动路径范围，再实时观测该随车起重机在进行运动过程中的实际运动路径，并根据该实际运动路径和该规划运动路径范围，调整该随车起重机的运动状态；可见，该随车起重机的实时观测系统与方法通过对随车起重机所处外界环境进行拍摄，并从拍摄得到的环境图像中识别其中存在的障碍物，再根据障碍物的位置和尺寸形成随车起重机的规划运动路径范围，同时对比随车起重机的实际运动路径和该规划运动路径范围，以此调整随车起重机的运动状态以避免随车起重机在运动过程中不会触碰任何障碍物，从而提高随车起重机运动的顺畅性、稳定性和安全性。
[0046]
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
[0047]
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
[0048]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0049]
图1为本发明提供的随车起重机的实时观测系统的结构示意图。
[0050]
图2为本发明提供的随车起重机的实时观测方法的流程示意图。
具体实施方式
[0051]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0052]
参阅图1，为本发明实施例提供的随车起重机的实时观测系统与方法的结构示意图。该随车起重机的实时观测系统包括环境图像采集模块、环境图像分析处理模块、规划运动路径范围确定模块和运动状态调整模块；其中，
[0053]
该环境图像采集模块用于采集该随车起重机所处外界环境对应的环境图像；
[0054]
该环境图像分析处理模块用于对该环境图像进行分析处理，以此确定该外界环境中障碍物的存在状态信息；
[0055]
该规划运动路径范围确定模块用于根据该障碍物的存在状态信息，确定该随车起
重机的规划运动路径范围；
[0056]
该运动状态调整模块用于实时观测该随车起重机在进行运动过程中的实际运动路径，并根据该实际运动路径和该规划运动路径范围，调整该随车起重机的运动状态。
[0057]
上述技术方案的有益效果为：该随车起重机的实时观测系统通过对随车起重机所处外界环境进行拍摄，并从拍摄得到的环境图像中识别其中存在的障碍物，再根据障碍物的位置和尺寸形成随车起重机的规划运动路径范围，同时对比随车起重机的实际运动路径和该规划运动路径范围，以此调整随车起重机的运动状态以避免随车起重机在运动过程中不会触碰任何障碍物，从而提高随车起重机运动的顺畅性、稳定性和安全性。
[0058]
优选地，该环境图像采集模块采集该随车起重机所处外界环境对应的环境图像具体包括：
[0059]
对该随车起重机所处外界环境进行双目拍摄，以此获得关于该外界环境的第一环境图像和第二环境图像；
[0060]
以及，
[0061]
该环境图像分析处理模块对该环境图像进行分析处理，以此确定该外界环境中障碍物的存在状态信息具体包括：
[0062]
对该第一环境图像和该第二环境图像进行降噪预处理后，根据该第一环境图像和该第二环境图像之间的图像视差，生成关于该外界环境的立体环境图像；
[0063]
再从该立体环境图像中提取相应的图像纹理信息，并对该图像纹理信息进行分析处理，从而确定该外界环境中障碍物的存在位置信息和大小尺寸信息。
[0064]
上述技术方案的有益效果为：通过对随车起重机所处外界环境进行双目拍摄，能够对该外界环境进行全面的拍摄，从而避免障碍物遗漏拍摄的情况出现，而根据该第一环境图像和第二环境图像形成相应的立体环境图像能够便于将障碍物的存在状态进行三维转换，由于当障碍物存在于不同外界环境位置或者障碍物具有不同大小尺寸时，该障碍物在该立体环境图像中的图像纹理信息会相应存在差异，通过分析图像纹理信息的这种差异能够快速地和准确地确定障碍物的存在位置信息和大小尺寸信息。
[0065]
优选地，该规划运动路径范围确定模块根据该障碍物的存在状态信息，确定该随车起重机的规划运动路径范围具体包括：
[0066]
根据该障碍物的大小尺寸信息，确定该障碍物的几何中心位置和该障碍物的最大水平方向尺寸和最大竖直方向尺寸，并结合该集合中心位置、该最大水平方向尺寸和该最大竖直方向尺寸，确定该障碍物对该随车起重机的活动产生干扰的障碍空间区域；
[0067]
再根据所有障碍物的存在位置信息和障碍空间区域，确定该随车起重机在地面进行运动过程中不触碰任何障碍物时对应的规划运动路径范围。
[0068]
上述技术方案的有益效果为：由于障碍物本身的大小尺寸影响，其在该外界环境中会相应地占据一定大小的障碍空间区域，该障碍空间区域会对随车起重机的运动产生一定的干扰，为了保证随车起重机的正常运动，需要指示随车起重机在运动过程中自动地避开这些障碍空间区域，为了实现障碍空间区域的最大化确定，以该障碍物的几何中心位置为中心点和以该最大水平方向尺寸和最大竖直方向尺寸作为椭球体的长径和短径形成的椭球空间区域作为该障碍空间区域，能够提高该障碍空间区域确定的可靠性和有效性。
[0069]
优选地，该运动状态调整模块实时观测该随车起重机在进行运动过程中的实际运
动路径，并根据该实际运动路径和该规划运动路径范围，调整该随车起重机的运动状态具体包括：
[0070]
实际观测该随车起重机在进行运动过程中的六自由度位姿信息，并根据该六自由度位姿信息得到该实际运动路径；
[0071]
再确定该实际运动路径与该规划运动路径范围之间的交叠区域大小，并根据该交叠区域大小，调整该随车起重机的运动位姿和/或运动速度。
[0072]
上述技术方案的有益效果为：通过根据该六自由度位姿信息得到该实际运动路径，能够保证该实际运动路径匹配于该随车起重机的实际运动状态，而将该实际运动路径与该规划运动路径范围进行比对来确定两者之间的交叠区域大小，能够定量地衡量该随车起重机与该障碍空间区域的干扰情况，以便于后续准确地该随车起重机的运动位姿和/或运动速度。
[0073]
参阅图2，为本发明实施例提供的随车起重机的实时观测方法的流程示意图。该随车起重机的实时观测方法包括如下步骤：
[0074]
步骤s1，采集该随车起重机所处外界环境对应的环境图像，并对该环境图像进行分析处理，以此确定该外界环境中障碍物的存在状态信息；
[0075]
步骤s2，根据该障碍物的存在状态信息，确定该随车起重机的规划运动路径范围；
[0076]
步骤s3，实时观测该随车起重机在进行运动过程中的实际运动路径，并根据该实际运动路径和该规划运动路径范围，调整该随车起重机的运动状态。
[0077]
上述技术方案的有益效果为：该随车起重机的实时观测方法通过对随车起重机所处外界环境进行拍摄，并从拍摄得到的环境图像中识别其中存在的障碍物，再根据障碍物的位置和尺寸形成随车起重机的规划运动路径范围，同时对比随车起重机的实际运动路径和该规划运动路径范围，以此调整随车起重机的运动状态以避免随车起重机在运动过程中不会触碰任何障碍物，从而提高随车起重机运动的顺畅性、稳定性和安全性。
[0078]
优选地，在该步骤s1中，采集该随车起重机所处外界环境对应的环境图像，并对该环境图像进行分析处理，以此确定该外界环境中障碍物的存在状态信息具体包括：
[0079]
步骤s101，对该随车起重机所处外界环境进行双目拍摄，以此获得关于该外界环境的第一环境图像和第二环境图像；
[0080]
步骤s102，对该第一环境图像和该第二环境图像进行降噪预处理后，根据该第一环境图像和该第二环境图像之间的图像视差，生成关于该外界环境的立体环境图像；
[0081]
步骤s103，从该立体环境图像中提取相应的图像纹理信息，并对该图像纹理信息进行分析处理，从而确定该外界环境中障碍物的存在位置信息和大小尺寸信息。
[0082]
上述技术方案的有益效果为：通过对随车起重机所处外界环境进行双目拍摄，能够对该外界环境进行全面的拍摄，从而避免障碍物遗漏拍摄的情况出现，而根据该第一环境图像和第二环境图像形成相应的立体环境图像能够便于将障碍物的存在状态进行三维转换，由于当障碍物存在于不同外界环境位置或者障碍物具有不同大小尺寸时，该障碍物在该立体环境图像中的图像纹理信息会相应存在差异，通过分析图像纹理信息的这种差异能够快速地和准确地确定障碍物的存在位置信息和大小尺寸信息。
[0083]
优选地，在该步骤s2中，根据该障碍物的存在状态信息，确定该随车起重机的规划运动路径范围具体包括：
[0084]
步骤s201，根据该障碍物的大小尺寸信息，确定该障碍物的几何中心位置和该障碍物的最大水平方向尺寸和最大竖直方向尺寸，并结合该集合中心位置、该最大水平方向尺寸和该最大竖直方向尺寸，确定该障碍物对该随车起重机的活动产生干扰的障碍空间区域；
[0085]
步骤s202，根据所有障碍物的存在位置信息和障碍空间区域，确定该随车起重机在地面进行运动过程中不触碰任何障碍物时对应的规划运动路径范围。
[0086]
上述技术方案的有益效果为：由于障碍物本身的大小尺寸影响，其在该外界环境中会相应地占据一定大小的障碍空间区域，该障碍空间区域会对随车起重机的运动产生一定的干扰，为了保证随车起重机的正常运动，需要指示随车起重机在运动过程中自动地避开这些障碍空间区域，为了实现障碍空间区域的最大化确定，以该障碍物的几何中心位置为中心点和以该最大水平方向尺寸和最大竖直方向尺寸作为椭球体的长径和短径形成的椭球空间区域作为该障碍空间区域，能够提高该障碍空间区域确定的可靠性和有效性。
[0087]
优选地，在该步骤s3中，实时观测该随车起重机在进行运动过程中的实际运动路径，并根据该实际运动路径和该规划运动路径范围，调整该随车起重机的运动状态具体包括：
[0088]
步骤s301，实际观测该随车起重机在进行运动过程中的六自由度位姿信息，并根据该六自由度位姿信息得到该实际运动路径；
[0089]
步骤s302，确定该实际运动路径与该规划运动路径范围之间的交叠区域大小，并根据该交叠区域大小，调整该随车起重机的运动位姿和/或运动速度。
[0090]
上述技术方案的有益效果为：通过根据该六自由度位姿信息得到该实际运动路径，能够保证该实际运动路径匹配于该随车起重机的实际运动状态，而将该实际运动路径与该规划运动路径范围进行比对来确定两者之间的交叠区域大小，能够定量地衡量该随车起重机与该障碍空间区域的干扰情况，以便于后续准确地该随车起重机的运动位姿和/或运动速度。
[0091]
优选地，在该步骤s302中，确定该实际运动路径与该规划运动路径范围之间的交叠区域大小，并根据该交叠区域大小，调整该随车起重机的运动位姿和/或运动速度具体包括根据该六自由度位姿信息得到该随车起重机在实际运动过程中的运动方向和运动速度，并根据该运动方向和该运动速度并结合该交叠区域大小，调整该随车起重机的运动速度，以使该随车起重机在实际运动过程中出现偏离规划运动路径的情况时，减缓该随车起重机的运动速度，其具体为：
[0092]
第一，利用下面公式(1)，确定该随车起重机在运动过程的实际运动路径的运动方向θ：
[0093][0094]
在上述公式(1)中，ω
x
表示该随车起重机的六自由度位姿信息中沿x轴方向的运动加速度值，ω
y
表示该随车起重机的六自由度位姿信息中沿y轴方向的运动加速度值，ω
z
表示该随车起重机的六自由度位姿信息中沿z轴方向的运动加速度值，g表示重力加速度值；
[0095]
第二、利用下面公式(2)，确定该随车起重机在运动过程的实际运动路径的运动速
度v：
[0096][0097]
在上述公式(2)中，v
x
表示该随车起重机沿该x轴方向的运动速度，v
y
表示该随车起重机沿该y轴方向的运动速度，v
z
表示该随车起重机沿该z轴方向的运动速度；
[0098]
第三、利用下面公式(3)，根据该运动方向θ和该运动速度v并结合该交叠区域大小，确定该随车起重机的速度调整值
[0099]
v
t
＝v
×
(1-e
vtsinθ-s
)
ꢀꢀꢀ
(3)
[0100]
在上述公式(3)，v
t
表示经过时间t后该随车起重机需要调整到的目标速度值，s表示该交叠区域的宽度值，t表示该随车起重机速度调整总时长。
[0101]
上述技术方案的有益效果为：利用上述公式(1)得到当前实际运动路径的运动方向，从而明确当前实际运动情况中的运动方向情况，而利用上述公式(2)得到当前实际运动路径的运动速度，从而明确当前实际运动情况中的运动速度情况，而利用上述公式(3)，根据当前实际运动路径的运动方向和当前实际运动路径的运动速度以及交叠区域大小得到随车起重机的调整速度保证所述随车起重机偏离规划运动路径范围时减缓运动速度，并根据实际运动情况以及规划运动路径范围自动控制运动速度，保证随车起重机的实际运动不会偏离规划运动路径范围太多，保证系统的可靠性。
[0102]
从上述实施例的内容可知，该随车起重机的实时观测系统与方法采集所述随车起重机所处外界环境对应的环境图像，并对该环境图像进行分析处理，以此确定该外界环境中障碍物的存在状态信息，并根据该障碍物的存在状态信息，确定该随车起重机的规划运动路径范围，再实时观测该随车起重机在进行运动过程中的实际运动路径，并根据该实际运动路径和该规划运动路径范围，调整该随车起重机的运动状态；可见，该随车起重机的实时观测系统与方法通过对随车起重机所处外界环境进行拍摄，并从拍摄得到的环境图像中识别其中存在的障碍物，再根据障碍物的位置和尺寸形成随车起重机的规划运动路径范围，同时对比随车起重机的实际运动路径和该规划运动路径范围，以此调整随车起重机的运动状态以避免随车起重机在运动过程中不会触碰任何障碍物，从而提高随车起重机运动的顺畅性、稳定性和安全性。
[0103]
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。