一种障碍物危险性识别方法、系统及装置

本发明涉及智能识别领域，尤其是一种障碍物危险性识别方法、系统及装置。

背景技术：

随着科学技术的发展智能识别技术的应用范围越来越广泛，例如应用于辅助驾驶、导盲电子设备等，通过智能识别技术能够为辅助驾驶、导盲电子设备等提供障碍物的相关信息以使车载系统或者用户更好的了解障碍物信息，因此如何对障碍物进行识别确定获取障碍物信息和障碍物的威胁非常重要。

而现今的障碍物识别过程中，视觉识别通常是依据定义好的物体对摄像头拍到的图像进行计算处理，无法对未规定的非标准障碍物进行识别判断，并且通过视觉识别进行的测距并非真正物理空间上的测量，准确度较低，同时其只能简单地给出障碍物的测距信息，而无法判断该障碍物的威胁性，导致例如车载系统等电子系统或者用户无法有效了解障碍物的危险性。

技术实现要素：

有鉴于此，为了解决上述技术问题，本发明的目的是提供一种障碍物危险性识别方法、系统及装置，能更好的分析出障碍物的危险性。

本发明采用的技术方案是：

一种障碍物危险性识别系统，包括：

识别模块，用于收集所述识别模块周边的障碍物的图像；

测距模块，用于在所述识别模块工作过程中，测量所述障碍物与所述识别模块之间的位置信息；

中央控制模块，包括处理单元和危险度确定单元，所述处理单元用于根据所述图像确定所述障碍物的障碍物类型和所述障碍物占所述图像的比例，以及根据所述位置信息确定所述障碍物的运动速度；所述危险度确定单元用于根据所述障碍物类型、所述比例以及所述运动速度确定危险度，所述危险度用于表征所述障碍物对所述识别模块的危险性。

本发明还提供一种障碍物危险性识别方法，包括以下步骤：

通过识别模块收集障碍物的图像；

在所述识别模块工作过程中，测量所述障碍物与所述识别模块之间的位置信息；

根据所述图像确定所述障碍物的障碍物类型和所述障碍物占所述图像的比例，以及根据所述位置信息确定所述障碍物的运动速度；

根据所述障碍物类型、所述比例以及所述运动速度确定危险度，所述危险度用于表征所述障碍物对所述识别模块的危险性。

进一步，所述根据所述图像确定所述障碍物的障碍物类型和所述障碍物占所述图像的比例，包括以下步骤：

通过分类器对所述图像进行识别，输出每一所述障碍物的所述障碍物类型以及所述比例。

进一步，所述方法还包括：

当所述图像的亮度小于或等于亮度阈值，为所述识别模块进行补光。

进一步，所述测量所述障碍物与所述识别模块之间的位置信息，包括以下步骤：

当第一超声波模块在水平方向上的第一可旋转范围内旋转的过程中实时测量所述障碍物与所述识别模块之间的第一距离，每当所述第一超声波模块旋转一个第一角度阈值，根据多个所述第一距离确定一个第一平均距离，当所述第一超声波模块完成所述第一可旋转范围内旋转的过程，得到多个所述第一平均距离；

当第二超声波模块在竖直方向上的第二可旋转范围内旋转的过程中实时测量所述障碍物与所述识别模块之间的第二距离，每当所述第二超声波模块旋转一个第二角度阈值，根据多个所述第二距离确定一个第二平均距离，当所述第二超声波模块完成所述第二可旋转范围内旋转的过程，得到多个所述第二平均距离；

根据多个所述第一平均距离与多个所述第二平均距离形成预设大小的距离矩阵；

将所述距离矩阵与所述图像重叠，确定所述障碍物与所述识别模块之间的位置信息；所述位置信息包括相隔距离和角度。

进一步，所述将所述距离矩阵与所述图像重叠，确定所述障碍物与所述识别模块之间的位置信息，包括以下步骤：

将所述距离矩阵与所述图像重叠，将所述障碍物与所述距离矩阵的重叠区域中所述距离矩阵的最小值作为所述相隔距离，并根据所述相隔距离确定所述角度。

进一步，所述根据所述位置信息确定所述障碍物的运动速度，包括以下步骤：

通过卡尔曼滤波对所述图像以及所述距离矩阵进行处理，得到所述障碍物的预测位移值；根据所述预测位移值估算所述障碍物的所述运动速度。

进一步，所述根据所述障碍物类型、所述比例以及所述运动速度确定危险度，包括以下步骤：

根据所述障碍物类型以及预设类型库，确定所述障碍物类型对应的危险等级；

根据所述相隔距离、所述角度、所述比例、所述危险等级以及所述运动速度，确定所述危险度；其中所述危险度与所述相隔距离、所述危险等级和所述比例均呈反比，所述危险度与所述角度和所述运动速度均呈正比。

本发明还提供一种装置，包括所述一种障碍物危险性识别系统以及反馈系统，所述反馈系统用于将所述障碍物类型、所述位置信息、所述运动速度和所述危险度中的至少一种进行反馈。

本发明还提供一种装置，包括处理器以及存储器；

所述存储器存储有程序；

所述处理器执行所述程序以实现所述一种障碍物危险性识别方法。

本发明的有益效果是：通过测距模块进行所述障碍物与所述识别模块之间的位置信息的测量，提高了位置信息的准确度，根据所述图像确定所述障碍物的障碍物类型和所述障碍物占所述图像的比例，以及根据所述位置信息确定所述障碍物的运动速度，分析出障碍物更多的相关信息，并根据所述障碍物类型、所述比例以及所述运动速度确定危险度，更好地分析出障碍物对于识别模块的危险性。

附图说明

图1为本发明障碍物危险性识别系统的结构框图；

图2为本发明具体实施例测距模块与识别模块的安装示意图；

图3为本发明障碍物危险性识别方法的步骤流程示意图；

图4为本发明具体实施例距离矩阵的示意图；

图5为本发明具体实施例距离矩阵与图像重叠的示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

本申请的说明书和权利要求书及附图中的术语“第一”、“第二”、“第三”和“第四”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

如图1所示，本实施例提供一种障碍物危险性识别系统，包括：识别模块、测距模块、中央控制模块、供电模块和补光模块。

本申请实施例中，识别模块用于收集识别模块周边的障碍物的图像，收集识别模块周边的障碍物以及环境的相关信息；

本申请实施例中，测距模块，用于在识别模块工作过程中，测量障碍物与识别模块之间的位置信息；可选地，测距模块的测量可以与识别模块的收集同步进行。

本申请实施例中，中央控制模块，实现整个系统的数据处理和控制功能，包括处理单元、危险度确定单元和补光控制单元。其中，处理单元用于根据图像确定障碍物的障碍物类型和障碍物占图像的比例，以及根据位置信息确定障碍物的运动速度；危险度确定单元用于根据障碍物类型、比例以及运动速度确定危险度，危险度用于表征障碍物对识别模块的危险性；补光控制单元用于对补光模块的工作状态进行控制。可选地，中央控制模块的处理器包括但不限于为树莓派4。

本申请实施例中，供电模块用于为中央控制模块提供5v的电压，保证系统的运行。

可选地，补光模块包括但不限于通过红外模块构成，用于当识别模块所收集的图像中的亮度小于或等于亮度阈值(如黑夜时)对识别模块进行补光。

可选地，识别模块3为摄像头，测距模块包括第一超声波模块1和第二超声波模块2，具体设置方式如图2所示，第一超声波模块1和第二超声波模块2位于识别模块3的上方，第一超声波和第二超声波模块2之间通过舵机的第一转轴4连接，第一超声波模块1与识别模块3通过舵机的第二转轴5连接。本申请实施例中，第一超声波模块1可以在水平方向上的第一可旋转范围进行旋转，以图2中的位置为基准，第一超声波模块1可以在水平方向上向左旋转90度(-90)以及向右旋转90度(+90)，即第一可旋转范围为(-90，+90)；第二超声波模块2可以与水平方向垂直的竖直方向上的第二可旋转范围进行旋转，以图2中的位置为基准，第二超声波模块2可以在竖直方向上旋转90度(-90)以及向下旋转90度(+90)，即第二可旋转范围为(-90，+90)，需要说明的是，在第一超声波模块1旋转的过程中第二超声波模块2亦同样旋转，第一超声波模块1和第二超声波模块2旋转过程中，识别模块3保持静止。可以理解的是，也可以不以图2中的位置为基准，采用第二基准的方式，具体地：以识别模块3的位置作为原点，以第一超声波模块1向左移动了90度，以及第二超声波模块2向下旋转了90度为初始位置。可选地，超声波模块包括但不限于hcsr04超声波模块。可选地，也可以采用电机代替舵机，连接方式也可以为使用将双舵机构成类似机械臂的结构，从而实现半球面距离的探索。

如图3所示，本实施例提供一种障碍物危险性识别方法，可应用于上述障碍物危险性识别系统中，包括以下步骤s1-s4：

s1、通过识别模块收集障碍物的图像。

本申请实施例中，通过摄像头获取识别模块附近的障碍物的图像，图像包括障碍物的信息以及周边的环境信息。可以理解的是，图像中的障碍物可以包括一个或者多个。

s2、在识别模块工作过程中，测量障碍物与识别模块之间的位置信息。

本申请实施例中，在识别模块工作过程中，即识别模块获取了图像或者获取图像的过程中，测距模块测量障碍物与识别模块之间的位置信息，具体地可以通过步骤s21-步骤s24实现：

s21、当第一超声波模块在水平方向上的第一可旋转范围内旋转的过程中实时测量障碍物与识别模块之间的第一距离，每当第一超声波模块旋转一个第一角度阈值，根据多个第一距离确定一个第一平均距离，当第一超声波模块完成第一可旋转范围内旋转的过程，得到多个第一平均距离。

本申请实施例中，第一可旋转范围为如图2位置所示的在水平方向上向左旋转90度(-90)以及向右旋转90度(+90)，即第一可旋转范围为(-90，+90)。其中，假设第一角度阈值为10度，在第一超声波模块旋转的过程中同时测量障碍物与识别模块之间的第一距离，例如每旋转1度测量得到一个第一距离，当旋转10度时具有10个第一距离，此时根据10个第一距离计算得到一个第一平均距离，假设第一超声波模块旋转了40度，就可以计算到4个第一平均距离，因此当第一超声波模块在可旋转范围内旋转时即可以根据上述原理得到多个第一平均距离。需要说明的是，当一个障碍物在第一可旋转范围内例如只有旋转两个第一角度阈值(20度)时计算得到两个第一平均距离，则后续处理的距离矩阵中利用的数据为该两个第一平均距离。

s22、当第二超声波模块在竖直方向上的第二可旋转范围内旋转的过程中实时测量障碍物与识别模块之间的第二距离，每当第二超声波模块旋转一个第二角度阈值，根据多个第二距离确定一个第二平均距离，当第二超声波模块完成第二可旋转范围内旋转的过程，得到多个第二平均距离。

本申请实施例中，第一可旋转范围为如图2位置所示的竖直方向上旋转90度(-90)以及向下旋转90度(+90)，即第二可旋转范围为(-90，+90)，需要说明的是，在第一超声波模块旋转的过程中第二超声波模块亦同样旋转，第一超声波模块和第二超声波模块旋转过程中，识别模块保持静止。需要说明的是，第一超声波模块与第二超声波模块的旋转速度可以相同与可以不相同，本申请实施例中，第一超声波模块旋转10度时，第二超声波模块旋转的度数为40度。其中，假设第二角度阈值为10度，在第二超声波模块旋转的过程中同时测量障碍物与识别模块之间的第二距离，例如每旋转1度测量得到一个第二距离，当旋转10度时具有10个第二距离，此时根据10个第二距离计算得到一个第二平均距离，因此当第二超声波模块在可旋转范围内旋转时即可以根据上述原理得到多个第二平均距离。同样，需要说明的是，当一个障碍物在第一可旋转范围内例如只有旋转两个第二角度阈值(20度)时计算得到两个二平均距离，则后续处理的距离矩阵中利用的数据为该两个第二平均距离。

s23、根据多个第一平均距离与多个第二平均距离形成预设大小的距离矩阵。

具体地，距离矩阵如图4所示，其中an为第一平均距离，bn为第二平均距离，其中n的取值范围根据可旋转范围和角度阈值决定。将多个第一平均距离和多个第二平均距离添加至预设大小的距离矩阵中，本申请实施例以距离矩阵为18*18为例，以[9,9]的位置存放第一个数值，得到如图4所示矩阵，其中0表示18*18矩阵的边界，可以存放有效数据)。

s24、将距离矩阵与图像重叠，确定障碍物与识别模块之间的位置信息；位置信息包括相隔距离和角度。

具体地可以通过以下步骤s241实现，具体地：

s241、将距离矩阵与图像重叠，将障碍物与距离矩阵的重叠区域中距离矩阵的最小值作为相隔距离，并根据相隔距离确定角度。

具体地，根据距离矩阵的大小将图像进行分割，以上述例子为例，将图像分割为18*18份，然后将距离矩阵与图像重叠，将障碍物与距离矩阵的重叠区域中距离矩阵的最小值作为相隔距离，如图5所示，图5中的方框为图像的边界，本申请实施例中在确认障碍物100与距离矩阵的重叠区域时，障碍物100可以通过图像处理算法通过box进行标注，障碍物100的与距离矩阵的重叠区域中距离矩阵的值有b2、b3、b4，则从b2、b3、b4中选择最小的值作为障碍物100与识别模块之间的相隔距离。假设相隔距离为b2，则根据计算得到第二平均距离b2获取对应的第二超声波模块的角度，例如：当计算得到的第二平均距离b2时第二超声波模块相对原点位置所旋转的角度范围为(10，20)，则可以将(10，20)中的任意一个值作为障碍物100与识别模块之间的角度。其中，需要说明的是，由于测距模块持续获取数据，因此距离矩阵会动态刷新，因此能够尽可能的保证图像中的一个或多个障碍物的位置信息最终能够被确定。可以理解的是，由于超声波测距形成一个完整的超声波矩阵(即距离矩阵)需要多个转动周期(例如一个可旋转范围为一个转动周期，超声波模块测量时会一直旋转多个周期周而复始)的时间才能被填满，因此容易失去时效性；若减小超声波矩阵和图像的像素矩阵进行拟合的效果理论上会变差，但是会大大减少基本形成超声波矩阵所需要的时间，因此距离矩阵的大小需要根据实际情况而设置，不作具体限定。

s3、根据图像确定障碍物的障碍物类型和障碍物占图像的比例，以及根据位置信息确定障碍物的运动速度。

具体地，根据图像确定障碍物的障碍物类型和障碍物占图像的比例可以通过以下步骤s31实现：

s31、通过分类器对图像进行识别，输出每一障碍物的障碍物类型以及比例。可以理解的是，分类器事先通过包含大量的不同类型障碍物的图片形成的数据集训练而成，因此将图像输入分类器中能够获得该障碍物的障碍物类型，然后通过标注障碍物的box，通过计算box在图像中的占比即可以得到障碍物占图像的比例。

本申请实施例中，根据位置信息确定障碍物的运动速度，可以通过以下步骤ss33实现：

s32、通过卡尔曼滤波对图像以及距离矩阵进行处理，得到障碍物的预测位移值；根据预测位移值估算障碍物的运动速度。

具体地，结合下一时间间隔的预测位移值以及时间间隔即可计算得到障碍物的运动速度。因此，可以对识别到的障碍物实现跟踪，并且在跟踪的同时对以上的超声波模块和识别模块获取的数据进行护理，即可以得到障碍物相对摄像头的位移方向，相隔距离以及运动速度等参数。与此同时也能够预测障碍物的轨迹。

s4、根据障碍物类型、比例以及运动速度确定危险度，危险度用于表征障碍物对识别模块的危险性。

具体地，可以通过步骤s41-s42实现：

s41、根据障碍物类型以及预设类型库，确定障碍物类型对应的危险等级；

本申请实施例中，预设类型库包括不同类型等级的障碍物，例如第一类型可以为汽车、房子等体积大能够对识别模块造成严重伤害的物体；第二类型可以为人、树、球等较为危险且危险度低于第一级的障碍物；第三类型可以为危险性相对第二类型更小的障碍物。可以理解的是，具体设置的类型数量以及每一类型中包含的障碍物可以根据实际需求进行设置并且可以后续进行更新。危险等级用y1表示，例如当障碍物属于第一类型时，y1＝1，当障碍物属于第二类型时，y1＝2。

s42、根据相隔距离、角度、比例、危险等级以及运动速度，确定危险度。

具体公式如下：

f(y,y)＝a*b*c*y*z

本申请实施例中，危险度用于表征障碍物对识别模块的危险性，f(x,y)为危险度，x为障碍物，a为1/相隔距离，b为根据角度确定的参数，c为1/比例，y为1/y1，z为运动速度(即障碍物相对于摄像头的运动速度)，需要说明的是，若障碍物相对于摄像头的运动速度为0时，则z不算入公式，此时(x,y)＝a*b*c*y)。可选地，b包括但不限于为障碍物相对识别模块的角度，或者根据具体公式确定，例如b＝|障碍物相对识别模块的角度-原点角度+1|/100，其中障碍物相对识别模块的角度即步骤s241中根据相隔距离确定的角度，原点角度即第一超声波模块或第二超声波模块位于初始位置时所处的角度。

而从公式中可以知道，危险度与相隔距离、危险等级和比例均呈反比，危险度与角度和运动速度均呈正比。

可选地，上述障碍物危险性识别方法还包括步骤s100：

s100、当图像的亮度小于或等于亮度阈值，为识别模块进行补光。

本申请实施例中，识别模块获取图像后，中央控制模块对图像进行处理获取图像的亮度，并将亮度与亮度阈值进行比较，当亮度小于或等于亮度阈值，则认为识别模块周边环境亮度不足(相当于黑夜)，中央控制模块控制补光模块为识别模块进行补光；若亮度大于亮度阈值认为周边环境亮度充足(相当于白天)。

可选地，上述障碍物危险性识别方法还包括步骤s5：

s5、将信息进行反馈。

具体地，s5可以包括步骤s51和步骤s52中的至少一个：

s51、将上述的障碍物类型、位置信息、运动速度和危险度中的至少一种进行显示和/或播放，即用于信息的告知和呈现。具体地，显示可以为通过接收上述数据的反馈系统进行显示和/或播放。例如，反馈系统包括但不限于导盲眼镜、车载系统、野外探险仪器、水下潜艇、无人机、机器人或者其他安装有传感器的设备。

s52、反馈系统根据上述的障碍物类型、位置信息、运动速度和危险度中的至少一种，进行避障，即该反馈以为信号方式传递至反馈系统，反馈系统根据信息进行进一步动作控制。例如，当反馈系统为车载系统、水下潜艇、机器人或无人机等，反馈系统根据上述的障碍物类型、位置信息、运动速度和危险度中的至少一种进行避障，避开障碍物。

本申请实施例还提供一种装置，包括上述障碍物危险性识别系统以及反馈系统，反馈系统用于将障碍物类型、位置信息、运动速度和危险度中的至少一种进行反馈。具体的反馈方法上述步骤s5中所描述的方法，不再赘述。

本发明实施例还提供了另一种装置，该装置包括处理器以及存储器；

存储器用于存储程序；

处理器用于执行程序实现本发明实施例的障碍物危险性识别方法。本发明实施例的装置可以实现障碍物危险性识别的功能。

上述方法实施例中的内容均适用于本装置实施例中，本装置实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法实施例所达到的有益效果也相同。

本发明实施例还提供一种计算机可读存储介质，该计算机可读存储介质存储有程序，该程序被处理器执行完成如前述发明实施例的障碍物危险性识别方法。

本发明实施例还提供一种包括指令的计算机程序产品，当其在计算机上运行时，使得计算机执行前述发明实施例的障碍物危险性识别方法。

本申请的说明书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元且步骤之间的实现顺序也不仅仅限定于上述实施例给出的顺序。

应当理解，在本申请中，“至少一个(项)”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“a和/或b”可以表示：只存在a，只存在b以及同时存在a和b三种情况，其中a，b可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”，其中a，b，c可以是单个，也可以是多个。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括多指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(read-onlymemory，简称rom)、随机存取存储器(randomaccessmemory，简称ram)、磁碟或者光盘等各种可以存储程序的介质。

以上，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。