车辆周边障碍检测方法、装置、存储介质及电子设备与流程

本申请涉及安全驾驶领域，尤其涉及一种车辆周边障碍检测方法、装置、存储介质及电子设备。

背景技术：

在安全驾驶领域中，障碍检测非常重要，对车辆行驶时周边的障碍物进行检测，是提高行车安全性和改善交通环境的一项重要措施。

现有的障碍检测尤其是行人检测的系统与方法中，大部分方法与装置会使用深度学习对图像进行检测，该方案依赖于强大的gpu板载，对计算资源需求量大，因此导致车载终端的成本高，检测效率低。

技术实现要素：

本申请实施例提供一种车辆周边障碍检测方法、装置、存储介质及电子设备，可以降低车载终端障碍检测的成本，加快检测速度，提高检测精度。

本申请实施例提供一种车辆周边障碍检测方法，其中，车辆周边障碍检测方法包括：

获取车辆周边至少两个区域的区域图像；

提取所述区域图像中的感兴趣区域；

通过检测所述感兴趣区域，在所述区域图像中确定出障碍图像块；

对所述障碍图像块进行校正，以输出正确的障碍位置。

本申请实施例还提供了一种车辆周边障碍检测装置，包括：

获取模块，用于获取车辆周边至少两个区域的区域图像；

提取模块，用于提取所述区域图像中的感兴趣区域；

检测模块，用于通过检测所述感兴趣区域，在所述区域图像中确定出障碍图像块；

校正模块，用于对所述障碍图像块进行校正，以输出正确的障碍位置。

本申请实施例还提供一种存储介质，其中，存储介质中存储有计算机程序，当计算机程序在计算机上运行时，使得计算机执行以下步骤：

获取车辆周边至少两个区域的区域图像；

提取所述区域图像中的感兴趣区域；

通过检测所述感兴趣区域，在所述区域图像中确定出障碍图像块；

对所述障碍图像块进行校正，以输出正确的障碍位置。

本申请实施例还提供一种电子设备，其中，电子设备包括处理器和存储器，存储器中存储有计算机程序，处理器通过调用存储器中存储的计算机程序，用于执行以下步骤：

获取车辆周边至少两个区域的区域图像；

提取所述区域图像中的感兴趣区域；

通过检测所述感兴趣区域，在所述区域图像中确定出障碍图像块；

对所述障碍图像块进行校正，以输出正确的障碍位置。

本申请实施例通过检测感兴趣区域确定障碍所在位置并进行校正，通过获取多个区域图像，有效聚焦车辆周边障碍的位置，加快障碍检测速度和检测精度，有益于后续对车辆的控制，保证驾驶安全。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的车辆周边障碍检测方法的应用场景示意图。

图2为本申请实施例提供的车辆周边障碍检测方法的第一种流程示意图。

图3为本申请实施例提供的车辆周边障碍检测方法的另一应用场景示意图。

图4为本申请实施例提供的车辆周边障碍检测方法的第二种流程示意图。

图5为本申请实施例提供的车辆周边障碍检测装置的第一种结构示意图。

图6为本申请实施例提供的车辆周边障碍检测装置的第二种结构示意图。

图7为本申请实施例提供的车辆周边障碍检测装置的第三种结构示意图。

图8为本申请实施例提供的车辆周边障碍检测装置的第四种结构示意图。

图9为本申请实施例提供的车辆周边障碍检测装置的第五种结构示意图。

图10为本申请实施例提供的电子设备的第一种结构示意图。

图11为本申请实施例提供的电子设备的第二种结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本申请的保护范围。

参考图1，图1为本申请实施例提供的车辆周边障碍检测方法的应用场景示意图。车辆周边障碍检测方法可应用于电子设备。电子设备中设置有全景感知架构。全景感知架构为电子设备中用于实现车辆周边障碍检测方法的硬件和软件的集成。

其中，全景感知架构包括信息感知层、数据处理层、特征抽取层、情景建模层以及智能服务层。

信息感知层用于获取电子设备自身的信息和/或外部环境中的信息。信息感知层可以包括多个传感器。例如，信息感知层包括距离传感器、磁场传感器、光线传感器、加速度传感器、指纹传感器、霍尔传感器、位置传感器、陀螺仪、惯性传感器、姿态感应器、气压计、心率传感器等多个传感器。

其中，距离传感器可以用于检测电子设备与外部物体之间的距离。磁场传感器可以用于检测电子设备所处环境的磁场信息。光线传感器可以用于检测电子设备所处环境的光线信息。加速度传感器可以用于检测电子设备的加速度数据。指纹传感器可以用于采集用户的指纹信息。霍尔传感器是根据霍尔效应制作的一种磁场传感器，可以用于实现电子设备的自动控制。位置传感器可以用于检测电子设备当前所处的地理位置。陀螺仪可以用于检测电子设备在各个方向上的角速度。惯性传感器可以用于检测电子设备的运动数据。姿态感应器可以用于感应电子设备的姿态信息。气压计可以用于检测电子设备所处环境的气压。心率传感器可以用于检测用户的心率信息。

数据处理层用于对信息感知层获取到的数据进行处理。例如，数据处理层可以对信息感知层获取到的数据进行数据清理、数据集成、数据变换、数据归约等处理。

其中，数据清理是指对信息感知层获取到的大量数据进行清理，以剔除无效数据和重复数据。数据集成是指将信息感知层获取到的多个单维度数据集成到一个更高或者更抽象的维度，以对多个单维度的数据进行综合处理。数据变换是指对信息感知层获取到的数据进行数据类型的转换或者格式的转换等，以使变换后的数据满足处理的需求。数据归约是指在尽可能保持数据原貌的前提下，最大限度的精简数据量。

特征抽取层用于对数据处理层处理后的数据进行特征抽取，以提取数据中包括的特征。提取到的特征可以反映出电子设备自身的状态或者用户的状态或者电子设备所处环境的环境状态等。

其中，特征抽取层可以通过过滤法、包装法、集成法等方法来提取特征或者对提取到的特征进行处理。

过滤法是指对提取到的特征进行过滤，以删除冗余的特征数据。包装法用于对提取到的特征进行筛选。集成法是指将多种特征提取方法集成到一起，以构建一种更加高效、更加准确的特征提取方法，用于提取特征。

情景建模层用于根据特征抽取层提取到的特征来构建模型，所得到的模型可以用于表示电子设备的状态或者用户的状态或者环境状态等。例如，情景建模层可以根据特征抽取层提取到的特征来构建关键值模型、模式标识模型、图模型、实体联系模型、面向对象模型等。

智能服务层用于根据情景建模层所构建的模型为用户提供智能化的服务。例如，智能服务层可以为用户提供基础应用服务，可以为电子设备进行系统智能优化，还可以为用户提供个性化智能服务。

此外，全景感知架构中还可以包括多种算法，每一种算法都可以用于对数据进行分析处理，多种算法可以构成算法库。例如，算法库中可以包括马尔科夫算法、隐含狄里克雷分布算法、贝叶斯分类算法、支持向量机、k均值聚类算法、k近邻算法、条件随机场、残差网络、长短期记忆网络、卷积神经网络、循环神经网络等算法。

本申请实施例提供一种车辆周边障碍检测方法，车辆周边障碍检测方法可以应用于电子设备中。电子设备可以是智能手机、平板电脑、游戏设备、ar(augmentedreality，增强现实)设备、汽车、车辆周边障碍检测装置、音频播放装置、视频播放装置、笔记本、桌面计算设备、可穿戴设备诸如手表、眼镜、头盔、电子手链、电子项链、电子衣物等设备。

参考图2，图2为本申请实施例提供的车辆周边障碍检测方法的第一种流程示意图。其中，车辆周边障碍检测方法包括以下步骤：

110，获取车辆周边至少两个区域的区域图像。

获取车辆周边至少两个区域的区域图像包括：获取不同焦段下车辆周边至少两个区域的区域图像。焦段是指变焦镜头焦距的变化范围，不同焦段可以包括广角、长焦和普通焦段等。

其中，车辆周边可以包括车辆前方、后方、侧方以及对车辆行驶相关的较远处及远处区域，本申请实施例涉及的车辆周边具体范围大小可以由用户进行设置。

区域图像可以通过不同焦段的镜头、摄像头或摄像头模组等获取。例如，用广角镜头头获取车辆侧方的区域图像，以对车辆边缘位置检测行人；用广角镜头头的清晰段或普通摄像头获取车辆前方或后方的区域图像，以检测车前行人；用长焦镜头获取远处的区域图像，以对远端检测行人。

其中，广角镜头是一种焦距短于标准镜头、视角大于标准镜头、焦距长于鱼眼镜头、视角小于鱼眼镜头的摄影镜头。广角镜头又分为普通广角镜头和超广角镜头两种。长焦距镜头是指比标准镜头的焦距长的摄影镜头。长焦距镜头分为普通远摄镜头和超远摄镜头两类。普通远摄镜头的焦距长度接近标准镜头，而超远摄镜头的焦距却远远大于标准镜头。不同镜头负责不同区域的图像获取，通过多个不同焦段的镜头，能够尽可能将汽车周边所有区域囊括在内，以获取完整的汽车周边的所有区域的区域图像。

在一些实施例中，车辆前端设置有移动终端接入设备，可以将移动终端固定在某一位置，例如，将移动终端插入移动终端接入设备，固定在汽车前端档风玻璃前。此外，移动终端设备连接到车辆控制系统，作为连接移动终端和车辆控制系统的中间桥梁。例如，移动终端设备可以通过内置的车辆控制通讯协议联通汽车的中央控制系统，使用户获取汽车当前的实际车速等数据。具体的，该车辆控制通讯协议可以由制造商提供，此处不做限定。

在一些实施例中，通过不同固定位置的镜头获取车辆周边至少两个区域的区域图像，以进行障碍的定位及跟踪。障碍包括生物体和非生物体，其中，生物体包括行人、动物等，非生物体包括车辆周边的树木、栏杆等，具体的，可以包括全景感知架构中应用到智能服务层的相关数据。具体的，可以通过广角摄像头获取车辆侧方的区域图像，对车辆边缘位置检测行人；通过广角摄像头的清晰段或普通摄像头获取车辆前方或后方的区域图像，检测车前行人；通过长焦摄像头模组获取远处的区域图像，对远端检测行人。

在一些实施例中，通过不同固定位置的镜头获取车辆周边至少两个区域的区域图像，对至少两个区域内包含的相同障碍物进行定位及跟踪，能够有效聚焦图像中的位置。例如，通过广角摄像头的清晰段或普通摄像头获取车辆前方的区域图像，通过广角摄像头获取车辆右侧方的区域图像，通过后续对两个区域图像中包含的车辆右前方的同一行人进行定位，能够有效地聚焦行人图像中的位置，加快行人检测速度和检测精度。

120，提取区域图像中的感兴趣区域。

在获取车辆周边至少两个区域的区域图像后，提取这些区域的区域图像中的感兴趣区域，也称roi区域(regionofinterest，感兴趣区域)。感兴趣区域的基本处理方法包括：从被处理的图像以各种形状勾勒出需要处理的区域，例如方框、圆、椭圆、不规则多边形等，将该区域作为图像分析的重点，圈定该区域以便进行进一步处理。例如，在一些实施例中，在区域图像中圈定一个包含目标对象(如障碍)的矩形作为分析重点，通过算法对该矩形区域进行进一步缩小和优化，找到包含目标对象位置，例如，在一些机器视觉软件上常用到各种算子(operator)和函数来求得感兴趣区域roi，如halcon、opencv、matlab等。使用roi圈定目标，可以减少处理时间，增加精度。多个区域图像对应有多个roi区域。

在一些实施例中，提取区域图像中的感兴趣区域之后，对感兴趣区域持续进行优化的步骤可以包括：将障碍位置作为反馈信号输入到学习算法模型中以调整感兴趣区域面积。

例如，在算法开始的时候，将全图作为roi区域，经过一定时间学习后，在优化后得到不同镜头的roi有效区域(更小更精确的roi区域)作为后续步骤的输入。换句话说，算法开始的时候，不同焦段的roi区域均为全图，经过一段时间学习后，不同焦段的roi区域逐渐区分开来，从全图范围开始检测，可以在障碍检测时可以最大程度地避免遗漏。

不同焦段中障碍出现的位置信息不一样，以障碍为行人为例，普通彩色摄像头的角度较为正常，其行人出现的区域位置实际上只可能出现在路面上(实际映射到图像中的下半部分)，而不可能出现在天空。在一些实施例中，获取到区域图像后，基于获取到的区域图像中可能出现障碍特征的位置信息进行评估，对部分不可能出现障碍及障碍不处于危险区域的图像不计入检测，例如，去除区域图像的上下部分像素的天空和地面场景，以及图像左右部分像素的道路两边场景，从而得到感兴趣区域。

roi区域的检测方法包括运动检测方法、基于形状检测方法以及区域阈值化方法等。例如，当障碍为生物体时，运动检测方法通过检测区域图像中的运动信息，结合光流分析的运动检测来进行感兴趣区域的分割，即基于相同颜色像素小区域连贯运动，每个像素点都被赋予看一个属于某给定小区域的可能概率，而且每个小区域的移动都被按照运动的概率模型进行分类以准备下一阶段的生物体识别，通过唯一的有着连贯一致性运动的区域，然后基于帧间分析对一个直线路径进行投票，只有在一组帧中检测到一个规则的轨迹，才认为检测到一个生物体，并以此得到感兴趣区域，或对感兴趣区域进行优化。进一步的，还可通过一个过零点检测算法，利用了过去若干帧中的历史像素值的时空高斯卷积，再通过利用扩展的二阶卡尔曼滤波器处理遮挡，以获得感兴趣区域。

130，通过检测感兴趣区域，在区域图像中确定出障碍图像块。

障碍图像块即为区域图像中包含障碍的图像块，障碍包括生物体及非生物体，其中，物体包括行人、动物等，非生物体包括车辆周边的树木、栏杆等，具体的，可以包括全景感知架构中应用到智能服务层的相关数据。经过一定时间的学习后，从步骤120提取得到不同镜头的感兴趣区域进行检测。检测感兴趣区域，包括障碍检测。通过对感兴趣区域进行障碍检测，在区域图像中确定出障碍图像块，具体包括：在卷积神经网络模型中输入感兴趣区域，判断感兴趣区域中包含障碍的概率；当概率大于或等于预设概率阈值时，将区域图像中对应于感兴趣区域的部分确定为障碍图像块。例如，通过fasterr-cnn(towardsreal-timeobjectdetectionwithregionproposalnetworks)网络模型，具体卷积神经网络可以使用轻量级网络结构，检测到可能为行人的boundingbox。其中，boundingbox可理解为包含目标的矩形方框，检测boundingbox是指对图像中的目标区域(如行人)确定一个位置(如x,y,w,h)，分别对应到目标的左上角坐标(x,y)，以及框的长(h)和宽(w)。使用轻量级网络结构，可以在终端上增加运算速率，保持运算精度。例如，可以使用mobile-net/sequzee-net代替cnn层。

在一些实施例中，除了通过障碍检测确定出障碍图像块外，还可以用其他方法确定出障碍图像块，为两种或多种方法确定出的障碍图像块赋予权重，计算期望值，进一步提高检测精度。例如，用聚类回归算法对区域图像进行检测，与障碍检测结果一起计算期望值，其中，可以包括：

(1)通过检测感兴趣区域，在区域图像中确定出障碍图像块之前，还包括：通过对区域图像进行聚类回归，确定出第一障碍图像块。

其中，通过对区域图像进行聚类回归，确定出第一障碍图像块的步骤可以包括：将区域图像进行划分及压缩，得到若干图像块；对图像块提取特征值；根据特征值判断图像块中是否包含障碍特征；当判断出图像块中包含障碍特征时，将区域图像中对应于图像块的部分确定为第一障碍图像块。

例如，boundingbox(边框回归，可理解为包含目标对象的最小矩形)对车前区域行人进行划分，划分出100个行人可能出现的范围区域，将区域图像进行划分，对应于不同的范围区域。将检测到的boundingbox位置的图像进行提取，然后使用pca算法(principalcomponentanalysis,即主成分分析方法,是一种使用最广泛的数据压缩算法)对图像进行压缩，获得更加低维度的特征值，然后利用分类器判别是否为障碍，如svm(supportvectormachines)分类器或者随机森林分类器等。

其中，pca的算法思路主要是：数据从原来的坐标系转换到新的坐标系，例如，本申请实施例中，将区域图像数据通过pca算法从原来的大的坐标系转换到新的小坐标系，实现图像压缩。转换坐标系时，以方差最大的方向作为坐标轴方向，因为数据的最大方差给出了数据的最重要的信息。第一个新坐标轴选择的是原始数据中方差最大的方向，第二个新坐标轴选择的是与第一个新坐标轴正交且方差次大的方向。重复该过程，重复次数为原始数据的特征维数。

通过这种方式获得的新的坐标系，大部分方差都包含在前面几个坐标轴中，后面的坐标轴所含的方差几乎为0。于是，可以忽略余下的坐标轴，只保留前面的几个含有绝大部分方差的坐标轴，也因此，可以在本申请实施例中用于图像的压缩。事实上，这样也就相当于只保留包含绝大部分方差的维度特征，而忽略包含方差几乎为0的特征维度，也就实现了对数据特征的降维处理。

分类器为在已有数据的基础上学会的一个分类函数或构造的一个分类模型，该函数或模型能够把数据库中的数据记录映射到给定类别中的某一个，即“分类”，对数据的分类可以通过分类器进行。svm(supportvectormachine，支持向量机)是一种二类分类模型，其基本模型定义为特征空间上的间隔最大的线性分类器，其学习策略便是间隔最大化，最终可转化为一个凸二次规划问题的求解。随机森林指的是利用多棵树对样本进行训练并预测的一种分类器，是一个包含多个决策树的分类器，其输出的类别由个别树输出的类别的众数而定。

具体的，可以在分类器中预设障碍特征，当图像块中包含这些障碍特征时，认为图像块中包含障碍，将区域图像中对应于图像块的部分确定为第一障碍图像块。对输入的每一帧区域图像，先处理区域图像中的一块图像块，循环处理每一帧区域图像中的每一块图像块。

例如，由于障碍包括生物体，障碍特征可以设置为“存在运动轨迹”，当依次对每一帧图像进行检测后发现该图像块对应有运动轨迹，可认为图像块中包含障碍特征，也即包含障碍。

(2)通过检测感兴趣区域，在区域图像中确定出障碍图像块包括：通过对感兴趣区域进行障碍检测，确定出第二障碍图像块。

例如将前述通过神经网络模型确定出的障碍图像块作为第二障碍图像块。

(3)为第一障碍图像块和第二障碍图像块设置不同的权重，根据权重计算出障碍图像块期望值。

具体的，可以为第一障碍图像块中预估的boundingbox设置一倍预设权重，为第二障碍图像块中预估的boundingbox设置五倍预设权重，根据权重计算出障碍图像块期望值。预设权重可以进行预先设定。

(4)设置阈值截断障碍图像块期望值，以在区域图像中确定出障碍图像块。

例如，当障碍图像块的boundingbox期望值达成某一预设阈值时，将区域图像中对应于boundingbox的位置确定为障碍图像块。

140，对障碍图像块进行校正，以输出正确的障碍位置。

实际检测时，可能因为多种因素造成检测误差，因此，对检测到的障碍图像块进行校正，能够有效地减小误差，输出正确的障碍位置。

具体的，可以根据检测到的障碍图像块，利用传感器向车辆周边对应的方向和距离探测是否存在障碍，具体的，可以通过车辆行驶时障碍相对车辆的距离和方向变化进行判断。

需要说明的是，障碍包括生物体。当障碍为生物体时，对障碍图像块进行校正的步骤，可以包括：在障碍图像块中确定出核心跟踪点，使用滤波方法对生物体行动轨迹进行预测；若预测出的生物体行动轨迹与当前检测到的生物体行动轨迹之间的误差在预设误差范围之内，则将核心跟踪点作为正确的障碍位置；若预测出的生物体行动轨迹与当前检测到的生物体行动轨迹之间的误差在预设误差范围之外，则将核心跟踪点作为错误的障碍位置；将正确的障碍位置进行展示，将错误的障碍位置进行删除。

例如，将障碍图像块的中心位置确定为核心跟踪点，使用卡尔曼滤波方法对生物体轨迹进行跟踪，通过连续多帧图像(t帧)对s4.2和s4.3的检测结果进行确认。具体而言，对历史帧数据中检测到的生物体继续轨迹跟踪，其中以[t-15,t-13,t-11,t-9,…,t-3,t]梯度级数作为历史检测帧，如果若预测出的生物体行动轨迹与当前检测到的生物体行动轨迹之间的误差在预设误差范围之内，即上述帧的图像中能够有效地对生物体轨迹进行建模，则认为当前生物体检测结果有效，将核心跟踪点作为正确的障碍位置，将正确的障碍位置仿射到车辆所在的坐标系中，以在坐标系中展示出正确的障碍位置。若预测出的生物体行动轨迹与当前检测到的生物体行动轨迹之间的误差在预设误差范围之外，即当前值与卡尔曼铝箔算出来的预测值相差较大，则认为是错误的检测，将错误的障碍位置进行舍弃，删除。

通过校正，可以有效提高检测精度，尽可能避免将错误结果展示给用户，而对于正确的结果，将其仿射到坐标系中展示给用户，有益于智能驾驶系统后续对车辆进行控制。例如，当检测到车前有生物体则进行躲避或者提醒驾驶员，对于远处检测到的生物体进行预判其行走轨迹和行走方向，避免后续的危险，对于边缘的生物体可以判断其突发出现在车前的状况，能够有效地辅助或者参与到智能驾驶系统或者辅助驾驶系统中。

请参阅图3，图3为本申请实施例提供的车辆周边障碍检测方法的另一应用场景示意图。roi区域具有不同的场景，以行人的检测为例，终端设备不同焦段的镜头分别连接到roi策略模块，每个镜头的roi策略模块负责采集一片区域的图像以及提取感兴趣区域，例如广角摄像头对应图中最左边，负责检测两侧区域的感兴趣区域，中间为普通摄像头模组，负责检测中央较为重要的感兴趣区域，最右侧的为长焦摄像头模组，负责检测远处即图像中央的感兴趣区域。最终3个镜头分别提取出各自的感兴趣区域，输入到对应的行人检测模块中，经行人检测模块检测到的结果一方面输入给行人行为识别模块进行校正，另一方面反馈给roi策略模块，通过学习算法对roi区域进行优化。

请继续参考图4，图4为本申请实施例提供的车辆周边障碍检测方法的第二种流程示意图。其中，车辆周边障碍检测方法包括以下步骤：

210，获取车辆周边至少两个区域的区域图像；

获取车辆周边至少两个区域的区域图像，包括获取车辆周边多个区域的区域图像。其中，车辆周边可以包括车辆前方、后方、侧方以及对车辆行驶相关的较远处及远处区域，本申请实施例涉及的车辆周边具体范围大小可以由用户进行设置。

获取车辆周边至少两个区域的区域图像包括：获取不同焦段下车辆周边至少两个区域的区域图像。区域图像可以通过不同焦段的镜头、摄像头或摄像头模组等获取，其中不同焦段可以包括广角、长焦和普通焦段等。例如，用广角摄像头获取车辆侧方的区域图像，以对车辆边缘位置检测行人；用广角摄像头的清晰段或普通摄像头获取车辆前方或后方的区域图像，以检测车前行人；用长焦摄像头模组获取远处的区域图像，以对远端检测行人。不同摄像头负责不同区域的图像获取，通过多个不同焦段的摄像头，能够尽可能将汽车周边所有区域囊括在内，以获取完整的汽车周边的所有区域的区域图像。

在一些实施例中，车辆前端设置有移动终端接入设备，可以将移动终端固定在某一位置，进行高精度的距离计算，确定障碍位置，以控制或辅助控制车辆。例如，将移动终端插入移动终端接入设备，固定在汽车前端档风玻璃前。此外，移动终端设备连接到车辆控制系统，作为连接移动终端和车辆控制系统的中间桥梁。例如，移动终端设备可以通过内置的车辆控制通讯协议联通汽车的中央控制系统，使用户获取汽车当前的实际车速等数据。具体的，该车辆控制通讯协议可以由制造商提供，此处不做限定。

在一些实施例中，通过不同固定位置的镜头获取车辆周边至少两个区域的区域图像，以进行障碍的定位及跟踪。障碍包括生物体和非生物体，其中，生物体包括行人、动物等，非生物体包括车辆周边的树木、栏杆等，具体的，可以包括全景感知架构中应用到智能服务层的相关数据。具体的，可以通过广角摄像头获取车辆侧方的区域图像，对车辆边缘位置检测行人；通过广角摄像头的清晰段或普通摄像头获取车辆前方或后方的区域图像，检测车前行人；通过长焦摄像头模组获取远处的区域图像，对远端检测行人。

在一些实施例中，通过不同固定位置的镜头获取车辆周边至少两个区域的区域图像，对至少两个区域内包含的相同障碍物进行定位及跟踪，能够有效聚焦图像中的位置。例如，通过广角摄像头的清晰段或普通摄像头获取车辆前方的区域图像，通过广角摄像头获取车辆右侧方的区域图像，通过后续对两个区域图像中包含的车辆右前方的同一行人进行定位，能够有效地聚焦行人图像中的位置，加快行人检测速度和检测精度。

220，提取区域图像中的感兴趣区域；

在获取车辆周边至少两个区域的区域图像后，提取这些区域的区域图像中的感兴趣区域，也称roi区域。多个区域图像对应有多个roi区域。

不同焦段中障碍出现的位置信息不一样，以障碍为行人为例，普通彩色摄像头的角度较为正常，其行人出现的区域位置实际上只可能出现在路面上(实际映射到图像中的下半部分)，而不可能出现在天空。在一些实施例中，获取到区域图像后，基于获取到的区域图像中可能出现障碍特征的位置信息进行评估，对部分不可能出现障碍及障碍不处于危险区域的图像不计入检测，例如，去除区域图像的上下部分像素的天空和地面场景，以及图像左右部分像素的道路两边场景，从而得到感兴趣区域。感兴趣区域(regionsofinterest，roi)的检测方法包括运动检测方法、基于形状检测方法以及区域阈值化方法等。例如，当障碍为生物体时，运动检测方法通过检测区域图像中的运动信息，结合光流分析的运动检测来进行感兴趣区域的分割，即基于相同颜色像素小区域连贯运动，每个像素点都被赋予看一个属于某给定小区域的可能概率，而且每个小区域的移动都被按照运动的概率模型进行分类以准备下一阶段的生物体识别，通过唯一的有着连贯一致性运动的区域，然后基于帧间分析对一个直线路径进行投票，只有在一组帧中检测到一个规则的轨迹，才认为检测到一个生物体，并以此得到感兴趣区域，或对感兴趣区域进行优化。进一步的，还可通过一个过零点检测算法，利用了过去若干帧中的历史像素值的时空高斯卷积，再通过利用扩展的二阶卡尔曼滤波器处理遮挡，以获得感兴趣区域。

请参阅图3，roi区域具有不同的场景，以行人的检测为例，终端设备不同焦段的镜头分别连接到roi策略模块，每个镜头的roi策略模块负责采集一片区域的图像以及提取感兴趣区域，例如广角摄像头对应图中最左边，负责检测两侧区域的感兴趣区域，中间为普通摄像头模组，负责检测中央较为重要的感兴趣区域，最右侧的为长焦摄像头模组，负责检测远处即图像中央的感兴趣区域。最终3个镜头分别提取出各自的感兴趣区域，分别输入到对应的行人检测模块中，经行人检测模块检测到的结果一方面输入给行人行为识别模块进行校正，另一方面反馈给roi策略模块，通过学习算法对roi区域进行优化。

231，将区域图像进行划分及压缩，得到若干图像块；

例如，boundingbox(边框回归，可理解为包含目标对象的最小矩形)对车前区域行人进行划分，划分出100个行人可能出现的范围区域，将区域图像进行划分，对应于不同的范围区域。得到的若干图像块分别对应车辆周边若干区域。

232，对图像块提取特征值；

将检测到的boundingbox位置的图像进行提取，然后使用pca算法对图像进行压缩，获得更加低维度的特征值，例如，boundingbox方框内的矩阵为[50,50]，经过pca压缩后方框的矩阵为[20,20]，此处不仅仅是减少矩阵大小，而是对其进行数学计算，协方矩阵提取共性特征，留下最重要的特征值。即减少了数据的冗余也增加了特征的显示度。

233，根据特征值判断图像块中是否包含障碍特征；

234，当判断出图像块中包含障碍特征时，将区域图像中对应于图像块的部分确定为第一障碍图像块。

然后利用svm分类器或者随机深林等有效的分类器，判断是否为障碍。可以根据在分类器中的预设障碍特征来判断。当图像块中包含这些障碍特征时，认为图像块中包含障碍，将区域图像中对应于图像块的部分确定为第一障碍图像块。对输入的每一帧区域图像，先处理区域图像中的一块图像块，循环处理每一帧区域图像中的每一块图像块。

例如，由于障碍包括生物体，障碍特征可以设置为“存在运动轨迹”，当依次对每一帧图像进行检测后发现该图像块对应有运动轨迹，可认为图像块中包含障碍特征，也即包含障碍。

235，对感兴趣区域进行持续优化，通过对感兴趣区域进行障碍检测，确定出第二障碍图像块；

在一些实施例中，提取区域图像中的感兴趣区域之后，对感兴趣区域持续进行优化的步骤可以包括：将障碍位置作为反馈信号输入到学习算法模型中以调整感兴趣区域面积。对roi区域的优化，一方面是面积的减小，一方面是对区域本身进行优化。

例如，在算法开始的时候，将全图作为roi区域，经过一定时间学习后，在优化后得到不同镜头的roi有效区域(更小更精确的roi区域)作为后续步骤的输入。换句话说，算法开始的时候，不同焦段的roi区域均为全图，经过一段时间学习后，不同焦段的roi区域逐渐区分开来，从全图范围开始检测，可以在障碍检测时可以最大程度地避免遗漏。

通过对感兴趣区域进行障碍检测，在区域图像中确定出障碍图像块，包括：在卷积神经网络模型中输入感兴趣区域，判断感兴趣区域中包含障碍的概率；当概率大于或等于预设概率阈值时，将区域图像中对应于感兴趣区域的部分确定为第二障碍图像块。

240，为第一障碍图像块和第二障碍图像块设置不同的权重，根据权重计算出障碍图像块期望值；

具体的，可以为第一障碍图像块中预估的boundingbox设置一倍预设权重，为第二障碍图像块中预估的boundingbox设置五倍预设权重，根据权重计算出障碍图像块期望值。预设权重可以进行预先设定。

第一障碍图像块和二障碍图像块的权重可以相同，也可以不同，具体的，视第一障碍图像块和二障碍图像块的确定方法以及用户的需求而定，例如，还可以为第一障碍图像块中预估的boundingbox设置五倍预设权重，为第二障碍图像块中预估的boundingbox设置一倍预设权重，等等。

可知，步骤231-234与步骤235分别为获取障碍图像块的两种方法，即聚类回归和障碍检测，在一些实施例，可以只使用其中一种方法；在一些实施例中，可以用任一或任二其他方法对这两种方法进行替换；在一些实施例中，可以加入新的障碍图像块确定方法，多种方法分别检测障碍图像块，对检测到的多个障碍图像块设置权重，计算期望值。两者或多者一起计算期望值，能够在一定程度上增加障碍图像块的检测精度。

250，设置阈值截断障碍图像块期望值，以在区域图像中确定出障碍图像块。

当障碍图像块期望值达成某一预设阈值时，将区域图像中对应于障碍图像块期望值的位置确定为障碍图像块。具体的，当障碍图像块的boundingbox期望值达成某一预设阈值时，将区域图像中对应于boundingbox的位置确定为障碍图像块。

260，使用滤波方法对生物体行动轨迹进行预测，根据预测结果的误差大小判断核心跟踪点是否为正确的障碍位置；

实际检测时，可能因为多种因素造成检测误差，因此，对检测到的障碍图像块进行校正，能够有效地减小误差，输出正确的障碍位置。

具体的，可以根据检测到的障碍图像块，利用传感器向车辆周边对应的方向和距离探测是否存在障碍，具体的，可以通过车辆行驶时障碍相对车辆的距离和方向变化进行判断。

需要说明的是，障碍包括生物体。当障碍为生物体时，对障碍图像块进行校正的步骤，可以包括：在障碍图像块中确定出核心跟踪点，使用滤波方法对生物体行动轨迹进行预测；若预测出的生物体行动轨迹与当前检测到的生物体行动轨迹之间的误差在预设误差范围之内，则将核心跟踪点作为正确的障碍位置；若预测出的生物体行动轨迹与当前检测到的生物体行动轨迹之间的误差在预设误差范围之外，则将核心跟踪点作为错误的障碍位置；将正确的障碍位置进行展示，将错误的障碍位置进行删除。

例如，将障碍图像块的中心位置确定为核心跟踪点，使用卡尔曼滤波方法对生物体轨迹进行跟踪，通过连续多帧图像(t帧)对s4.2和s4.3的检测结果进行确认。具体而言，对历史帧数据中检测到的生物体继续轨迹跟踪，其中以[t-15,t-13,t-11,t-9,…,t-3,t]梯度级数作为历史检测帧，如果若预测出的生物体行动轨迹与当前检测到的生物体行动轨迹之间的误差在预设误差范围之内，即上述帧的图像中能够有效地对生物体轨迹进行建模，则认为当前生物体检测结果有效，将核心跟踪点作为正确的障碍位置，将正确的障碍位置仿射到车辆所在的坐标系中，以在坐标系中展示出正确的障碍位置。若预测出的生物体行动轨迹与当前检测到的生物体行动轨迹之间的误差在预设误差范围之外，即当前值与卡尔曼铝箔算出来的预测值相差较大，则认为是错误的检测，将错误的障碍位置进行舍弃，删除。通过校正，可以有效提高检测精度，尽可能避免将错误结果展示给用户。

270，将正确的障碍位置仿射到车辆所在的坐标系中，以在坐标系中展示出正确的障碍位置。

对于正确的结果，将其仿射到坐标系中展示给用户，有益于智能驾驶系统后续对车辆进行控制。例如，当检测到车前有生物体则进行躲避或者提醒驾驶员，对于远处检测到的生物体进行预判其行走轨迹和行走方向，避免后续的危险，对于边缘的生物体可以判断其突发出现在车前的状况，能够有效地辅助或者参与到智能驾驶系统或者辅助驾驶系统中。

具体的，可以使用透视变换方法，对区域图像中的障碍位置进行仿射，仿射到车辆所在的坐标系中，确定障碍的位置。例如，可以仿射到以汽车为原点坐标的坐标系中。

在一些实施例中，模型处理方法具体可以包括：首先通过信息感知层获取用户的电子设备的信息(具体包括电子设备运行信息、用户行为信息、各个传感器获取的信息、电子设备状态信息、电子设备显示内容信息、电子设备上下载信息等)，然后通过数据处理层对电子设备的信息进行处理(如提取区域图像等)，接着再通过特征抽取层从数据处理层处理后的信息中提取出需要的障碍图像块及正确的障碍位置(障碍图像块及正确的障碍位置的获取具体可参阅上述实施例的说明)，再然后将正确的障碍位置输入情景建模层，情景建模层包括一预先存储的预测模型，情景建模层的预测模型根据正确的障碍位置进行训练，不断优化预测模型。并且，智能服务层可以利用预测模型进行预测，根据预测结果判断障碍位置是否正确。

应当理解，本申请实施例中，诸如术语“第一”、“第二”等仅用于区别类似的对象，而不必用于描述特定的顺序或先后次序，这样描述的对象在适当情况下可以互换。

具体实施时，本申请不受所描述的各个步骤的执行顺序的限制，在不产生冲突的情况下，某些步骤还可以采用其它顺序进行或者同时进行。

由上可知，本申请实施例提供的车辆周边障碍检测方法，首先获取车辆周边至少两个区域的区域图像；提取区域图像中的感兴趣区域；通过检测感兴趣区域，在区域图像中确定出障碍图像块；对障碍图像块进行校正，以输出正确的障碍位置。本申请实施例通过检测感兴趣区域确定障碍所在位置并进行校正，通过获取多个区域图像，有效聚焦车辆周边障碍的位置，加快障碍检测速度和检测精度，有益于后续对车辆的控制，保证驾驶安全。

参考图5，图5为本申请实施例提供的车辆周边障碍检测装置的第一种结构示意图。其中，车辆周边障碍检测装置300可以集成在电子设备中，车辆周边障碍检测装置300包括获取模块301、提取模块302、检测模块303和校正模块304。

获取模块301，用于获取车辆周边至少两个区域的区域图像；

提取模块302，用于提取区域图像中的感兴趣区域；

检测模块303，用于通过检测感兴趣区域，在区域图像中确定出障碍图像块；

校正模块304，用于对障碍图像块进行校正，以输出正确的障碍位置；

优化模块305，用于对感兴趣区域持续进行优化，具体用于：将障碍位置作为反馈信号输入到学习算法模型中以调整感兴趣区域面积。

请一并参阅图6，图6为本申请实施例提供的车辆周边障碍检测装置的第二种结构示意图。在一些实施例中，检测模块303对提取模块302中提取出的感兴趣区域进行检测，检测模块303可以用于对感兴趣区域进行障碍检测，在区域图像中确定出障碍图像块，具体包括：

第一判断单元3031，用于在卷积神经网络模型中输入感兴趣区域，判断感兴趣区域中包含障碍的概率；

第一确定单元3032，用于当概率大于或等于预设概率阈值时，将区域图像中对应于感兴趣区域的部分确定为障碍图像块。

请一并参阅图7，图7为本申请实施例提供的车辆周边障碍检测装置的第三种结构示意图。在一些实施例中，可以通过对区域图像进行聚类回归，确定出第一障碍图像块，而将检测模块303确定出的障碍图像块作为第二障碍图像块，此时的周边障碍检测装置还包括确定模块306，用于对区域图像进行聚类回归，确定出第一障碍图像块。此外，检测模块303还可以包括：

计算单元3033，用于为第一障碍图像块和第二障碍图像块设置不同的权重，根据权重计算出障碍图像块期望值；

截断单元3034，用于设置阈值截断障碍图像块期望值，以在区域图像中确定出障碍图像块。

此时，检测模块303通过进一步计算确定出障碍图像块，增加检测精度。

请继续参阅图8，图8为本申请实施例提供的车辆周边障碍检测装置的第四种结构示意图。在一些实施例中，确定模块306对区域图像进行聚类回归，确定出第一障碍图像块，可以具体包括：

处理单元3061，用于将区域图像进行划分及压缩，得到若干图像块；

对输入的每一帧区域图像，处理单元3061先处理区域图像中的一块图像块，再循环处理每一帧区域图像中的每一块图像块。

提取单元3062，用于对图像块提取特征值；

第二判断单元3063，用于根据特征值判断图像块中是否包含障碍特征；

第二确定单元3064，用于当判断出图像块中包含障碍特征时，将区域图像中对应于图像块的部分确定为第一障碍图像块。

请继续参阅图9，图9为本申请实施例提供的车辆周边障碍检测装置的第五种结构示意图。在一些实施例中，校正模块304对检测模块303确定出的障碍图像块进行校正，以输出正确的障碍位置。校正模块304可以包括：

预测单元3041，用于在障碍图像块中确定出核心跟踪点，使用滤波方法对生物体行动轨迹进行预测。

若预测出的生物体行动轨迹与当前检测到的生物体行动轨迹之间的误差在预设误差范围之内，则将核心跟踪点作为正确的障碍位置；

若预测出的生物体行动轨迹与当前检测到的生物体行动轨迹之间的误差在预设误差范围之外，则将核心跟踪点作为错误的障碍位置。

展示单元3042，用于将正确的障碍位置进行展示，将错误的障碍位置进行删除，具体用于将正确的障碍位置仿射到车辆所在的坐标系中，以在坐标系中展示出正确的障碍位置。

在一些实施例中，获取模块301通过不同固定位置的镜头获取车辆周边至少两个区域的区域图像，以进行障碍的定位及跟踪。障碍包括生物体和非生物体，其中，生物体包括行人、动物等，非生物体包括车辆周边的树木、栏杆等，具体的，可以通过全景感知架构中的信息感知层获取。当获取到的障碍为生物体或者具体为行人时，校正模块304对生物体的行为轨迹进行预测，以控制或辅助车辆避开可能造成的危险。

由上可知，本申请实施例提供了一种车辆周边障碍检测装置，首先获取模块301获取车辆周边至少两个区域的区域图像；提取模块302提取区域图像中的感兴趣区域；检测模块303通过检测感兴趣区域，在区域图像中确定出障碍图像块；校正模块304对障碍图像块进行校正，以输出正确的障碍位置。本申请实施例通过检测感兴趣区域确定障碍所在位置并进行校正，通过获取多个区域图像，有效聚焦车辆周边障碍的位置，加快障碍检测速度和检测精度，有益于后续对车辆的控制，保证驾驶安全。此外，优化模块305对感兴趣区域持续进行优化，进一步提高检测精度。

本申请实施例还提供一种电子设备。电子设备可以是智能手机、平板电脑、游戏设备、ar(augmentedreality，增强现实)设备、汽车、车辆周边障碍检测装置、音频播放装置、视频播放装置、笔记本、桌面计算设备、可穿戴设备诸如手表、眼镜、头盔、电子手链、电子项链、电子衣物等设备。

参考图10，图10为本申请实施例提供的电子设备400的第一种结构示意图。其中，电子设备400包括处理器401和存储器402。处理器401与存储器402电性连接。

处理器401是电子设备400的控制中心，利用各种接口和线路连接整个电子设备的各个部分，通过运行或调用存储在存储器402内的计算机程序，以及调用存储在存储器402内的数据，执行电子设备的各种功能和处理数据，从而对电子设备进行整体监控。

在本实施例中，电子设备400中的处理器401会按照如下的步骤，将一个或一个以上的计算机程序的进程对应的指令加载到存储器402中，并由处理器401来运行存储在存储器402中的计算机程序，从而实现各种功能：

获取车辆周边至少两个区域的区域图像；

提取区域图像中的感兴趣区域；

通过检测感兴趣区域，在区域图像中确定出障碍图像块；

对障碍图像块进行校正，以输出正确的障碍位置。

在一些实施例中，在提取区域图像中的感兴趣区域之后，处理器401执行以下步骤：

对感兴趣区域持续进行优化；具体包括：

将障碍位置作为反馈信号输入到学习算法模型中以调整感兴趣区域面积。

在一些实施例中，在通过检测感兴趣区域，在区域图像中确定出障碍图像块时，处理器401执行以下步骤：

通过对感兴趣区域进行障碍检测，在区域图像中确定出障碍图像块；具体包括：

在卷积神经网络模型中输入感兴趣区域，判断感兴趣区域中包含障碍的概率；

当概率大于或等于预设概率阈值时，将区域图像中对应于感兴趣区域的部分确定为障碍图像块。

在一些实施例中，在通过检测感兴趣区域，在区域图像中确定出障碍图像块之前，处理器401执行以下步骤：

通过对区域图像进行聚类回归，确定出第一障碍图像块；

在通过检测感兴趣区域，在区域图像中确定出障碍图像块时，处理器401执行以下步骤：

通过对感兴趣区域进行障碍检测，确定出第二障碍图像块；

为第一障碍图像块和第二障碍图像块设置不同的权重，根据权重计算出障碍图像块期望值；

设置阈值截断障碍图像块期望值，以在区域图像中确定出障碍图像块。

在一些实施例中，通过对区域图像进行聚类回归，确定出第一障碍图像块时，处理器401执行以下步骤：

将区域图像进行划分及压缩，得到若干图像块；

对图像块提取特征值；

根据特征值判断图像块中是否包含障碍特征；

当判断出图像块中包含障碍特征时，将区域图像中对应于图像块的部分确定为第一障碍图像块。

在一些实施例中，通过对区域图像进行聚类回归，确定出第一障碍图像块时，处理器401对输入的每一帧区域图像，先处理区域图像中的一块图像块，循环处理每一帧区域图像中的每一块图像块。

在一些实施例中，对障碍图像块进行校正时，处理器401执行以下步骤：

在障碍图像块中确定出核心跟踪点，使用滤波方法对生物体行动轨迹进行预测；

若预测出的生物体行动轨迹与当前检测到的生物体行动轨迹之间的误差在预设误差范围之内，则将核心跟踪点作为正确的障碍位置；

若预测出的生物体行动轨迹与当前检测到的生物体行动轨迹之间的误差在预设误差范围之外，则将核心跟踪点作为错误的障碍位置；

将正确的障碍位置进行展示，将错误的障碍位置进行删除。

在一些实施例中，将正确的障碍位置进行展示时，处理器401执行以下步骤：

将正确的障碍位置仿射到车辆所在的坐标系中，以在坐标系中展示出正确的障碍位置。

请继续参考图11，图11为本申请实施例提供的电子设备400的第二种结构示意图。其中，电子设备400还包括：显示屏403、控制电路404、输入单元405、传感器406以及电源407。其中，处理器401分别与显示屏403、控制电路404、输入单元405、传感器406以及电源407电性连接。

显示屏403可用于显示由用户输入的信息或提供给用户的信息以及电子设备的各种图形用户接口，这些图形用户接口可以由图像、文本、图标、视频和其任意组合来构成。

控制电路404与显示屏403电性连接，用于控制显示屏403显示信息。

输入单元405可用于接收输入的数字、字符信息或用户特征信息(例如指纹)，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。其中，输入单元405可以包括指纹识别模组。

传感器406用于采集电子设备自身的信息或者用户的信息或者外部环境信息。例如，传感器406可以包括距离传感器、磁场传感器、光线传感器、加速度传感器、指纹传感器、霍尔传感器、位置传感器、陀螺仪、惯性传感器、姿态感应器、气压计、心率传感器等多个传感器。

电源407用于给电子设备400的各个部件供电。在一些实施例中，电源407可以通过电源管理系统与处理器401逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。

尽管图10及图11中未示出，电子设备400还可以包括摄像头、蓝牙模块等，在此不再赘述。

由上可知，本申请实施例提供了一种电子设备，电子设备中的处理器执行以下步骤：首先获取车辆周边至少两个区域的区域图像；提取区域图像中的感兴趣区域；通过检测感兴趣区域，在区域图像中确定出障碍图像块；对障碍图像块进行校正，以输出正确的障碍位置。本申请实施例通过检测感兴趣区域确定障碍所在位置并进行校正，通过获取多个区域图像，有效聚焦车辆周边障碍的位置，加快障碍检测速度和检测精度，有益于后续对车辆的控制，保证驾驶安全。

本申请实施例还提供一种存储介质，存储介质中存储有计算机程序，当计算机程序在计算机上运行时，计算机执行上述任一实施例的车辆周边障碍检测方法。

例如，在一些实施例中，当计算机程序在计算机上运行时，计算机执行以下步骤：

获取车辆周边至少两个区域的区域图像；

提取区域图像中的感兴趣区域；

通过检测感兴趣区域，在区域图像中确定出障碍图像块；

对障碍图像块进行校正，以输出正确的障碍位置。

需要说明的是，本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过计算机程序来指令相关的硬件来完成，计算机程序可以存储于计算机可读存储介质中，存储介质可以包括但不限于：只读存储器(rom，readonlymemory)、随机存取存储器(ram，randomaccessmemory)、磁盘或光盘等。

以上对本申请实施例所提供的车辆周边障碍检测方法、装置、存储介质及电子设备进行了详细介绍。本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上，本说明书内容不应理解为对本申请的限制。