路侧感知方法、装置、电子设备、存储介质及路侧设备与流程

本申请涉及智能交通领域，尤其涉及车路协同领域。

背景技术：

在新基建的大背景下，车用无线通信技术(v2x，ehicletoeverything)路侧感知系统为车路协同的车辆提供了超视距的感知信息。相机作为路侧感知系统的最主要的传感器之一，对障碍物进行三维(3d)感知。现有的路侧感知方法对于某个路口的一个方向的立杆上会同时安装三个相机：前视枪式相机、后视枪式相机和鱼眼相机，其中鱼眼相机是为了补充前后相机之间的盲区。但是在前视枪式相机和后视枪式相机的图像的下方还是容易出现盲区，无法达到无盲区全覆盖感知。

技术实现要素：

本申请提供了一种路侧感知方法、装置、电子设备以及存储介质。

根据本申请的一方面，提供了一种路侧感知方法，包括：

获取广角相机摄取的广角图像；

对广角图像进行去畸变处理，得到广角相机正下方的图像；

通过球面投影模型将广角图像投影变换到至少一个视角，得到至少一个平面投影图像，每个平面投影图像对应一个视角，该平面投影图像用于覆盖前视相机和/或后视相机的感知盲区。

根据本申请的另一方面，提供了一种路侧感知装置，包括：

第一获取模块，用于获取广角相机摄取的广角图像；

去畸变模块，用于对广角图像进行去畸变处理，得到广角相机正下方的图像；

投影模块，用于通过球面投影模型将广角图像投影变换到至少一个视角，得到至少一个平面投影图像，每个平面投影图像对应一个视角，该平面投影图像用于覆盖前视相机和/或后视相机的感知盲区。

根据本申请的另一方面，提供了一种电子设备，其特征在于，包括：

至少一个处理器；以及

与至少一个处理器通信连接的存储器；其中，

存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行上述的方法。

根据本申请的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，计算机指令用于使计算机执行上述的方法。

根据本申请的另一方面，提供了一种路侧设备，包括如上述的电子设备。

本申请通过获取广角图像，对广角图像进行去畸变并投影到不同的视角，得到广角相机正下方的图像、以及不同视角的平面投影图像，这些平面投影图像用于覆盖前视相机和/或后视相机的感知盲区，从而达到无盲区全覆盖感知。

应当理解，本部分所描述的内容并非旨在标识本申请的实施例的关键或重要特征，也不用于限制本申请的范围。本申请的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本申请的限定。其中：

图1是本申请实施例的一种路侧感知方法实现流程图；

图2a是一个鱼眼图像示意图；

图2b是一个鱼眼图像经过去畸变处理后的图像；

图2c是一个前视枪式相机可视范围示意图；

图2d是一个后视枪式相机可视范围示意图；

图3是本申请实施例的一种路侧感知方法中，步骤s103的实现流程图；

图4是鱼眼相机的球面模型示意图；

图5是鱼眼图像的坐标系示意图；

图6是本申请实施例的一种路侧感知方法中，确定平面投影图像的像素坐标和广角图像的像素坐标的对应关系的方式示意图；

图7是本申请实施例的一种路侧感知方法中，根据平面投影图像的像素坐标和广角图像的像素坐标的对应关系，通过球面投影模型将广角图像投影变换到至少一个视角示意图；

图8a是前视相机左侧盲区角度的鱼眼图像的去畸变图像；

图8b是前视相机右侧盲区角度的鱼眼图像的去畸变图像；

图8c是后视相机左侧盲区角度的鱼眼图像的去畸变图像；

图8d是后视相机右侧盲区角度的鱼眼图像的去畸变图像，

图9是本申请实施例的一种路侧感知装置900的结构示意图；

图10是本申请实施例的一种路侧感知装置1000的结构示意图；

图11是用来实现本申请实施例的路侧感知方法的电子设备的框图。

具体实施方式

以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

如何实现路口的无盲区全覆盖感知，是目前车路协同路侧视觉感知研究的重点。针对上述问题，本方案通过在路口设置广角镜头(如鱼眼镜头)，并对该广角镜头摄取的广角图像进行特定视角的投影变换，以覆盖前视相机和/或后视相机的感知盲区，从而实现车路协同中的路口无盲区感知。

鱼眼镜头是一种极端的广角镜头，焦距在6-16mm之间，视角多在180度以上。为了使镜头达到最大的摄影角度，这种镜头的前镜片呈抛物状，向前突出，与鱼的眼睛颇为相似，因此被称为鱼眼镜头。鱼眼镜头属于超广角镜头中的一种特殊镜头，它的视角力求达到或超出人眼所能看到的范围。鱼眼镜头与人眼中的真实世界的镜像存在很大的差异，因为实际看到的景物是有规则的固定形态，而通过鱼眼镜头产生的画面效果则超出了这一范畴。

本申请实施方式中，应理解，相机、镜头、摄像机、摄像头等均表示可以获取覆盖范围内的图像的设备，其含义类似，且可以互换，本申请对此不做限制。

本申请实施例提供一种路侧感知方法，该方法可以应用于车路协同系统中的路口无盲区感知。本申请实施例对于某个路口的一个方向的立杆上可以同时安装三个相机：前视相机(或称前视枪式相机)、后视相机(或称后视枪式相机)和鱼眼相机。每个鱼眼相机可以经过两步来得到二维图像：第一步，利用ocam模型或者opencv模型对鱼眼图像进行去畸变，得到鱼眼相机正下方的图像；第二步，利用球面投影模型将圆形鱼眼相机原图变换到特定视角的平面透视图像，以覆盖前视相机和/或后视相机的感知盲区。以下参照附图，举具体的实施例详细介绍。

图1是本申请实施例的一种路侧感知方法实现流程图，至少包括：

步骤s101：获取广角相机摄取的广角图像；

步骤s102：对广角图像进行去畸变处理，得到广角相机正下方的图像；

步骤s103：通过球面投影模型将广角图像投影变换到至少一个视角，得到至少一个平面投影图像，每个平面投影图像对应一个视角，其中，平面投影图像用于覆盖前视相机和/或后视相机的感知盲区。

在一些实施方式中，上述方法还包括：获取前视相机和/或后视相机摄取的图像。其中，上述广角相机、所述前视相机和所述后视相机可以设置于道路路口的同一立杆上。

本申请实施例中，上述广角相机可以包括鱼眼相机，上述广角图像可以包括鱼眼图像。

图2a是一个鱼眼图像示意图。由图2a可见，鱼眼图像是一个圆形图像，该图像越靠近边缘位置的畸变越严重、越靠近中心位置越接近真实世界的图像。

上述步骤s102中，可以采用ocam模块或者opencv模型对鱼眼图像进行去畸变，如图2b是一个鱼眼图像经过去畸变处理后的图像示意图。图2c是一个前视枪式相机可视范围示意图，图2d是一个后视枪式相机可视范围示意图，可以看出，前视枪式相机和后视枪式相机图像的下方容易出现盲区。

本申请实施例可以将鱼眼相机设置于路口位置；对鱼眼相机摄制的鱼眼图像进行去畸变处理，即可以得到鱼眼相机正下方的图像。并且，对鱼眼图像进行特定角度的投影变换，得到的平面投影图像可以覆盖前视相机和/或后视相机的感知盲区。

图3是本申请实施例的一种路侧感知方法中，步骤s103的实现流程示意图，如图3所示，上述步骤s103至少包括以下步骤：

步骤s301：确定平面投影图像的像素坐标和广角图像的像素坐标的对应关系；

步骤s302：根据该对应关系，通过球面投影模型将广角图像投影变换到至少一个视角。

为了清楚地说明上述步骤s103的具体实现方式，以下参照鱼眼相机的球面模型详细介绍。

图4是鱼眼相机的球面模型示意图。如图4所示，鱼眼相机球面模型采用xyz三维空间坐标系，平面投影图像(也可称为枪机式平面投影面)采用uv二维坐标系。图4中显示了1/8的球面，是鱼眼相机的球形投影面的1/4。完整的鱼眼相机的球形投影面是与xoy平面相切的半球形。

鱼眼图像是鱼眼相机的球形投影面投影到xoy平面得到的圆形图像。图5是鱼眼图像的坐标系示意图，图5中的圆形表示鱼眼图像，o点表示该鱼眼图像的中心点，该中心点也就是鱼眼相机球面模型的投影中心，即xyz三维坐标系的原点。鱼眼图像采用u’v’二维坐标系，该坐标系的原点o’为鱼眼图像外延区域左上角的点，参照图2a，图2a显示的圆形鱼眼图像外侧的黑色区域即为该外延区域，该黑色区域左上角的点即为鱼眼图像所采用的坐标系的原点o’。

在介绍了图4和图5的图像及坐标系之后，以下以图4和图5为基础，介绍本申请实施例通过球面投影模型将广角图像(如圆形鱼眼图像)投影变换到特定视角，从而将该圆形鱼眼图像变换为某个角度的平面投影图像(如枪机图像)的具体实施方式。

如图4所示，点o为鱼眼相机球面模型的投影中心，点d为枪机式平面投影面的几何中心，枪机式平面投影面与鱼眼相机的球形投影面相切于点d，θ1表示与z轴方向的夹角，θ2表示x轴方向到在xoy平面上的投影逆时针需要转动的角度。鱼眼图像的半径和球形投影面的半径都为r。则：

设p为枪机式平面投影面上任意一点，p到xoy平面上的投影点为q。α为z轴到的角度，β为x轴到的逆时针转过的角度。点p和点d在校正图像平面坐标系上的坐标分别为(up，vp)和(ud，vd)。为了方便求出p点在空间坐标系中的坐标，这里将分解成和这两个向量分别平行于u轴和v轴。根据几何关系可以得出：

直线op和球形投影面相交于一点，该交点在xoy平面的投影为点m。

设xyz三个轴的单位向量分别为则：

在本实施例中，鱼眼圆形图像的半径为r＝593像素，且此时的θ＝pi/2，由等距投影模型可以得到鱼眼相机的焦距。即：

由等距投影模型，存在公式(1)

r＝focal×θ(1)

利用r、θ和上述公式(1)，可以得focal，focal是鱼眼相机的焦距。

然后再由focal的值得到此时投影到u’v’坐标系上的长度rq，即：rq＝focal×α

则点p对应的鱼眼圆形图像的像素坐标为：

u'q＝rq×sinβ+u'center

v'q＝rq×cosβ+v'center

其中，(u'center,v'center)表示鱼眼圆形图像的中心点像素坐标。

至此，得到了枪机式平面投影面的像素坐标和鱼眼圆形图像的像素坐标的对应关系。

之后，通过球面模型将圆形鱼眼相机原图投影变换到特定视角，即选择特定的θ1和θ2，可以将鱼眼图像等效变换为某个角度的枪机图像。

结合上述图示，本申请实施例方式中，确定平面投影图像的像素坐标和广角图像的像素坐标的对应关系的方式如图6所示，至少包括以下步骤：

步骤s601：利用所广角图像的半径确定广角相机的焦距。

本步骤可以采用上述公式(1)确定广角相机的焦距，即上述focal。

步骤s602：利用广角相机的焦距、以及平面投影图像中任意点与空间坐标系的角度关系(如上述角度α)，确定球面投影模型的投影中心到该任意点的向量(如上述)投影到广角图像的坐标系上的长度(如上述rq)；其中，空间坐标系为广角相机的球形投影面对应的坐标系(如上述xyz三维坐标系)。

步骤s603：利用该长度、平面投影图像中任意点与空间坐标系的角度关系(如上述sinβ、cosβ)、以及广角图像的中心点像素坐标(如上述u'center、v'center)，确定该任意点在广角图像所在平面上的投影点的像素坐标(如上述u'q、v'q)。

步骤s604：根据该任意点在平面投影图像的坐标系上的像素坐标、以及该任意点在广角图像所在平面上的投影点的像素坐标，确定平面投影图像的像素坐标和广角图像的像素坐标的对应关系。

结合上述图示，本申请实施例方式中，根据平面投影图像的像素坐标和广角图像的像素坐标的对应关系，通过球面投影模型将广角图像投影变换到至少一个视角的方式如图7所示，至少包括以下步骤：

步骤s701：选取至少一个视角；

步骤s702：确定该视角与该空间坐标系的角度关系(如上述θ1和θ2)；

步骤s703：利用该视角与该空间坐标系的角度关系，确定平面投影图像中任意点与该空间坐标系的角度关系(如上述α和β)；

步骤s704：利用平面投影图像的像素坐标和广角图像的像素坐标的对应关系、以及该平面投影图像中任意点与空间坐标系的角度关系，将广角图像投影变换到该视角。

如图8a至8d为将鱼眼图像投影变换到不同视角得到的枪机式平面投影图。其中，

图8a为前视相机左侧盲区角度的鱼眼图像的去畸变图像，该图像的投影变换视角可以选择θ1＝58°，θ2＝135°；

图8b为前视相机右侧盲区角度的鱼眼图像的去畸变图像，该图像的投影变换视角可以选择θ1＝58°，θ2＝45°；

图8c为后视相机左侧盲区角度的鱼眼图像的去畸变图像，该图像的投影变换视角可以选择θ1＝58°，θ2＝315°；

图8d为后视相机右侧盲区角度的鱼眼图像的去畸变图像，该图像的投影变换视角可以选择θ1＝58°，θ2＝225°。

当然，上述投影变换视角的具体值仅为举例，本申请实施例可以选择其他的角度，使得到的特定视角的平面投影图像能够覆盖前视相机和/或后视相机的感知盲区。

可见，本申请实施例对鱼眼相机原始圆形图像进行球面投影变换，生成特定视角(存在盲区的视角)的平面透视图像，然后联合前后枪式相机图像和鱼眼相机ocam模型或者opencv模型去畸变图像，能够达到无盲区的全区域的覆盖感知。

本申请实施例还提出一种路侧感知装置，图9是为本申请实施例的一种路侧感知装置900的结构示意图，包括：

第一获取模块910，用于获取广角相机摄取的广角图像；

去畸变模块920，用于对广角图像进行去畸变处理，得到广角相机正下方的图像；

投影模块930，用于通过球面投影模型将广角图像投影变换到至少一个视角，得到至少一个平面投影图像，每个平面投影图像对应一个视角，平面投影图像用于覆盖前视相机和/或后视相机的感知盲区。

图10是本申请实施例的一种路侧感知装置1000的结构示意图，可选地，该感知装置还包括：

第二获取模块940，用于获取前视相机和/或后视相机摄取的图像。

在一些实施方式中，上述广角相机、所述前视相机和所述后视相机设置于道路路口的同一立杆上。

可选地，上述投影模块930包括：

对应关系确定子模块931，用于确定平面投影图像的像素坐标和广角图像的像素坐标的对应关系；

投影子模块932，用于根据对应关系，通过球面投影模型将广角图像投影变换到至少一个视角。

可选地，上述对应关系确定子模块931用于：

利用广角图像的半径确定广角相机的焦距；

利用广角相机的焦距、以及平面投影图像中任意点与空间坐标系的角度关系，确定球面投影模型的投影中心到任意点的向量投影到广角图像的坐标系上的长度；其中，空间坐标系为广角相机的球形投影面对应的坐标系；

利用上述长度、平面投影图像中任意点与空间坐标系的角度关系、以及广角图像的中心点像素坐标，确定任意点在广角图像所在平面上的投影点的像素坐标；

根据任意点在平面投影图像的坐标系上的像素坐标、以及任意点在广角图像所在平面上的投影点的像素坐标，确定平面投影图像的像素坐标和广角图像的像素坐标的对应关系。

可选地，上述投影子模块932用于：

选取至少一个视角；

确定视角与空间坐标系的角度关系；

利用视角与空间坐标系的角度关系，确定平面投影图像中任意点与空间坐标系的角度关系；

利用对应关系、以及平面投影图像中任意点与空间坐标系的角度关系，将广角图像投影变换到视角。

可选地，上述广角相机为鱼眼相机，广角图像为鱼眼图像。

本申请实施例各装置中的各模块的功能可以参见上述方法中的对应描述，在此不再赘述。

本申请实施例提出的路侧感知方法和装置可以应用于各种类型的路况，例如，十字路口、丁字路口、l形路口等，本申请对此不做限制。对于路口两边都有道路的情况，设置相机及投影变换的方式可以参考前述实施例的方式；对于路口仅有一边有道路的情况，可以只根据车流方向进行设置及投影变换，对车流方向上进行数据采集即可。

根据本申请的实施例，本申请还提供了一种电子设备和一种可读存储介质；并且，本申请还提供了一种路侧设备，该路侧设备包括前述电子设备。

如图11所示，是根据本申请实施例的感知方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。

如图11所示，该电子设备包括：一个或多个处理器1101、存储器1102，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示gui的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图11中以一个处理器1101为例。

存储器1102即为本申请所提供的非瞬时计算机可读存储介质。其中，存储器存储有可由至少一个处理器执行的指令，以使至少一个处理器执行本申请所提供的感知方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的感知方法。

存储器1102作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的感知方法对应的程序指令/模块(例如，附图9所示的第一获取模块910、去畸变模块920和投影模块930)。处理器1101通过运行存储在存储器1102中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的感知方法。

存储器1102可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据感知的电子设备的使用所创建的数据等。此外，存储器1102可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器1102可选包括相对于处理器1101远程设置的存储器，这些远程存储器可以通过网络连接至感知的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

感知方法的电子设备还可以包括：输入装置1103和输出装置1104。处理器1101、存储器1102、输入装置1103和输出装置1104可以通过总线或者其他方式连接，图11中以通过总线连接为例。

输入装置1103可接收输入的数字或字符信息，以及产生与感知的电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置1104可以包括显示设备、辅助照明装置(例如，led)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(lcd)、发光二极管(led)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。

此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用asic(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(pld))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，crt(阴极射线管)或者lcd(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(lan)、广域网(wan)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与虚拟专用服务器(vps)服务中，存在的管理难度大，业务扩展性弱的缺陷。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。