基于帧图像轮廓拼接的交通路口全景视频获取装置及方法与流程

本发明属于智慧交通控制，涉及基于帧图像轮廓拼接的交通路口全景视频获取装置及方法。

背景技术：

1、城市交叉路口是城市道路中环境最复杂、参与者最多、问题状况最频繁的交通场景。它是道路交通系统的节点和枢纽，承担了大量交通流量。在城市交叉路口场景的智慧交通管理控制中，迫切需要在区域交通控制机显示页面端呈现路口全景视频，以利于实现将智慧交通系统预设定的虚拟车辆、行人景象任意放入该路口中进行模拟指挥调控，以实现智慧交通管理的目的。

2、传统高精地图呈现的路口是二维仿真的单方向视角，车辆在行驶过程中只能获取到路口车道信息，无法感知当前路口内车辆、行人等的真实状态，无法让驾驶人员进行有效的驾驶预判。随着智慧交通的发展，优化交叉路口管控，提升道路通行能力，高效率和高感知的通行成为当前交通发展的趋势，可掌握交通态势、可监控路口行为的全息路口由此产生。全息路口是将路口四个单方向实时前视图拼接成路口全景鸟瞰图，通过图像处理去除前景得到实时净版的路口全景鸟瞰图，然后再基于获得的净版全景鸟瞰图作为图像底座将当前时刻路口四个方向拍摄的视频拼接到鸟瞰图中打造出全息视角的路口实景图。

3、智慧交通控制系统必须依赖路口场景可视化作为实施前提，传统的视频采集方式多为卫星、无人机、摄像系统，目前卫星和无人机对于实现路口全景视频的实时动态投放所耗费的空间、物料成本巨大，而传统的摄像系统成本相对较低，但是无法生成路口全景视频。

4、因此，一种利用照相机拍摄多角度图像进行拼接形成全景图像，以尽可能小的运算量达到全景图像拼接的目的，无需传至后台处理，再以一定的速度传送至后台形成视觉上连续的视频图像是非常有必要的，以很小的实现成本达到路口全景实时视频的投放，并且极小的运算量使装置自身便可完成，不需要增加后台的运算负担。

技术实现思路

1、本发明提出的基于帧图像轮廓拼接的交通路口全景视频获取装置及方法，通过旋转云台带动图像采集装置连续采集多帧交通路口图像，以旋转云台以旋转一周为一个周期通过图像处理装置对图像进行拼接形成全景图像，并以p帧/秒的速度传送至后台，形成连续的视频图像；在不处理图像畸变的情况下完成图像的拼接，缩减了大量的运算量，提高了实时全景视频生成的流畅性和可靠性。

2、本发明的技术方案是这样实现的：

3、基于帧图像轮廓拼接的交通路口全景视频获取方法，包括

4、s1：架设图像采集装置，设置图像采集装置的俯视角度为α，图像采集装置采集视角为β，旋转云台旋转角度为θ，图像采集装置采集图像宽度d，得到图像重合区域a；

5、进一步的，步骤s1包括，图像重合区域；

6、s2：对图像进行灰度处理，得到灰度图像，对灰度图像做去除动态前景处理；

7、s3：差异阈值选取并修正；

8、进一步的，步骤s3包括,设定初始差异阈值p0，以初始差异阈值p0为基准上下浮动得到差异阈值浮动值{p-n...p-2，p-1，p0，p1，p2...pn}，其中p-n......pn均为大于零的数，且p-n...p-2，p-1只表示相对于p0值的浮动趋势；按照差异阈值浮动值提取对应图像特征单元{m0-n...m0-2，m0-1，m00，m01，m02...m0n}，与实际图像中的特征物体m进行比对，选取具有最优匹配度的差异阈值浮动值作为差异阈值p；

9、s4：对去除动态前景的灰度图像重合区域进行特征单元划分；

10、进一步的，步骤s4包括

11、s41：以像素级开始，计算相邻像素的差异值δ1与差异阈值p比较，将小于差异阈值p的相邻像素合成一次特征单元，并匀化一次特征单元得到m1={m11，m21，......ma1}，大于差异阈值p的两相邻像素不合并；

12、s42：计算相邻一次特征单元m1差异值δ2与差异阈值p比较，将小于差异阈值p的两相邻一次特征单元m1合成为二次特征单元，并匀化二次特征单元得到m2={m12，m22，......mb2}，大于差异阈值p的两相邻一次特征单元不合并；

13、s43：重复上述步骤，直至得到的相邻n次特征单元，并匀化n次特征单元得到mn={m1n，m2n，......mcn}，所有n次特征单元mn的差异值δn均大于差异阈值p，合并结束；其中，a、b、c均为正整数，且a、b、c满足关系a≥b≥c；

14、s5：计算特征指数g，确定靶向单元；

15、进一步的，步骤s5包括，

16、s51：通过公式g = l2/s计算n次特征单元{m1n，m2n，......mcn}的特征指数g，其中，l为n次特征单元的周长、s为n次特征单元的面积；

17、s52：比较相邻两图像重合区域中n次特征单元的特征指数，将相邻两图像重合区域内特征指数最接近的两n次特征单元记为靶向单元{m1n，m1n’；m2n，m2n’；......mcn，mcn’}；

18、s6：相邻两图像重合区域靶向单元一一映射，完成相邻两图像的拼接，最终拼接形成全景图像；

19、进一步的，步骤s6包括，

20、s61：将相邻两图像重合区域中的第二图像重合区域的靶向单元以重合面积最大原则一一映射入第一图像重合区域，且只保留第一图像重合区域的图像，完成第一图像和第二图像的拼接；

21、s62：以旋转云台旋转一周为周期，将图像采集装置每个周期采集的图像按顺序进行两两拼接，最终拼接形成全景图像；

22、s7：将拼接后的最终图像进行逆变换还原彩色图像，并将全景图像以p帧/秒的速度传送至后台，形成连续的视频图像；

23、基于帧图像轮廓拼接的交通路口全景视频获取装置，包括：图像采集装置，用于采集交通路口图像，所述图像采集装置的俯视角度为α，图像采集装置采集视角为β；

24、旋转云台，与所述图像采集装置连接，所述旋转云台带动所述图像采集装置以每帧拍摄θ=45°的角度，拍摄8次形成完整闭环拍摄；

25、图像处理装置，与图像采集装置连接，对所述图像采集装置采集的图像进行处理拼接，形成全景图像后以p帧/秒的速度传送至后台，形成连续的视频图像；

26、本发明的工作原理及有益效果为：

27、基于帧图像轮廓拼接的交通路口全景视频获取装置，包括图像采集装置、旋转云台以及图像处理装置，通过连续周期性的图像采集、处理、拼接成最终的全景图像，全部操作均是通过本交通路口全景视频的获取装置获得，无需传至后台处理，不会增加后台的运算负担，本装置设备简单，接近一台照相机的费用，节约成本，也无需升级后台服务器，节省了设备投资，最后以p帧/秒的速度传送至后台，后台无需任何附加操作即可得到连续的全景视频。

28、本技术的交通路口全景图像拼接方法是对图像重合区域进行特征单元划分，通过特征指数计算确定靶向单元，以重合面积最大原则对相邻两图像重合区域的靶向单元一一映射，无需进行图像畸变处理即能完成图像的拼接，缩减了大量的运算量，保证了实时全景视频生成的流畅性。

29、利用人眼视觉暂留的原理，将拼接完成的全景图像以p帧/秒的速度传送至后台，后台无需任何附加操作只需叠加回放即可得到连续流畅的动态全景视频，以利于实现对交通路口进行模拟指挥调控，从而实现智慧交通管理的目的。