一种基于边缘计算的无人机交通事故处理系统

1.本发明属于无人机、计算机视觉及边缘计算技术领域，特别涉及一种基于边缘计算的无人机交通事故处理系统。


背景技术：

2.由于人为因素的影响，例如协商没有通过，简单的交通事故，如轻微的刮蹭与碰撞，就会导致严重的交通拥塞，而面对严重的交通事故，时间成为挽救生命的重要因素。交通事故处理系统即通过利用现有一些智能化设备以及先进的技术辅助相关人员处理道路交通中事故的系统，该系统可以很好的实现人与智能技术的结合，对紧急的交通事故事件实现快速响应、处理。
3.虽然目前常见的基于无人机辅助的交通事故处理系统已经存在，但是这些系统在以下这些方面仍然存在一些不足：
4.(1)无人机与相关人员配合智能化程度不高。
5.(2)不能在很短时间内处理事故，疏通道路。
6.(3)对于重大交通事故，人员受伤得不到及时应急处理。
7.鉴于此，传统系统并不能满足现阶段人们对低延迟、高安全敏感系统的需求。因此，面对可能发生的各种情况以及现有系统的缺点，本发明提供了一种基于边缘计算的无人机交通事故处理系统，结合无人机、计算机视觉及边缘计算技术进行交通事故处理，可以在最快时间内处理或帮助相关人员处理交通事故，很大程度上挽救生命，并减少交通阻塞。


技术实现要素：

8.本发明的目的在于提供一种基于边缘计算的无人机交通事故处理系统，减少交通事故处理时间，辅助相关人员挽救生命，并加快事故处理速度，减少交通阻塞，弥补了传统基于无人机辅助的交通道路系统的不足。
9.本发明是这样实现的：一种基于边缘计算的无人机交通事故处理系统包括无人机子系统、5g传输子系统以及交通事故管理云子系统。其中，无人机子系统与5g传输子系统相连；5g传输子系统与交通事故管理云子系统相连。
10.所述一种基于边缘计算的无人机交通事故处理系统过程可以分为两种事故场景：
11.(1)较轻事故场景，过程如下：
12.步骤s11：当发生交通事故时，事故较轻，无人员伤亡或受伤较轻，但由于事故责任问题无法当场解决，求助相关人员。
13.步骤s12：交管指挥中心接收到求助，确定相关事故信息(例如：位置信息)。
14.步骤s13：指挥中心通过5g基站调度距离较近无人机到达现场。
15.步骤s14：其中信息采集与语音无人机开始利用相机拍摄场景，同时通过扬声器不断提醒事故人员注意事项，并利用5g传输子系统将信息传至边缘设备，与此同时，警示无人机飞向事故车辆后方通过灯光闪烁以及扬声器不断提醒后方车辆前方发生事故，场景拍摄
完成后，利用扬声器提醒相关人员将事故车辆驶出交通道路，在路边等待相关人员来处理，避免造成交通堵塞。
16.步骤s15：边缘设备接收数据后，开始利用sfm算法进行三维重建，复现事故现场三维模型，并利用5g技术将结果传至相关设备。
17.步骤s16：相关人员接收到结果后，控制中心对责任判定进行初步分析，相关人员到达现场后再进行最终责任判定。
18.步骤s17：无人机返回仓库。
19.(2)较重事故场景，过程如下：
20.步骤s21：当发生交通事故时，事故较重，有人员伤亡或受伤较重，求助交警。
21.步骤s22：交管指挥中心接收到求助，确定相关事故信息(例如：位置信息)。
22.步骤s23：指挥中心通过5g基站调度距离较近无人机到达现场。
23.步骤s24：其中信息采集与语音无人机开始利用相机拍摄场景同时进行摄像，并利用5g传输子系统将信息传至边缘设备，与此同时，警示无人机飞向事故车辆后方通过灯光闪烁以及扬声器不断提醒后方车辆前方发生事故；同时医疗无人机释放急救包。信息采集与语音无人机场景拍摄完成后，上传数据到边缘设备交至交通事故管理云子系统进行处理。
24.步骤s25：交通事故管理云子系统接收数据后，根据信息采集与语音无人机所上传视频利用生命体征检测模块获取生命体征数据，进行120求助并简单说明相关情况并发送检测到的生命体征数据，让医务人员了解相关情况并做出准备。同时，接收到信息采集与语音无人机数据后，利用三维重建模块中的sfm算法进行三维重建，复现事故现场三维模型，并将结果传至相关设备。
25.步骤s26：相关人员接收到结果后，控制中心对事故现场情况进行初步分析，同时做出相关人员部署，相关人员到达现场后及时进行救援。
26.步骤s27：无人机返回仓库。
27.所述无人机子系统是由无人机、视觉相机、警示灯以及扬声器组成，分为三种类型无人机：信息采集与语音无人机、警示无人机，医疗无人机，场景可分两种情况说明：
28.(1)系统由两个无人机组成，其中信息采集与语音无人机中扬声器负责提醒车祸人员各种注意事项，视觉相机负责从多个角度拍摄同一场景图片，并按序号进行保存并上传边缘云进行处理；警示无人机负责警示后方车辆及人员，避免事故的二次发生。
29.(2)系统由三个无人机组成，其中信息采集与语音无人机中扬声器负责提醒车祸人员各种注意事项，视觉相机负责从多个角度拍摄同一场景图片，并上传边缘云进行处理；医疗无人机负责投放急救包，及时进行应急处理；警示无人机负责警示后方车辆及人员，避免事故的二次发生。
30.所述5g传输子系统是利用5g边缘计算的计算和存储资源都比较小的优点，使用超融合服务器来部署具有精简功能的云平台，它可以快速传输数据，有效减少延迟。
31.所述交通事故管理云子系统包括无人机调度模块、三维重建模块和生命体征检测模块。其中，无人机调度模块与三维重建模块和生命体征检测模块相连；三维重建模块和生命体征检测模块并列。交通事故管理云子系统是管理整个系统的控制中心，可以进行人机配合，通过对无人机调度模块、三维重建模块以及生命体征检测模块发送的数据分析，利用
自主指令或人机结合指令下达命令，对交通事故统筹处理。
32.所述交通事故管理云子系统中的无人机调度模块是基于对整个交通区域无人机的部署进行调度。相关人员控制起飞，到达事故地点处理事故，自主返航。
33.所述交通事故管理云子系统中的三维重建模块是利用sfm方法根据事故现场及相关周边环境重建3d模型；具体模型包括事故车辆模型，事故车辆模型包括事故车辆的具体撞击点、摩擦点等细节；交通引导或限制标志模型，包括事故现场周围一定距离的交通标线、树木、栏杆以及其他现场实物。
34.所述交通事故管理云子系统中的生命体征检测模块是通过对事故现场一定范围内搜寻，对事故车辆司机及所载人员进行检测，包括基于光电容积脉搏波描记原理,结合独立成分分析，利用人面部变化进行心率检测；基于透皮光学成像技术进行血压检测，根据表面分析进行初步判断伤员出血量以及是否休克情况，并初步判断伤员受伤部位。
35.与传统基于无人机辅助的交通事故处理系统相比，本发明提供的一种基于边缘计算的无人机交通事故处理系统具备以下优点：
36.(1)智能化。本发明基于边缘计算的无人机交通事故处理全过程并不需要人员的过多参与，相对于管理人员来说，类似于一种“点到点”的方式来处理事故，一旦事故发生，相关人员只需要关注手中的结果。
37.(2)响应速度快。本发明基于5g的数据传输和边缘云的加入，数据的传输延迟将会很大程度上降低，可以更迅速地处理任务。
38.(3)新型处理系统。本发明将无人机与三维重建技术和生命体征检测等前沿技术结合，结合5g与边缘计算的优点，形成一个新型交通事故处理系统。
附图说明
39.图1为本发明一种基于边缘计算的无人机交通事故处理系统组成框图。
40.图2为本发明一种基于边缘计算的无人机轻微交通事故处理系统过程图。
41.图3为本发明一种基于边缘计算的无人机严重交通事故处理系统过程图。
42.图4本发明无人机子系统中不同功能的无人机外观示意图。
43.图5为本发明5g传输子系统过程图。
44.图6为本发明无人机子系统中白天普通道路无人机配合场景图。
45.图7为为本发明交通事故管理云子系统三维重建模块中sfm方法的步骤图与车祸场景的结果示意图。
46.图8为本发明交通事故管理云子系统生命体征检测模块中prg的处理步骤图。
47.图中标记：无人机子系统1、5g传输子系统2、交通事故管理云子系统3、无人机调度模块3-1、三维重建模块3-2、生命体征检测模块3-3、信息采集与语音无人机相机1-1、信息采集与语音无人机扬声器1-2、信息采集与语音无人机扬声器1-3、信息采集与语音无人机相机1-4、警示无人机警示灯1-5、警示无人机扬声器1-6、医疗无人机急救包1-7、无人机2-1、5g基站2-2、边缘云子系统2-3、终端设备2-4。
具体实施方式
48.下面结合具体实施方式对本专利的技术方案作进一步的详细说明。
49.实施例：如图1所示，一种基于边缘计算的无人机交通事故处理系统，包括无人机子系统1、5g传输子系统2以及交通事故管理云子系统3。其中交通事故管理云子系统3包括无人机调度模块3-1、三维重建模块3-2、生命体征检测模块3-3。
50.无人机子系统1与5g传输子系统2相连；5g传输子系统2相连与交通事故管理云子系统3相连。其中交通事故管理云子系统3中无人机调度模块3-1与三维重建模块3-2和生命体征检测模块3-3相连；三维重建模块3-2和生命体征检测模块3-3并列。
51.所述一种基于边缘计算的无人机交通事故处理系统过程可以分为两种事故场景：
52.(1)如图2，较轻事故场景，过程如下：
53.步骤s11：当发生交通事故时
①
，事故较轻，无人员伤亡或受伤较轻，但由于事故责任问题无法当场解决，求助相关人员。
54.步骤s12：交管指挥中心
②
接收到求助，确定相关事故信息(例如：位置信息)。
55.步骤s13：指挥中心通过5g基站
③
调度距离较近无人机到达现场。
56.步骤s14：其中信息采集与语音无人机
④
开始利用相机1-1拍摄场景，同时通过扬声器1-2不断提醒事故人员注意事项，并利用5g传输子系统2将信息传至边缘设备
⑥
，与此同时，警示无人机
⑤
飞向事故车辆后方通过灯光1-5闪烁以及扬声器1-6不断提醒后方车辆前方发生事故，场景拍摄完成后，利用扬声器1-2提醒相关人员将事故车辆驶出交通道路，在路边等待相关人员来处理，避免造成交通堵塞。
57.步骤s15：边缘设备
⑥
接收数据后，开始利用sfm算法进行三维重建，复现事故现场三维模型，并利用5g技术将结果传至相关设备
⑦
。
58.步骤s16：相关人员接收到结果后，控制中心
②
对责任判定进行初步分析，相关人员到达现场后再进行最终责任判定。
59.步骤s17：无人机返回仓库。
60.(2)如图3，较重事故场景，过程如下：
61.步骤s21：当发生交通事故
①
时，事故较重，有人员伤亡或受伤较重，求助交警。
62.步骤s22：交管指挥中心
②
接收到求助，确定相关事故信息(例如：位置信息)。
63.步骤s23：指挥中心通过5g基站
③
调度距离较近无人机到达现场。
64.步骤s24：其中信息采集与语音无人机
④
开始利用相机1-1拍摄场景同时进行摄像，并利用5g传输子系统2将信息传至边缘设备
⑦
，与此同时，警示无人机
⑤
飞向事故车辆后方通过灯光1-5闪烁以及扬声器1-6不断提醒后方车辆前方发生事故；同时医疗无人机
⑥
释放急救包。信息采集与语音无人机
④
场景拍摄完成后，上传数据到边缘设备
⑦
交至交通事故管理云子系统3进行处理。
65.步骤s25：交通事故管理云子系统3接收数据后，根据信息采集与语音无人机
④
所上传视频利用生命体征检测模块3-3获取生命体征数据，进行120求助并简单说明相关情况并发送检测到的生命体征数据，让医务人员了解相关情况并做出准备。同时，接收到信息采集与语音无人机
④
数据后，利用三维重建模块3-2中的sfm算法进行三维重建，复现事故现场三维模型，并将结果传至相关设备
⑧
。
66.步骤s26：相关人员接收到结果后，控制中心对事故现场情况进行初步分析，同时做出相关人员部署，相关人员到达现场后及时进行救援。
67.步骤s27：无人机返回仓库。
68.所述无人机子系统1，主要用于场景拍摄、人员提醒与交通疏导。图4为本发明无人机子系统中不同功能的无人机外观示意图，图4(a)为信息采集与语音无人机正面图，相机1-1负责拍摄场景图片以及摄像，扬声器1-2负责播放提醒信息；图4(b)为信息采集与语音无人机侧面图，扬声器1-3负责播放提醒信息；图4(c)为信息采集与语音无人机侧面图，相机1-4负责拍摄场景图片以及生命体征检测；图4(d)为无人机上方图，无人机由4片螺旋桨组成；图4(e)为警示无人机正面图，警示灯1-5负责警示后方车辆，3个警示灯不停闪烁以达到警示作用，扬声器1-6负责播放提醒信息；图4(f)为医疗无人机正面图，急救包1-7可以由无人机下放。
69.所述5g传输子系统2，主要用于数据的快速传输。图5为本发明5g传输子系统过程图，具体传输顺序过程如下：
70.步骤s201:无人机2-1通过5g上传数据至5g基站2-2。
71.步骤s202：5g基站2-2转发数据至边缘云2-3，同时边缘云2-3也可发送指令或者数据通过基站2-2转发给无人机2-1。
72.步骤s203：边缘云通过5g基站2-2将指令或者数据发给终端2-4。
73.所述交通事故管理云子系统3包括无人机调度模块3-1、三维重建模块3-2和生命体征检测模块3-3。
74.所述无人机调度模块3-1，用于多个无人机的调控。无人机调度模块3-1可分为无人机起飞、配合、返回三个步骤，无人机起飞与返回可由相关人员操控，也可以自主返航，多无人机协同可以分为路径规划与无人机协同。
75.无人机路径规划步骤如下：
76.步骤s311：控制中心根据求助电话获取事故位置，通过5g将定位信息传输给无人机。
77.步骤s312：无人机收到数据，确定终点，规划路径，无人机的轨迹规划将会涉及x(t),y(t)和z(t)三个维度的应用，位移函数r(t)可以表示为：
[0078][0079]
式中，x(t)代表横轴坐标，,y(t)代表纵轴坐标，z(t)代表竖轴坐标，空间内的将起点到终点的路径划分为n+1个航点(包括起点与终点在内)，n代表航点数量，在时刻t(k),飞行器需要到达事前定义好的第k个航点rk。对应于k＝1的r1即代表飞行的起点，对应于k＝n+1的r
n+1
即代表飞行的终点。本发明将航点记为:
[0080][0081]
式中，rk(tk)代表航点的集合向量，xk代表第k个航点的横轴坐标，yk代表第k个航点的纵轴坐标，zk代表第k个航点的竖轴坐标。
[0082]
步骤s313：规划路径分为n段，利用加加速度最小化方法求解每段中的参数方程。
[0083]
步骤s314：参数求解，确定轨迹。
[0084]
在无人机飞行过程，从一个航点到达另一个航点过程中添加无人机自主避障系统。
[0085]
图6为本发明无人机子系统3-1中白天普通道路无人机配合场景图，任务分配取决于每个无人机具有的功能，无人机u1,u2,u3设定如下：u1为信息采集与语音无人机
①
，u2为警示无人机
②
，u3为医疗无人机
③
：
[0086]
为了无人机之间的安全，u1,u2之间距离d
12
规定d
12
≥1，其中单位为米；
[0087]
为了有效提醒后方车辆，极大的避免事故的二次发生，u3距离事故点的距离d3规定：
[0088]
若在普通道路发生事故，白天d3≥50，夜晚d3≥150，单位为米。
[0089]
若在高速公路上发生事故，白天d3≥150，夜晚d3≥250，单位为米。
[0090]
所述三维重建模块3-2，用于数据处理，构建三维场景模型。图7模块图为本发明交通事故管理云子系统三维重建模块中sfm方法的步骤图，sfm(structure-from-motion)方法是一种基于各种收集到的无序图片进行三维重建的离线算法，具体步骤如下：
[0091]
步骤s321：对无人机拍摄的每张场景图片检测特征点，并提取特征点的特征描述。
[0092]
步骤s322：对每对图片中的特征点进行匹配，建立特征点在场景图片中的轨迹，并除去不满足几何约束的匹配，采用匹配的方法为欧式距离，特征向量计算方法为：
[0093]fnn
＝arg minf′
∈f(j)
||f
d-f
′d||2ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
公式(3)
[0094]
式中，f
nn
代表特征向量，f(i)表示图像i周围的特征点。fd代表特征点坐标，f
′d表示偏离点坐标，为对于每一个图像i和j，考虑每一个特征f
‘
∈f(i)找到最近邻的特征向量f
nn
∈f(j)。
[0095]
步骤s323：对无人机上的相机得到它的内部参数，例如焦距、像素等。
[0096]
步骤s324：获取拍摄每张图的外部参数，例如相机的平衡、平移参数等。
[0097]
步骤s325：通过步骤3与步骤4所得到的参数，利用三角化计算得到不同点的三维坐标，得到稀疏的重建。
[0098]
步骤s326：对结果进行优化，通过调整相机参数的估计值和三维点的坐标，使三维点反向投影回图像时的误差最小化，优化方程可以描述为：
[0099][0100]
其中g(c,x)为优化后的目标，w
ij
表示相机是否观察到轨迹，若观察到w
ij
＝1，反之，w
ij
＝0，q
ij
表示估计值点坐标，p(ci,xj)为三维点坐标，其中，ci表示横坐标集合，xj表示纵坐标集合，q
ij-p(ci,xj)是摄像机i中的轨迹j的投影误差累积和。
[0101]
图7实物图为本发明交通事故管理云子系统3三维重建模块3-2中一个车祸场景的结果示意图，从不同角度拍摄照片，利用sfm方法重新构建3d模型。
[0102]
所述生命体征检测模块3-3，用于人员生命体征的检测以及辅助救援。生命体征检测模块3-3包括基于光电容积脉搏波描记原理,结合独立成分分析，利用人面部变化进行心率检测，基于透皮光学成像技术进行血压检测，根据表面分析进行初步判断伤员出血量以及是否休克情况，并初步判断伤员受伤部位。
[0103]
图8表示的是本发明交通事故管理云子系统3生命体征检测模块3-3中prg的处理步骤图，光电容积脉搏波描记(prg)是采用iled光源和探测器为基础,测量经过人体血管和组织反射、吸收后的衰减光,描记出血管的搏动状态并测量脉搏波。具体步骤如下：
[0104]
步骤s331：视频采集。通过无人机相机1-1采集视频，并上传数据至交通事故管理云子系统3上。
[0105]
步骤s332：数据预处理。在交通事故管理云子系统3中，对上传视频数据进行初步处理。
[0106]
步骤s333：多线程运算。在交通事故管理云子系统3中，采用并行处理，利用多线程技术进行运算，提高计算速度。
[0107]
步骤s334：心率检测。得到检测结果。
[0108]
基于透皮光学成像技术进行血压检测是根据无人机拍摄的视频，利用透皮光学成像技术来监测面部血流变化，在机器学习算法和血压计算模型的基础上最终量出血压。
[0109]
综上，本发明涉及一种基于边缘计算的无人机交通事故处理系统，提供一种基于多种不同类型的无人机的无人机子系统，利用相机、扬声器、警示灯等实现了摄像、播放语音、提醒等功能；5g传输子系统，利用5g进行数据传输，并利用5g边缘计算的计算和存储资源构建云平台，实现任务低延迟传输与处理；交通事故管理云子系统，提供基于一种无人机的智能调度的无人机调度模块，实现无人机的智能部署；提供一种使用sfm方法的三维重建模块，实现3d场景重建；提供一种基于光电容积脉搏波描记原理与透皮光学成像技术的生命体征检测模块，实现对事故人员进行生命体征检测；基于边缘计算的无人机交通事故处理系统利用无人机快速监测的优点结合计算机视觉技术，高效的辅助相关人员处理交通事故，可应用于各种通行道路，实现交通事故高效处理。
[0110]
以上所述内容，仅为本发明较好的具体实施方式。以上各实施例仅用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换都应涵盖在本发明的保护范围之内。