面向交通非现场执法的多无人机联合任务规划方法和系统

1.本发明涉及无人机技术领域，具体涉及一种面向交通非现场执法的多无人机联合任务规划方法和系统。


背景技术：

2.城市道路监管存在诸多实际的困难，例如：由于覆盖不足以及角度的限制，难以通过固定的监控摄像头捕捉事故违法细节；道路拥堵等通行能力限制导致执法取证难以快速进行；违法识别设备难以覆盖整个交通网络，存在盲区等。为解决上述问题，无人机逐步融入到交通非现场执法的过程中，无人机作为一种新型的交通非现场执法平台，能够在极短的时间内快速抵达辖区道路，对道路交通情况进行实时监控和对违法行为进行抓拍，同时利用无人机自身的优势对路网上的盲区进行全面覆盖，以高空视角对违法行为进行全方位的抓拍。
3.然而，现有的无人机在交通非现场执法上的应用还停留在现场手动摇控的阶段，没有融入到整个交通非现场执法管理过程中，具体过程较为繁琐，导致整个执法效率较低，即现有的无人机在交通非现场执法上的应用没有系统性的管理，导致整个执法效率较低。


技术实现要素：

4.(一)解决的技术问题
5.针对现有技术的不足，本发明提供了一种面向交通非现场执法的多无人机联合任务规划方法和系统，解决了现有的无人机在交通非现场执法上的应用没有系统性的管理这一技术问题。
6.(二)技术方案
7.为实现以上目的，本发明通过以下技术方案予以实现：
8.第一方面，本发明提供一种面向交通非现场执法的多无人机联合任务规划方法，所述方法包括：
9.获取交通非现场执法任务数据；
10.基于交通非现场执法任务数据生成无人机飞行任务池；
11.基于预设的任务优化模型和求解算法对无人机飞行任务池中的任务进行处理，生成每架无人机的飞行任务序列；
12.基于飞行任务序列生成飞行指令，将所述飞行指令下发。
13.优选的，所述预设的任务优化模型，包括：目标函数和约束条件；
14.所述目标函数采用公式(1)表示：
[0015][0016]
所述约束条件采用公式(2)至(7)表示：
[0017][0018][0019][0020][0021][0022]
x
ijk
∈{0，1}
ꢀꢀ
(7)
[0023]
其中：公式(2)表示要求每架无人机的飞行时长不可大于其安全飞行时间；公式(3)表示每个任务点仅需被观测一次；公式(4)表示所有无人机的起降位置为某个中心点的位置；公式(5)表示路径网络流守恒约束；公式(6)表示消除子路径；公式(7)表示决策变量取值约束；
[0024]
v表示任务点集合v＝{0,1,2,...,n}，n＝|v|；ui表示访问节点i在路径中的顺序；e表示任务点间道路集合e＝{(i,j)|i≠j,ij∈v}；qi表示任务点i需要被观测的时间，i∈v；c表示中心点的集合；d
ij
表示从任务点i到任务点j的距离，i,j∈v；k表示无人机k的集合k＝{1,2,3,...,m}，m＝|k|；q0表示中心点被观测时间恒为0；vk表示第k个无人机的平均飞行速度，k∈k；tk表示第k个无人机的最大飞行时间，k∈k；t表示所有无人机的总用时；x
ijk
表示0,1变量，当无人机k从节点vi到达节点vj时，x
ijk
＝1,i,j∈v,k∈k。
[0025]
优选的，所述交通非现场执法任务数据包括：任务数据信息、交通路网历史事故发生数据、无人机数据信息和路段数据信息。
[0026]
优选的，所述基于交通非现场执法任务数据生成无人机飞行任务池，包括：
[0027]
基于交通非现场执法任务数据获取交通路网历史易发生事故点，根据交通路网历史易发生事故点生成任务点，并将所述任务点放入无人机飞行任务池中。
[0028]
优选的，所述方法在将所述飞行指令下发之后，还包括：接收无人机执行任务过程信息，生成违法处置报告。
[0029]
优选的，所述接收无人机执行任务过程信息，生成违法处置报告，包括：
[0030]
接收无人机执行任务过程信息，无人机执行任务过程信息中包括违法画面时，判断违法画面中车牌信息、交通信号及标线是否清晰、完整，若是，则通过图像分析技术识别画面中的违法信息；通过违法信息获取到对应公安部公开的违法代码，所述违法信息和违法代码形成违法数据，将违法数据叠加到违法画面上，形成违法依据；基于所述违法依据和所述违法数据生成违法处置报告。
[0031]
优选的，所述方法在接收无人机执行任务过程信息之前，还包括：
[0032]
无人机携带摄像头在任务点悬停并进行拍摄任务，在拍摄的过程中，飞手警员实时查看无人机的拍摄内容，当发现违法车辆时，点击抓拍按钮，系统自动截取点击动作前后3秒时间范围内无人机摄像头对违法车辆进行拍摄的内容，并且抽取这3秒内60帧的图片保存并上传。
[0033]
优选的，所述方法还包括：并对所述任务执行信息进行处理，得到统计数据。
[0034]
优选的，所述飞行指令包括任务编号、执飞无人机编号、任务点访问顺序、任务点经度、任务点纬度、任务类型和任务开始时间。
[0035]
第二方面，本发明提供一种面向交通非现场执法的多无人机联合任务规划系统，包括：
[0036]
数据获取模块，用于获取交通非现场执法任务数据；
[0037]
任务池生成模块，用于基于交通非现场执法任务数据生成无人机飞行任务池；
[0038]
任务序列生成模块，用于基于预设的任务优化模型和求解算法对无人机飞行任务池中的任务进行处理，生成每架无人机的飞行任务序列；
[0039]
指令生成模块，用于基于飞行任务序列生成飞行指令，将所述飞行指令下发。
[0040]
(三)有益效果
[0041]
本发明提供了一种面向交通非现场执法的多无人机联合任务规划方法和系统。与现有技术相比，具备以下有益效果：
[0042]
本发明的一种面向交通非现场执法的多无人机联合任务规划方法和系统，通过获取交通非现场执法任务数据；基于交通非现场执法任务数据生成无人机飞行任务池；基于预设的任务优化模型和求解算法对无人机飞行任务池中的任务进行处理，生成每架无人机的飞行任务序列；基于飞行任务序列生成飞行指令，将所述飞行指令下发。该方法将无人机的执法过程融入到整个交通非现场执法管理过程中形成完整的任务闭环，对无人机的执法进行系统性的管理，提升执法效率。
附图说明
[0043]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0044]
图1为一种面向交通非现场执法的多无人机联合任务规划方法的框图。
具体实施方式
[0045]
为使本发明实施例的目的、技术方案和优点更加清楚，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0046]
本技术实施例通过提供一种面向交通非现场执法的多无人机联合任务规划方法和系统，解决了现有的无人机在交通非现场执法上的应用没有系统性的管理，实现将无人机全面应用于该过程中，并对交通非现场执法全过程进行监管，同时对执法过程中产生数据进行分析，形成完整的任务闭环，从而在完成交通非现场执法任务的同时提高交通执法效率。
[0047]
本技术实施例中的技术方案为解决上述技术问题，总体思路如下：
[0048]
现有的无人机在交通非现场执法上的应用还停留在现场手动摇控的阶段，没有融入到整个交通非现场执法管理过程中，具体过程较为繁琐，导致整个执法效率较低。本发明
实施例将无人机与交通非现场执法过程相结合，将无人机全面应用于交通非现场执法的整个过程中，并对交通非现场执法全过程进行监管，同时对执法过程中产生数据进行分析，形成完整的任务闭环，对无人机的执法进行系统性的管理，从而在完成交通非现场执法任务的同时提高交通执法效率。
[0049]
为了更好的理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。
[0050]
本发明实施例提供一种面向交通非现场执法的多无人机联合任务规划方法，如图1所示，包括以下步骤：
[0051]
s1、获取交通非现场执法任务数据；
[0052]
s2、基于交通非现场执法任务数据生成无人机飞行任务池；
[0053]
s3、基于预设的任务优化模型和求解算法对无人机飞行任务池中的任务进行处理，生成每架无人机的飞行任务序列；
[0054]
s4、基于飞行任务序列生成飞行指令，将所述飞行指令下发。
[0055]
本发明实施例将无人机的执法过程融入到整个交通非现场执法管理过程中形成完整的任务闭环，对无人机的执法进行系统性的管理，提升执法效率。
[0056]
下面对各个步骤进行详细描述。
[0057]
在步骤s1中，获取交通非现场执法任务数据。具体实施过程如下：
[0058]
在具体实施过程中，该方法通过交通管理系统(硬件平台)执行，交通非现场执法任务数据包括多个数据信息：任务数据信息、警员数据信息、交通路网历史事故发生数据、无人机数据信息和路段数据信息等。
[0059]
其中：
[0060]
警员数据信息包括：飞手警员编号、飞手警员状态信息(空闲、任务中、休假)等。
[0061]
无人机数据信息包括：无人机编号、无人机类型、无人机状态信息(空闲、任务中、充电中)等。
[0062]
交通路网历史事故发生数据包括：历史交通事故发生点的经度、纬度、所属辖区和所属路段等数据。
[0063]
在步骤s2中，基于交通非现场执法任务数据生成无人机飞行任务池。具体实施过程如下：
[0064]
基于交通非现场执法任务数据获取交通路网历史易发生事故点，根据交通路网历史易发生事故点生成任务点，并将所述任务点放入无人机飞行任务池中。任务点包括任务点中包括经度、纬度、所属辖区、和所属路段等信息。
[0065]
无人机任务主要包括：无人机数据信息、警员数据信息和任务数据信息。
[0066]
在步骤s3中，基于预设的任务优化模型和求解算法对无人机飞行任务池中的任务进行处理，生成每架无人机的飞行任务序列。具体实施过程如下：
[0067]
通过建立如下问题模型进行描述：
[0068]
以无人机飞行总时间最短为目标函数：
[0069][0070]
此问题模型就是在满足以下约束条件的前提下，规划无人机路径x
ijk
使得目标公
式(1)最小。
[0071]
如约束条件(2)所示，考虑到无人机飞行过程中有安全电量限制，所以要求每架无人机的飞行时长不可大于其安全飞行时间：
[0072][0073]
如约束条件(3)所示，在无人机执行任务过程中，每个任务点仅需被观测一次，若某个任务点在本次任务中已被观测到，当另外的无人机经过该任务点时，可以直接飞离，无需在此任务点停留，即：
[0074][0075]
如约束条件(4)所示，此问题模型将交警指挥中心作为中心点，中心点的集合为c，所有无人机的起降位置为某个中心点的位置：
[0076][0077]
如约束条件(5)所示，此约束为保障路径网络流守恒约束：
[0078][0079]
如约束条件(6)所示，消除子旅行路径：
[0080][0081]
如约束条件(7)所示，最后是0，1决策变量的取值约束：
[0082]
x
ijk
∈{0,1}
ꢀꢀ
(7)
[0083]
其中：v表示任务点集合v＝{0,1,2,...,n}，n＝|v|；ui表示访问节点i在路径中的顺序；e表示任务点间道路集合e＝{(i,j)|i≠j,ij∈v}；qi表示任务点i需要被观测的时间,i∈v；c表示无人机起飞/降落点的集合即中心点的集合；d
ij
表示从任务点i到任务点j的距离,i,j∈v；k表示无人机k的集合k＝{1,2,3,...,m}，m＝|k|；q0表示中心点被观测时间恒为0(q0＝0)；vk表示第k个无人机的平均飞行速度,k∈k；tk表示第k个无人机的最大飞行时间,k∈k；t表示所有无人机的总用时；x
ijk
表示0,1变量，当无人机k从节点vi到达节点vj时，x
ijk
＝1,i,j∈v,k∈k。
[0084]
通过以上约束条件及目标函数可以确定面向交通非现场执法的多无人机联合任务规划问题的基础数学模型。
[0085]
在本发明实施例中，通过算法库对模型进行求解。该算法库包括多种无人机交通非现场执法路径规划算法，其中包含大量启发式算法(如遗传算法)，并使用这些启发式算法作为路径规划的基础优化算法。在接收任务的相关信息后，通过运用算法库来对上述信息进行分析与处理，利用上述建模中的各项约束条件，将其分成多个任务，并运用合适的适应度函数从所有结果中找出最符合模型最优的结果，作为多无人机任务分配和航迹规划的结果，从而将任务分为符合模型的多个任务，并规划出多个任务供无人机去执行。
[0086]
算法分割成了多份，其中包括运行库，信息库以及算法库，可以根据修改引用的算法库来对优化算法进行修改，即可以使用不同的算法(如遗传算法、蚁群算法等)。
[0087]
需要说明的是，在具体实施过程中，所述方法还包括：最终的计算结果交由指挥坐席的警员进行审核，若审核通过，则将该计算结果生成飞行任务序列，并进入任务分配阶
段。若对当前计算结果不满意，则更换算法库中的算法对任务进行重新拆分。
[0088]
在步骤s4中，基于飞行任务序列生成飞行指令，将所述飞行指令下发。具体实施过程如下：
[0089]
根据飞行任务序列生成飞行指令，并对飞行指令进行下发。飞行指令包括任务编号、执飞无人机编号、任务点访问顺序、任务点经度、任务点纬度、任务类型和任务开始时间。
[0090]
在具体实施过程中，交通管理系统还需为无人机执行任务是匹配飞手警员，飞手警员状态分为任务中和空闲，伴随所接收的任务状态信息(未分配，任务中，结束相互转换)，当警员状态信息为空闲时才可接收任务，选取状态为空闲的警员与执飞无人机编号进行匹配，由交警大队根据任务类型选定任务过程中无人机所需要携带的载荷。载荷具体可分为红外热像仪、景深摄像头、喊话器、测速仪等。红外热像仪载荷的搭载可以让无人机在夜间及恶劣的环境下，针对特殊交通事件进行追踪监控，通过捕捉热量，隐蔽并快速发现目标。景深摄像头、喊话器和测速仪这些载荷能够良好地应用常规的交通非现场执法事件中，配合无人机的使用更灵活地完成交通监控，协助交警高效地进行交通非现场执法。
[0091]
在本发明实施中，所述方法还包括：s5、接收无人机执行任务过程信息，生成违法处置报告。具体实施过程如下：
[0092]
在具体实施过程中，接收无人机执行任务过程信息之前，无人机需先执行任务，s500、无人机携带摄像头在任务点悬停并进行拍摄任务，在拍摄的过程中，飞手警员实时查看无人机的拍摄内容，当发现违法车辆时，点击抓拍按钮，系统自动截取点击动作前后3秒时间范围内摄像头对违法车辆进行拍摄的内容，并且抽取这3秒内60帧的图片保存并上传。具体为：
[0093]
飞行指令下发后，飞手警员与无人机协同执行任务。以违法抓拍的飞行任务序列为例，无人机需配备景深摄像头并根据交通管理系统生成的飞行指令到达任务点悬停并进行拍摄任务，在拍摄的过程中，飞手警员实时查看无人机的拍摄内容，当发现违法车辆时，点击抓拍按钮，系统自动截取点击动作前后3秒时间范围内摄像头对违法车辆进行拍摄的内容，并且抽取这3秒内60帧的图片保存上传到与之对应的任务详情中。抽取的图片与任务编号关联，每个任务编号可对应多帧数图片。
[0094]
需要说明的是，飞手警员随时监控无人机的执行任务情况，当无人机出现偏离航线、信号丢失、电量不足，机身受损等意外状况时立即夺取无人机的控制权，进行紧急处理以保证无人机及交通路段安全。完成任务后无人机按照交通管理系统规划的路线，待无人机返回交警中心之后进行回收并充电，将无人机信息状态实时更新于交通管理系统中，待电量健康后可由交警大队再次分配飞行任务序列。
[0095]
交通管理系统接收上述无人机执行任务过程信息，执行任务信息中包括违法画面时，判断违法画面中车牌信息、交通信号及标线是否清晰、完整，若是，则通过图像分析技术识别画面中的违法信息；通过违法信息获取到对应公安部公开的违法代码，所述违法信息和违法代码形成违法数据，将违法数据叠加到违法画面上，形成违法依据；基于所述违法依据和所述违法数据生成违法处置报告。具体包括：
[0096]
s501、违法行为证据校验，具体包括：
[0097]
交通管理系统判断违法画面中车牌信息是否清晰、完整，且相关交通信号及标线
是否清晰、完整，若通过判断，则证明该违法画面拍摄有效，进入到违法信息叠加步骤。
[0098]
s502、违法信息叠加，具体包括：
[0099]
通过图像分析技术识别画面中的车牌号及违法类型。通过违法类型搜索到对应公安部公开的违法代码。将拍摄时间、拍摄地点、方向、无人机编号、执飞警员编号叠加到画面左上角。将违法代码、违法类型、车牌号叠加在画面左下角，叠加后为违法依据。上述拍摄时间、拍摄地点、方向、无人机编号、执飞警员编号、违法类型、车牌号为违法信息，该违法信息和违法代码构成违法数据。
[0100]
s503、违法处置报告上传，具体包括：
[0101]
将违法依据和违法数据一同生成违法依据报告(具体要求可参照832标准)，并上传到交通管理部门的相应系统中。
[0102]
在具体实施例过程中，所述方法还包括：s6、对所述任务执行信息进行处理，得到统计数据。具体实施过程如下：
[0103]
无人机执行飞行任务序列后，将执行任务中的任务执行信息(如图像)发送给交通管理系统，交通管理系统接收无人机的任务执行信息。对所述任务执行信息进行处理，得到统计数据。具体实施过程如下：
[0104]
数据统计是针对任务结束之后，从无人机、任务、警员、区域等角度对数据进行分析处理，对任务执行结果进行综合评价。
[0105]
从无人机的角度分析：无人机执行的任务数及任务类型，无人机在执行任务过程中的抓拍情况、经过的任务点的个数、出现故障的次数及类型。抓拍情况是指是否抓拍到违法行为，抓拍到的违法类型(应急车道违停、违法停车、压实线变道、加塞等)及相应次数。无人机出现的故障有偏离航线、无法定点悬停、起飞侧倾、无法起飞、自动返航等。以上数据可以用条形图进行展示，能够直观地反映出各个数据的大小且易于比较数据之间的差别。
[0106]
从任务的角度分析：主要是一个任务下的总任务数、已完成的任务数、未完成的任务数。用饼状图对单个时间点任务进行展示，能够直观的看到各部分任务数所占的比例；用折线图对多个时间点的任务情况进行展示，反映出一段时间内各部分任务数的变化趋势。
[0107]
从警员的角度分析：一个警员在某个时间段内执行的任务数。
[0108]
从区域的角度分析：一个区域内的多条路段中，每条路段发现违法行为的次数及类型、容易发生违法行为的路段。结合条形图、扇形图对以上数据进行展示，便于掌握区域内的整体情况。
[0109]
本发明实施例还提供一种面向交通非现场执法的多无人机联合任务规划系统，包括：
[0110]
数据获取模块，用于获取交通非现场执法任务数据；
[0111]
任务池生成模块，用于基于交通非现场执法任务数据生成无人机飞行任务池；
[0112]
任务序列生成模块，用于基于预设的任务优化模型和求解算法对无人机飞行任务池中的任务进行处理，生成每架无人机的飞行任务序列；
[0113]
指令生成模块，用于基于飞行任务序列生成飞行指令，将所述飞行指令下发。
[0114]
可理解的是，本发明实施例提供的一种面向交通非现场执法的多无人机联合任务规划系统与上述一种面向交通非现场执法的多无人机联合任务规划方法相对应，其有关内容的解释、举例、有益效果等部分可以参考一种面向交通非现场执法的多无人机联合任务
规划方法中的相应内容，此处不再赘述。
[0115]
综上所述，与现有技术相比，具备以下有益效果：
[0116]
1、本发明实施例将无人机与交通非现场执法过程相结合，将无人机全面应用于交通非现场执法的整个过程中，并对交通非现场执法全过程进行监管，同时对执法过程中产生数据进行分析，形成完整的任务闭环，对无人机的执法进行系统性的管理，从而在完成交通非现场执法任务的同时提高交通执法效率。
[0117]
2、本发明实施例在任务执行时，无人机通过全面的监控和对抓拍动作前后图像关键帧进行抽取的方式，从而找出作为违法依据的图像信息，实现对违法行为的监控。
[0118]
3、本发明实施例在任务结束之后，可以从无人机、任务、警员、区域等角度对数据进行统计、分析和处理，对任务执行结果进行综合评价，通过当前任务执行的评价结果对未来的违法抓拍任务点进行优化。
[0119]
需要说明的是，通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
[0120]
在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
[0121]
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。