生成交通事件动态图像的方法与流程

本发明涉及动态图像，更具体地，涉及一种生成交通事件动态图像的方法。

背景技术：

1、随着科技的发展，为了避免人为疏忽所引发的交通事故，提出了自动驾驶技术。自动驾驶技术通过传感器来感测周围环境并可自动导航。而为了增加自动驾驶功能的安全性，需要充分的训练数据集来作为深度学习模型的训练与验证使用。然而，在一般车用训练中，所需训练数据集需要花费大量时间去录制。即，针对每一种场景、每一种天气型态都需要实地去录制。而边角案例(corner-case)更是不容易收集，相关成本也很高。

2、目前在自驾车的训练阶段中的边角案例收集有如下两种方法。方法1：收集实际发生的边角案例视频来做为训练数据集。然而，一般只能通过网络收集行车记录仪的图像，因此筛选成本高，且难以获得高质量且合适的图像。此外，网络收集的实际视频，难以规范图像质量，也无法调整镜头和客制化边角案例。此外，缺少以本车为边角案例的视频。方法2：通过车辆模拟器编排来生成训练数据集。方法2虽然可以客制化图像，然而成本较高。越细致的虚拟图像，其生成所需的时间越多。此外，方法2所获得的图像皆为虚拟图像，真实程度较低，可能会影响后续训练结果。

技术实现思路

1、本发明提供一种生成交通事件动态图像的方法，结合真实场景和虚拟物件，能够在高性价比的情况下提供大量且多元的训练素材。

2、本发明的生成交通事件动态图像的方法，其是利用处理器来执行，所述方法包括：地图对位步骤，将行进动态图像映射的移动轨迹坐标组与电子地图进行地图对位，以从电子地图中获得与移动轨迹坐标组对应的轨迹地图信息组；事件适配步骤，在轨迹地图信息组中取得符合事件轨迹模型的至少一事件地图信息及对应的行进动态图像的多个图像帧信息，并依据事件轨迹模型生成虚拟物件的多个位置信息；图像生成步骤，基于所述图像帧信息在行进动态图像中提取动态图像片段，并基于虚拟物件的位置信息将虚拟物件与动态图像片段进行合成，生成对应于事件轨迹模型的交通事件动态图像。

3、根据本发明的实施例，所述行进动态图像包括数个图像帧，且移动轨迹坐标组包括数个移动轨迹坐标。所述方法还包括：图像对位步骤，取得行进动态图像以及对应的移动轨迹坐标组，并将行进动态图像与移动轨迹坐标组进行时间对位，使得行进动态图像的每一图像帧具有对应的移动轨迹坐标。

4、根据本发明的实施例，所述移动轨迹坐标组包括多个移动轨迹坐标。所述地图对位步骤还包括：在电子地图中决定移动轨迹坐标组所在的地图区块，其中地图区块包括多个路径节点地图信息；将移动轨迹坐标组的多个移动轨迹坐标与这些路径节点地图信息进行比对，以从这些路径节点地图信息中决定多个轨迹地图信息，其中所述多个轨迹地图信息为分别与所述多个移动轨迹坐标相距最短的路径节点地图信息；以及集合所述多个轨迹地图信息生成轨迹地图信息组。

5、根据本发明的实施例，地图对位步骤还包括：在电子地图中决定移动轨迹坐标组所在的地图区块，其中地图区块包括多个路径节点地图信息；将移动轨迹坐标组的多个移动轨迹坐标与所述多个路径节点地图信息进行比对，以从这些路径节点地图信息中决定多个轨迹地图信息，其中这些轨迹地图信息为分别以所述多个移动轨迹坐标为圆心在预定半径范围内的多个路径节点地图信息；以及集合所述多个轨迹地图信息生成轨迹地图信息组。

6、根据本发明的实施例，所述各路径节点地图信息包括路径型态及位置坐标。

7、根据本发明的实施例，所述事件轨迹模型包括物件轨迹、事件类型、事件时段以及事件路径信息，而所述事件适配步骤还包括：在轨迹地图信息组所包括的多个轨迹地图信息中找出符合事件类型及事件路径信息的至少一事件地图信息。

8、根据本发明的实施例，所述事件路径信息包括角度范围、宽度范围以及移动速度范围。

9、根据本发明的实施例，所述事件类型为道路事件或路口事件。

10、根据本发明的实施例，所述一虚拟物件包括至少一虚拟车辆。而事件适配步骤还包括：依据至少一事件地图信息，自移动轨迹坐标组所中取得分别与所述事件地图信息距离最近的移动轨迹坐标，并依据所述取得的移动轨迹坐标取得对应的行进动态图像的所述多个图像帧信息，其中所述多个图像帧信息是图像帧的时间戳；及基于每一个图像帧信息执行：取得对应于图像帧信息的移动轨迹坐标，依据移动轨迹坐标与事件轨迹模型，运算至少一虚拟车辆对应于图像帧信息的位置信息。

11、根据本发明的实施例，所述至少一虚拟车辆对应于图像帧信息的位置信息是相对位置信息。

12、根据本发明的实施例，所述行进动态图像具有一总时间，且所述方法还包括图像长度判断步骤，图像长度判断步骤包括包括：判断所述总时间是否大于或等于事件轨迹模型的事件时段，并且当总时间大于或等于事件时段时执行事件适配步骤，以及当总时间小于事件时段时停止执行事件适配步骤。事件适配步骤还包括在取得所述图像帧信息与所述位置信息后，根据事件时段或最晚的时间戳更新所述总时间。

13、根据本发明的实施例，在事件适配步骤中，是依照时间顺序在轨迹地图信息组的多个轨迹地图信息中，判断所述多个轨迹地图信息是否符合事件类型及事件路径信息，以找出符合事件类型及事件路径信息的至少一事件地图信息，且总时间是自执行判断是否符合的轨迹地图信息对应的图像帧起算的行进动态图像的时间长度。

14、根据本发明的实施例，在事件适配步骤中，当时间最晚的图像帧对应的轨迹地图信息不符合事件类型及事件路径信息时，结束事件适配步骤。

15、根据本发明的实施例，所述图像生成步骤还包括：在由虚拟物件与动态图像片段所合成的动态图像中加入天气效果，以生成所述交通事件动态图像。

16、基于上述，本发明是在实际拍摄的行进动态图像中来提取符合事件轨迹模型的动态图像片段，进而将所述动态图像片段与虚拟物件进行合成来获得交通事件动态图像。因此，可多次利用同一个行进动态图像来获得不同场景下的大量交通事件动态图像。

技术特征：

1.一种生成交通事件动态图像的方法，其是利用处理器来执行，其特征在于，所述方法包括执行以下步骤：

2.根据权利要求1所述的生成交通事件动态图像的方法，其特征在于，所述行进动态图像包括数个图像帧，且所述移动轨迹坐标组包括数个移动轨迹坐标，所述方法还包括：

3.根据权利要求1所述的生成交通事件动态图像的方法，其特征在于，所述移动轨迹坐标组包括多个移动轨迹坐标，所述地图对位步骤还包括：

4.根据权利要求1所述的生成交通事件动态图像的方法，其特征在于，所述移动轨迹坐标组包括多个移动轨迹坐标，且所述地图对位步骤还包括：

5.根据权利要求3所述的生成交通事件动态图像的方法，其特征在于，每一所述多个路径节点地图信息包括路径型态及位置坐标。

6.根据权利要求1所述的生成交通事件动态图像的方法，其特征在于，所述事件轨迹模型包括物件轨迹、事件类型、事件时段以及事件路径信息，而所述事件适配步骤还包括：

7.根据权利要求6所述的生成交通事件动态图像的方法，其特征在于，所述事件路径信息包括角度范围、宽度范围以及移动速度范围。

8.根据权利要求6所述的生成交通事件动态图像的方法，其特征在于，所述事件类型为道路事件或路口事件。

9.根据权利要求6所述的生成交通事件动态图像的方法，其特征在于，所述虚拟物件包括至少一虚拟车辆，而所述事件适配步骤还包括：

10.根据权利要求9所述的生成交通事件动态图像的方法，其特征在于，所述至少一虚拟车辆对应于所述图像帧信息的所述位置信息是相对位置信息。

11.根据权利要求9所述的生成交通事件动态图像的方法，其特征在于，所述行进动态图像具有总时间，所述方法还包括图像长度判断步骤，所述图像长度判断步骤包括：

12.根据权利要求11所述的生成交通事件动态图像的方法，其特征在于，所述事件适配步骤中，是依照时间顺序在所述轨迹地图信息组的所述多个轨迹地图信息中，判断所述多个轨迹地图信息是否符合所述事件类型及所述事件路径信息，以找出符合所述事件类型及所述事件路径信息的所述至少一事件地图信息，且所述总时间是自执行判断是否符合的所述轨迹地图信息对应的图像帧起算的所述行进动态图像的时间长度。

13.根据权利要求12所述的生成交通事件动态图像的方法，其特征在于，所述事件适配步骤中，当时间最晚的所述图像帧对应的所述轨迹地图信息不符合所述事件类型及所述事件路径信息时，结束所述事件适配步骤。

14.根据权利要求1所述的生成交通事件动态图像的方法，其特征在于，所述图像生成步骤还包括：

技术总结
本发明提供一种生成交通事件动态图像的方法。所述方法包括：将行进动态图像映射的移动轨迹坐标组与电子地图进行地图对位，以从电子地图中获得与移动轨迹坐标组对应的轨迹地图信息组；在轨迹地图信息组中取得符合事件轨迹模型的至少一事件地图信息及对应的行进动态图像的多个图像帧信息，并依据事件轨迹模型取得虚拟物件的多个位置信息；基于所述图像帧信息在行进动态图像中提取动态图像片段，并基于虚拟物件的位置信息将虚拟物件与动态图像片段进行合成，生成对应于事件轨迹模型的交通事件动态图像。

技术研发人员：朱宏国,林正华,王升跃,余嘉浩
受保护的技术使用者：财团法人工业技术研究院
技术研发日：
技术公布日：2024/6/23