一种自动驾驶日志数据处理方法、装置及相关设备与流程

本技术涉及自动驾驶，更具体地说，是涉及一种自动驾驶日志数据处理方法、装置及相关设备。

背景技术：

1、在自动驾驶场景中，车辆会产生二进制日志存储在多个文件中，每个文件包含多个topic的数据。由于数据的处理耗时较长，在数据处理过程中，可能会出现当前文件未处理完成，进程却遇到异常而退出的情况，导致相关进程恢复后重复处理当前文件中已处理的数据，或者忽略了当前文件中未处理的数据。

技术实现思路

1、有鉴于此，本技术提供了一种自动驾驶日志数据处理方法、装置及相关设备，以实现对自动驾驶日志数据的有效上传。

2、为实现上述目的，本技术第一方面提供了一种自动驾驶日志数据处理方法，包括：

3、判断对象存储中是否包含待上传的日志文件夹的进度文件；

4、若是，基于所述进度文件，从所述日志文件夹中获取目标日志数据，并将所述目标日志数据上传至所述对象存储，以及依据上传进度更新所述进度文件；

5、若否，在所述对象存储中创建对应于所述日志文件夹的进度文件，将所述日志文件夹确定为目标日志数据，并将所述目标日志数据上传至所述对象存储，以及依据上传进度更新所述进度文件；

6、其中，所述日志文件夹和所述目标日志数据均包含至少一个日志文件，每一日志文件包含多个主题数据，所述进度文件用于记载所述日志文件夹中每一日志文件以及每一日志文件下每一主题的处理进度。

7、优选地，将所述目标日志数据上传至所述对象存储，以及依据上传进度更新所述进度文件的过程，包括：

8、遍历所述目标日志数据中的每一日志文件，对于当前遍历到的日志文件：

9、遍历所述日志文件中的每一主题数据，对于当前遍历到的主题数据：

10、判断所述主题数据的总行数是否大于预设行数；

11、若是，将所述主题数据划分成依次拼接的多个数据片段，依次将每一数据片段上传至所述对象存储，并在上传完一个数据片段后，将最新上传完的数据片段的末尾行号作为所述主题数据的偏移量更新至所述进度文件，其中，末端的数据片段的行数不大于所述预设行数，其他数据片段的行数等于所述预设行数；

12、若否，将所述主题数据中的所有数据上传至所述对象存储，并将所述主题数据的末尾行号作为所述主题数据的偏移量更新到所述进度文件中。

13、优选地，基于所述进度文件，从所述日志文件夹中获取目标日志数据的过程，包括：

14、遍历所述日志文件夹中的每一日志文件，对于当前遍历到的日志文件：

15、遍历所述日志文件中的每一主题数据，对于当前遍历到的主题数据：

16、从所述进度文件中读取所述主题数据的偏移量；

17、将所述主题数据中在所述偏移量之后的各行数据确定为所述主题数据中待上传的目标数据；

18、将各日志文件中各主题数据的目标数据，确定为目标日志数据。

19、优选地，将所述目标日志数据上传至所述对象存储，以及依据上传进度更新所述进度文件的过程，还包括：

20、遍历所述目标日志数据中的每一日志文件，对于当前遍历到的日志文件：

21、若所述日志文件中各主题数据均已完成上传，则在所述进度文件中将所述日志文件标记为已完成。

22、优选地，基于所述进度文件，从所述日志文件夹中获取目标日志数据的过程，包括：

23、遍历所述日志文件夹中的每一日志文件，对于当前遍历到的日志文件：

24、基于所述进度文件判断所述日志文件是否被标记为已完成；

25、若否，遍历所述日志文件中的每一主题数据，对于当前遍历到的主题数据：

26、从所述进度文件中读取所述主题数据的偏移量；

27、将所述主题数据中在所述偏移量之后的各行数据确定为所述主题数据中待上传的目标数据；

28、将各日志文件中各主题数据的目标数据，确定为目标日志数据。

29、优选地，所述预设行数为100万。

30、优选地，所述进度文件为字典结构的文件。

31、本技术第二方面提供了一种自动驾驶日志数据处理装置，包括：

32、判断单元，用于判断对象存储中是否包含待上传的日志文件夹的进度文件；

33、续传单元，用于当判断单元判断出对象存储中包含待上传的日志文件夹的进度文件后，基于所述进度文件，从所述日志文件夹中获取目标日志数据，并将所述目标日志数据上传至所述对象存储，以及依据上传进度更新所述进度文件；

34、初传单元，用于当判断单元判断出对象存储中不包含待上传的日志文件夹的进度文件后，在所述对象存储中创建对应于所述日志文件夹的进度文件，将所述日志文件夹确定为目标日志数据，并将所述目标日志数据上传至所述对象存储，以及依据上传进度更新所述进度文件；

35、其中，所述日志文件夹和所述目标日志数据均包含至少一个日志文件，每一日志文件包含多个主题数据，所述进度文件用于记载所述日志文件夹中每一日志文件以及每一日志文件下每一主题的处理进度。

36、本技术第三方面提供了一种自动驾驶日志数据处理设备，包括：存储器和处理器；

37、所述存储器，用于存储程序；

38、所述处理器，用于执行所述程序，实现上述的自动驾驶日志数据处理方法的各个步骤。

39、本技术第四方面提供了一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现如上述的自动驾驶日志数据处理方法的各个步骤。

40、经由上述的技术方案可知，本技术首先判断对象存储中是否包含待上传的日志文件夹的进度文件。其中，所述日志文件夹和所述目标日志数据均包含至少一个日志文件，每一日志文件包含多个主题数据，所述进度文件用于记载所述日志文件夹中每一日志文件以及每一日志文件下每一主题的处理进度。若判断出对象存储中包含待上传的日志文件夹的进度文件，意味着所述日志文件夹之前已经被处理过，并且在上传过程中中止了，需要重新上传，则基于所述进度文件，从所述日志文件夹中获取目标日志数据，可以理解，所述目标日志数据是仍未上传的数据。然后，将所述目标日志数据上传至所述对象存储，以及依据上传进度更新所述进度文件。若判断出对象存储中不包含待上传的日志文件夹的进度文件，则意味着现在是首次处理所述日志文件夹。因此，需要在所述对象存储中创建对应于所述日志文件夹的进度文件，并将整个所述日志文件夹确定为目标日志数据，并将所述目标日志数据上传至所述对象存储，以及依据上传进度更新所述进度文件。本技术实现了当数据上传程序异常退出后，能够从异常退出时的进度处继续上传日志文件夹，无需重复上传已经上传过的数据，且不会忽略尚未被上传的日志数据，保证数据不缺失不重复，实现了日志数据的有效上传。进一步地，各日志文件以及各日志文件中各主题数据的进度均记载在一个进度文件中，且所述进度文件与各日志文件均保存在对象存储中，避免了产生大量的小文件且无需引入外部组件，便于文件管理且对存储系统的性能几乎没有影响。