批量任务报错的处理方法及装置、电子设备与流程

文档序号:37943688发布日期:2024-05-11 00:24阅读:15来源:国知局
批量任务报错的处理方法及装置、电子设备与流程

本发明涉及金融科技领域或其他相关,具体而言,涉及一种批量任务报错的处理方法及装置、电子设备。


背景技术:

1、随着线上业务数量的增加,当前各大公司/企业都配置有批量运行平台,用以执行各应用批量任务,在执行批量任务时,难免会遇到各种各样的问题导致批量报错。有的报错可能是上游数据供应存在问题,有的报错可能是服务器资源不足导致宕机,有的报错可能是代码bug导致批量报错。

2、相关技术中,当批量任务存在批量报错时,主要依靠运维人员手动进行处理。当遇到批量问题时,运维联系开发人员,手动查看日志文件,找到问题对应日志,依据问题日志定位问题原因,再针对性地进行改进;如果是数据有问题,则先修改问题数据,再重新执行批量任务;如果是代码bug,则开发人员需要编写紧急补丁,修正bug后再重新执行批量任务,现有技术中对批量报错的处理方式对人工操作依赖性大,需要依靠人工来进行批量问题日志查找、定位问题,并由开发人员提出相应解决方案,且响应速度慢,相关报错需要专业人员进行定位、复现、解决,难以及时快速响应。

3、针对上述的问题,目前尚未提出有效的解决方案。


技术实现思路

1、本发明实施例提供了一种批量任务报错的处理方法及装置、电子设备,以至少解决相关技术中,在对批量任务的批量报错进行处理时,对人工操作的依赖性较大,难以快速对批量报错进行响应的技术问题。

2、根据本发明实施例的一个方面,提供了一种批量任务报错的处理方法,包括:获取批量任务执行过程中出现的批量报错信息,以及出现批量报错的批量任务对应的日志信息;从所述批量报错信息和所述日志信息中提取报错特征信息,并对所述报错特征信息进行向量化,得到报错特征向量集合;将所述报错特征向量集合输入至报错分析模型,并输出打分结果和问题信息,其中,在所述打分结果指示所述报错分析模型的打分值小于预设阈值的情况下,触发所述报错分析模型输出问题信息;基于所述问题信息获取每个任务报错的报错原因,并为所述报错原因匹配报错处理策略。

3、可选地,在将所述报错特征向量集合输入至报错分析模型之后,还包括:确定所述报错特征向量集合中的报错特征向量的反馈标签和报错等级;基于所述报错特征向量的反馈标签和报错等级为每个报错特征向量进行打分,并对所述报错特征向量的打分值进行累加得到所述打分结果。

4、可选地,在将所述报错特征向量集合输入至报错分析模型之前,还包括:基于所述批量报错信息中的数据类型为所述报错分析模型设定分析参数。

5、可选地,在获取批量任务执行过程中出现的批量报错信息之前,还包括:采集历史批量任务的历史批量信息和历史批量报错信息,得到历史任务信息;为所述历史任务信息配置反馈标签,其中,所述历史批量信息的反馈标签为正反馈标签,所述历史批量报错信息的反馈标签为负反馈标签;获取所述历史任务信息对应的报错原因;将所述历史任务信息、历史任务信息的反馈标签和所述报错原因存储至历史数据库。

6、可选地,在将所述历史任务信息、历史任务信息的反馈标签和所述报错原因存储至历史数据库之后,还包括:对所述历史批量报错信息进行分类,得到分类信息;基于所述历史批量报错信息的分类信息为所述历史批量报错信息划分等级,得到报错等级;基于所述报错等级对所述历史批量报错信息进行打分,得到所述历史批量报错信息的打分值。

7、可选地,在获取批量任务执行过程中出现的批量报错信息之前,还包括:采集历史批量任务的历史日志信息,其中,所述历史日志信息包括包含报错的历史日志信息和不包含报错的日志信息;为所述历史日志信息配置反馈标签;获取所述历史日志信息对应的报错原因;将所述历史日志信息、反馈标签和所述报错原因存储至历史数据库。

8、可选地,在将所述历史日志信息、反馈标签和所述报错原因存储至历史数据库之后,还包括:对所述历史日志信息进行分类,得到分类信息;基于所述历史日志信息的分类信息为所述历史日志信息划分等级,得到报错等级;基于所述报错等级对所述历史日志信息进行打分,得到所述历史日志信息的打分值。

9、可选地,在获取批量任务执行过程中出现的批量报错信息之前,还包括:基于历史任务信息、历史任务信息对应的报错原因、历史任务信息的反馈标签、历史日志信息、历史日志信息对应的报错原因和历史日志信息的反馈标签作为训练集对所述报错分析模型进行训练。

10、根据本发明实施例的另一方面,还提供了一种批量任务报错的处理装置,包括:获取单元,用于获取批量任务执行过程中出现的批量报错信息,以及出现批量报错的批量任务对应的日志信息;提取单元,用于从所述批量报错信息和所述日志信息中提取报错特征信息,并对所述报错特征信息进行向量化,得到报错特征向量集合;输出单元,用于将所述报错特征向量集合输入至报错分析模型,并输出打分结果和问题信息,其中,在所述打分结果指示所述报错分析模型的打分值小于预设阈值的情况下,触发所述报错分析模型输出问题信息;匹配单元,用于基于所述问题信息获取每个任务报错的报错原因,并为所述报错原因匹配报错处理策略。

11、可选地,所述批量任务报错的处理装置还包括:第一确定模块,用于确定所述报错特征向量集合中的报错特征向量的反馈标签和报错等级;第一打分模块,用于基于所述报错特征向量的反馈标签和报错等级为每个报错特征向量进行打分,并对所述报错特征向量的打分值进行累加得到所述打分结果。

12、可选地,所述批量任务报错的处理装置还包括:第一设定模块,用于基于所述批量报错信息中的数据类型为所述报错分析模型设定分析参数。

13、可选地,所述批量任务报错的处理装置还包括:第一采集模块,用于采集历史批量任务的历史批量信息和历史批量报错信息,得到历史任务信息;第一配置模块,用于为所述历史任务信息配置反馈标签,其中,所述历史批量信息的反馈标签为正反馈标签,所述历史批量报错信息的反馈标签为负反馈标签;第一获取模块,用于获取所述历史任务信息对应的报错原因;第一存储模块,用于将所述历史任务信息、历史任务信息的反馈标签和所述报错原因存储至历史数据库。

14、可选地,所述批量任务报错的处理装置还包括:第一分类模块,用于对所述历史批量报错信息进行分类,得到分类信息;第一划分模块,用于基于所述历史批量报错信息的分类信息为所述历史批量报错信息划分等级,得到报错等级;第二打分模块,用于基于所述报错等级对所述历史批量报错信息进行打分,得到所述历史批量报错信息的打分值。

15、可选地,所述批量任务报错的处理装置还包括:第二采集模块,用于采集历史批量任务的历史日志信息,其中,所述历史日志信息包括包含报错的历史日志信息和不包含报错的日志信息;第二配置模块,用于为所述历史日志信息配置反馈标签;第二获取模块,用于获取所述历史日志信息对应的报错原因;第二存储模块,用于将所述历史日志信息、反馈标签和所述报错原因存储至历史数据库。

16、可选地,所述批量任务报错的处理装置还包括:第二分类模块,用于对所述历史日志信息进行分类,得到分类信息;第二划分模块,用于基于所述历史日志信息的分类信息为所述历史日志信息划分等级,得到报错等级;第三打分模块,用于基于所述报错等级对所述历史日志信息进行打分,得到所述历史日志信息的打分值。

17、可选地,所述批量任务报错的处理装置还包括:第一训练模块,用于基于历史任务信息、历史任务信息对应的报错原因、历史任务信息的反馈标签、历史日志信息、历史日志信息对应的报错原因和历史日志信息的反馈标签作为训练集对所述报错分析模型进行训练。

18、根据本发明实施例的另一方面,还提供了一种电子设备,包括一个或多个处理器和存储器,所述存储器用于存储一个或多个程序,其中,当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现上述任意一项批量任务报错的处理方法。

19、在本公开中,通过以下步骤:先获取批量任务执行过程中出现的批量报错信息,以及出现批量报错的批量任务对应的日志信息,再从批量报错信息和日志信息中提取报错特征信息,并对报错特征信息进行向量化,得到报错特征向量集合,然后将报错特征向量集合输入至报错分析模型,并输出打分结果和问题信息,其中,在打分结果指示报错分析模型的打分值小于预设阈值的情况下,触发报错分析模型输出问题信息,最后基于问题信息获取每个任务报错的报错原因,并为报错原因匹配报错处理策略。

20、在本公开中,对于批量任务过程出现的批量报错信息和日志信息进行采集,通过预先构建的报错分析模型对批量报错信息和日志信息中的特征向量集合进行分析,输出打分值,当打分值大于预设阈值时,触发报错分析模型计算并输问题信息,通过问题信息可以获取报错原因,基于不同的报错原因获取不同的报错处理策略进行处理,可以实现对批量报错信息的自动化处理,加快批量报错的处理效率,无需对每条报错信息都进行问题定位,可以快速响应批量任务的报错,进而解决了相关技术中,在对批量任务的批量报错进行处理时,对人工操作的依赖性较大,难以快速对批量报错进行响应的技术问题。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1