内容理解模型的自动化迭代部署方法、装置、设备及介质与流程

本技术涉及计算机，具体涉及一种内容理解模型的自动化迭代部署方法、装置、设备及介质。

背景技术：

1、随着互联网技术的不断发展，模型训练和模型应用在自然语言处理、计算机视觉、语音识别等不同的领域中得到了广泛的应用。随着不同领域大数据的融合，为了使模型训练更加准确，在训练过程中常需要采集大量的训练数据，然后对采集的数据进行人工处理等。并且随着业务的使用，在生产过程中也需要不断地优化模型，并重新将新的优化模型部署到生产环境中，目前整个过程均需要人工干预，导致模型的训练和部署过程十分耗时。

技术实现思路

1、有鉴于此，本技术提供一种内容理解模型的自动化迭代部署方法、装置、设备及介质，以便减少模型训练和部署的时间。

2、为实现上述目的，本技术提供的技术方案如下：

3、在本技术第一方面，提供了一种内容理解模型的自动化迭代部署方法，所述方法包括：

4、响应于满足触发训练待处理模型的条件，获取训练样本数据和测试样本数据；

5、基于所述训练样本数据和多种预设模型搜索算法对所述待处理模型进行训练，获取多个优化模型；

6、利用模型集成算法对所述多个优化模型进行模型集成，获取集成后的优化模型；

7、利用所述测试样本数据对所述集成后的模型进行测试，获取评价指标；

8、基于所述评价指标和历史模型的评价指标，确定目标模型，并部署所述目标模型。

9、在一种可能的实现方式中，所述测试样本数据包括正样本标签和/或负样本标签，所述利用所述测试样本数据对所述集成后的优化模型进行测试，获取评价指标，包括：

10、将所述测试样本数据输入到所述集成后的优化模型，获取所述测试样本数据的预测标签；

11、基于所述测试样本数据包括的样本标签和所述预测标签，确定所述评价指标。

12、在一种可能的实现方式中，所述方法还包括：

13、获取所述测试样本数据的预测标签所对应的多个得分；

14、确定所述多个得分的预设分位点所对应的阈值，所述阈值用于判断所述测试样本数据是否为正样本数据；

15、基于多个所述预设分位点所对应的多个阈值确定阈值表。

16、在一种可能的实现方式中，所述集成后的优化模型为二分类模型，所述方法还包括：

17、基于所述二分类模型的多个阈值，确定每个阈值下所述二分类模型所对应的多个评价指标，所述阈值用于判断所述测试样本数据是否为正样本标签数据；

18、基于所述多个评价指标以及所对应的多个阈值确定阈值表。

19、在一种可能的实现方式中，所述方法还包括：

20、获取待处理样本数据；

21、将所述待处理样本数据输入到所述目标模型，获取所述待处理样本数据对应的输出值；

22、基于所述目标模型所对应的阈值表，确定实际分位点所对应的实际阈值；

23、基于所述输出值和所述实际阈值，确定所述待处理样本数据是否为正样本数据。

24、在一种可能的实现方式中，所述方法还包括：

25、获取待处理样本数据；

26、将所述待处理样本数据输入到所述目标模型，获取所述待处理样本数据对应的输出值；

27、基于所述目标模型所对应的阈值表，确定实际评价指标所对应的实际阈值；

28、基于所述输出值和所述实际阈值，确定所述待处理样本数据是否为正样本数据。

29、在一种可能的实现方式中，所述触发训练待处理模型的条件包括如下中的一项或多项：

30、每间隔预设时间段训练所述待处理模型；或者，

31、响应于所述待处理模型的训练样本数据或者测试样本数据有更新。

32、在一种可能的实现方式中，所述训练样本数据和所述测试样本数据的获取过程包括：

33、获取初始样本数据；

34、对所述初始样本数据进行预处理；

35、将经过预处理的样本数据划分为所述训练样本数据和所述测试样本数据；

36、其中，所述对所述初始样本数据进行预处理，包括如下中的一项或多项：

37、对所述初始样本数据进行缺失值补全；或者，

38、对所述初始样本数据进行异常值修正；或者，

39、对所述初始样本数据构建正样本标签或者负样本标签，并按照预设比例对包括正样本标签的样本数据和包括负样本标签的样本数据进行调整。

40、在一种可能的实现方式中，所述方法还包括：

41、响应于接收到第一样本数据，下载所述目标模型，基于所述目标模型对所述第一样本数据进行处理，并对下载所述目标模型的处理线程进行加锁；

42、响应于接收到第二样本数据，基于所述目标模型对所述第二样本数据进行处理，所述第一样本数据与所述第二样本数据属于同一批次的样本数据；

43、以此类推，直至接收到所述同一批次的样本数据中的所有数据，释放所述处理线程的锁。

44、在一种可能的实现方式中，当所述目标模型不是所述历史模型时，在部署所述目标模型之前，所述方法还包括：对所述历史模型进行备份。

45、在本技术第二方面，提供了一种内容理解模型的自动化迭代部署装置，所述装置包括：

46、获取单元，用于响应于满足触发训练待处理模型的条件，获取训练样本数据和测试样本数据；

47、训练单元，用于基于所述训练样本数据和多种预设模型搜索算法对所述待处理模型进行训练，获取多个优化模型；

48、集成单元，用于利用模型集成算法对所述多个优化模型进行模型集成，获取集成后的优化模型；

49、测试单元，用于利用所述测试样本数据对所述集成后的优化模型进行测试，获取评价指标；

50、部署单元，用于基于所述评价指标和历史模型的评价指标，确定目标模型，并部署所述目标模型。

51、在一种可能的实现方式中，所述测试样本数据包括正样本标签和/或负样本标签，所述测试单元，具体用于将所述测试样本数据输入到所述集成后的优化模型，获取所述测试样本数据的预测标签；基于所述测试样本数据包括的样本标签和所述预测标签，确定所述评价指标。

52、在一种可能的实现方式中，所述装置还包括：确定单元；

53、所述确定单元，用于获取所述测试样本数据的预测标签所对应的多个得分；确定所述多个得分的预设分位点所对应的阈值，所述阈值用于判断所述测试样本数据是否为正样本数据；基于多个所述预设分位点所对应的多个阈值确定阈值表。

54、在一种可能的实现方式中，所述集成后的优化模型为二分类模型，所述装置还包括：确定单元；

55、所述确定单元，用于基于所述二分类模型的多个阈值，确定每个阈值下所述二分类模型所对应的多个评价指标，所述阈值用于判断所述测试样本数据是否为正样本标签数据；基于所述多个评价指标以及所对应的多个阈值确定阈值表。

56、在一种可能的实现方式中，所述确定单元，还用于获取待处理样本数据；将所述待处理样本数据输入到所述目标模型，获取所述待处理样本数据对应的输出值；基于所述目标模型所对应的阈值表，确定实际分位点所对应的实际阈值；基于所述输出值和所述实际阈值，确定所述待处理样本数据是否为正样本数据。

57、在一种可能的实现方式中，所述确定单元，还用于获取待处理样本数据；将所述待处理样本数据输入到所述目标模型，获取所述待处理样本数据对应的输出值；基于所述目标模型所对应的阈值表，确定实际评价指标所对应的实际阈值；基于所述输出值和所述实际阈值，确定所述待处理样本数据是否为正样本数据。

58、在一种可能的实现方式中，所述触发训练待处理模型的条件包括如下中的一项或多项：

59、每间隔预设时间段训练所述待处理模型；或者，响应于所述待处理模型的训练样本数据或者测试样本数据有更新。

60、在一种可能的实现方式中，所述训练样本数据和所述测试样本数据的获取过程包括：

61、获取初始样本数据；对所述初始样本数据进行预处理；将经过预处理的样本数据划分为所述训练样本数据和所述测试样本数据；

62、其中，对所述初始样本数据进行预处理的过程，包括如下中的一项或多项：

63、对所述初始样本数据进行缺失值补全；或者，对所述初始样本数据进行异常值修正；或者，对所述初始样本数据构建正样本标签或者负样本标签，并按照预设比例对包括正样本标签的样本数据和包括负样本标签的样本数据进行调整。

64、在一种可能的实现方式中，所述装置还包括：处理单元；

65、所述处理单元，用于响应于接收到第一样本数据，下载所述目标模型，基于所述目标模型对所述第一样本数据进行处理，并对下载所述目标模型的处理线程进行加锁；响应于接收到第二样本数据，基于所述目标模型对所述第二样本数据进行处理，所述第一样本数据与所述第二样本数据属于同一批次的样本数据；以此类推，直至接收到所述同一批次的样本数据中的所有数据，释放所述处理线程的锁。

66、在一种可能的实现方式中，所述装置还包括：备份单元；

67、当所述目标模型不是所述历史模型时，在部署所述目标模型之前，所述备份单元，用于对所述历史模型进行备份。

68、在本技术第三方面，提供了一种电子设备，所述设备包括：处理器和存储器；

69、所述存储器，用于存储指令或计算机程序；

70、所述处理器，用于执行所述存储器中的所述指令或计算机程序，以使得所述电子设备执行上述第一方面所述的方法。

71、在本技术第四方面，提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在设备上运行时，使得所述设备执行上述第一方面所述的方法。

72、在本技术第五方面，提供了一种计算机程序产品，所述计算机程序产品包括计算机程序/指令，所述计算机程序/指令被处理器执行时实现第一方面所述的方法。

73、由此可见，本技术具有如下有益效果：

74、在本技术的上述实现方式中，当满足触发训练待处理模型的条件时，自动获取训练样本数据和测试样本数据。基于训练样本数据和多种预设模型搜索算法，对待处理模型进行训练，从而获取训练后多个优化模型。并利用模型集成算法对上述多个优化模型进行模型集成，获取集成后的优化模型。然后利用测试样本数据对得到的集成后的优化模型进行测试，获取所对应的评价指标。从而可以基于集成后的优化模型的评价指标和历史模型的评价指标，确定目标模型，即确定评价指标更好的模型为目标模型，并自动部署目标模型。通过本技术所提供的方法，可以在满足训练待处理模型的条件时，自动实现模型的训练，并且可以在得到训练好的模型后，实现模型的自动部署，整个过程无需人工参与，从而减少了模型训练和部署的时间，提高了效率。