模型训练方法、数据处理方法、系统及电子设备与流程

本申请涉及计算机，尤其涉及一种模型训练方法、数据处理方法、系统、电子设备及计算机可读存储介质。

背景技术：

1、数据科学的核心围绕着大数据和人工智能技术，随着人工智能技术的发展，针对各种各样的业务场景都需要建立机器学习模型，而不同机器学习模型的建立，常常伴随着大数据提供的数据支持。

2、在现有技术中，常见的机器学习模型的建立都是以大数据中的离线数据为基础的，而针对实时产生的数据，则需要专门的人员进行获取，并经过处理才可以能为机器学习模型提供帮助。

3、在上述技术方案中，在对机器学习模型进行构建过程中，存在对实时数据运用效率较低的情况，使得生成的机器学习模型可靠性和实时性较差。

技术实现思路

1、有鉴于此，本申请提供了一种模型训练方法、数据处理方法、系统、电子设备及存储介质，用以提高模型训练的可靠性和实时性。

2、本申请实施例第一方面提供了一种模型训练方法，该方法包括：

3、从存储的用于训练目标模型的训练集中获取用于训练所述目标模型的目标离线数据和目标实时数据，所述训练集中的实时数据是通过实时获取数据产生设备上产生的数据得到的；

4、根据所述目标离线数据以及所述目标实时数据，对待训练模型进行训练，得到训练后模型；

5、在所述对待训练模型进行训练的过程中，若检测到所述训练集中存在更新了的、用于训练所述目标模型的第一实时数据，将所述第一实时数据确定为所述目标实时数据；

6、响应于检测到所述训练集中存在更新了的、用于训练所述目标模型的第二实时数据，基于所述第二实时数据对所述训练后模型进行更新训练，得到更新训练后模型。

7、本申请实施例第二方面提供了一种模型训练系统，所述系统包括：数据能力模块和数据训练模块；

8、所述数据能力模块用于从存储的用于训练所述目标模型的训练集中获取用于训练所述目标模型的目标离线数据和目标实时数据，所述训练集中的实时数据是通过实时获取数据产生设备上产生的数据得到的；

9、所述数据训练模块用于根据所述目标离线数据以及所述目标实时数据，对待训练模型进行训练，得到训练后模型；

10、所述数据能力模块还用于在所述对待训练模型进行训练的过程中，若检测到所述训练集中存在更新了的、用于训练所述目标模型的第一实时数据，将所述第一实时数据确定为所述目标实时数据；

11、所述数据训练模块还用于响应于检测到所述训练集中存在更新了的、用于训练所述目标模型的第二实时数据，基于所述第二实时数据对所述训练后模型进行更新训练，得到更新训练后模型。

12、本申请实施例第三方面提供了一种数据处理方法，所述方法包括：

13、获取待处理数据以及用于处理所述待处理数据的处理模型，所述处理模型是按照第一方面中任一项所述的模型训练方法进行训练得到的；

14、使用所述处理模型对所述待处理数据进行处理，得到处理结果。

15、本申请实施例第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如上述第一方面中任一项所述的模型训练方法。

16、本申请实施例第五方面提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如如上述第一方面中任一项所述的模型训练方法。

17、本申请实施例所提供的技术方案，从存储的训练集中获取用于训练目标模型的目标离线数据和目标实时数据；训练集中存储有用于进行模型训练的离线数据和实时数据，训练集中的实时数据是通过实时获取数据产生设备上产生的数据得到的，并根据目标离线数据以及目标实时数据，对待训练模型进行训练，得到训练后模型，之后在对待训练模型进行训练的过程中，若检测到训练集中存在更新了的、用于训练目标模型的第一实时数据，将第一实时数据确定为目标实时数据，最后响应于检测到训练集中存在更新了的、用于训练目标模型的第二实时数据，基于第二实时数据对训练后模型进行更新训练，得到更新训练后模型。该技术方案在检测到实时数据的更新，不断对训练后模型进行更新训练，以增强模型训练的实时性和可靠性。

技术特征：

1.一种模型训练方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述方法应用于模型训练集群，所述模型训练集群包括多个节点设备，所述多个节点设备包括资源调度设备；

3.根据权利要求2所述的方法，其特征在于，在所述从存储的用于训练目标模型的训练集中获取用于训练所述目标模型的目标离线数据和目标实时数据之前，所述方法还包括：

4.根据权利要求3所述的方法，其特征在于，在所述资源调度设备确定用于进行目标模型训练所需的第一计算机资源之前，所述方法还包括：

5.根据权利要求1所述的方法，其特征在于，在所述从存储的用于训练所述目标模型的训练集中获取用于训练所述目标模型的目标离线数据和目标实时数据之前，所述方法还包括：

6.根据权利要求5所述的方法，其特征在于，所述从存储的用于训练目标模型的训练集中获取用于训练所述目标模型的目标离线数据和目标实时数据，包括：

7.根据权利要求5所述的方法，其特征在于，每一所述数据产生设备对应有数据记录信息，所述数据记录信息用于实时记录所述数据产生设备所产生的数据对应的存储位置；

8.根据权利要求1或2所述的方法，其特征在于，所述根据所述目标离线数据以及所述目标实时数据，对待训练模型进行训练，得到训练后模型，包括：

9.根据权利要求8所述的方法，其特征在于，所述从存储的用于训练目标模型的训练集中获取用于训练所述目标模型的目标离线数据和目标实时数据，包括：

10.根据权利要求9所述的方法，其特征在于，在所述预先配置的多个容器中确定出与所述目标标识一致的至少一个容器，包括：

11.一种数据处理方法，其特征在于，所述方法包括：

12.一种模型训练系统，其特征在于，所述系统包括：数据能力模块和数据训练模块；

13.一种电子设备，其特征在于，包括：处理器、存储器及存储在所述存储器上并可在处理器上运行的计算机程序指令；

14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如上述权利要求1至11任一项所述的模型训练方法。

技术总结
本申请提供了一种模型训练方法、系统、电子设备及存储介质，方法包括：从存储的训练集中获取用于训练目标模型的目标离线数据和目标实时数据；并根据目标离线数据以及目标实时数据，对待训练模型进行训练，得到训练后模型，之后在对待训练模型进行训练的过程中，若检测到训练集中存在更新了的、用于训练目标模型的第一实时数据，将第一实时数据确定为目标实时数据，最后响应于检测到训练集中存在更新了的、用于训练目标模型的第二实时数据，基于第二实时数据对训练后模型进行更新训练，得到更新训练后模型。该技术方案在检测到实时数据的更新时，不断对训练后模型进行更新训练，以增强模型训练的实时性和可靠性。

技术研发人员：尚书,於圣楠,吴剑飞,刘柏,范长杰,胡志鹏
受保护的技术使用者：网易（杭州）网络有限公司
技术研发日：
技术公布日：2024/1/12