提供AI模型的方法、AI平台、计算设备及存储介质与流程

本技术涉及人工智能，特别涉及一种提供ai模型的方法、ai平台、计算设备及存储介质。

背景技术：

1、ai模型的获取过程一般是基于训练数据对ai模型进行训练，得到最终的ai模型。由于仅基于训练数据对初始ai模型进行训练，没有对ai模型进行优化，所以会导致ai模型的推理能力较低。

技术实现思路

1、本技术提供一种提供人工智能ai模型的方法，该方法可为在ai平台注册账号的开发者提供推理能力更强的ai模型。

2、第一方面，本技术提供了一种提供人工智能ai模型的方法，该方法包括：

3、ai平台接收第一用户的未标注的多个图像，第一用户为在所述ai平台注册账号的实体；所述ai平台根据初始ai模型标注所述多个图像；所述ai平台根据标注结果确定所述多个图像中的难例；所述ai平台利用所述难例训练所述初始ai模型以获得优化ai模型。

4、通过该方法，ai平台可向在平台已注册的第一用户(例如：ai模型开发者)提供推理能力更强的优化ai模型，使得第一用户可方便快捷地获得优化ai模型，节约时间和人力投入。

5、在一种可能的实现方式中，ai平台根据标注结果确定所述多个图像中的难例，包括：ai平台向第一用户提供确认界面，在确认界面中向第一用户展示候选难例，所述候选难例为所述多个图像中的至少一个图像；ai平台根据所述第一用户在确认界面上的操作，确定候选难例中的难例。ai平台通过与第一用户交互，获得第一用户确认后的难例，提高了难例的准确性，进一步地提高了通过这些确定后的难例训练后的优化ai模型的推理能力。

6、在一种可能的实现方式中，该方法还包括：ai平台接收第一用户对所述难例的矫正标注；所述ai平台利用所述难例训练所述初始ai模型以获得优化ai模型包括：所述ai平台利用所述难例和对应的矫正标注训练所述初始ai模型以获得所述优化ai模型。ai平台通过与第一用户交互，获得第一用户对难例的矫正标注用于对初始ai模型进行训练，进一步地提高了训练后的优化ai模型的推理能力。

7、在一种可能的实现方式中，该方法还包括：ai平台从第一用户获取带标注的一个或多个图像；ai平台利用带标注的一个或多个图像获得初始ai模型。

8、在一种可能的实现方式中，该方法还包括：所述ai平台将所述优化ai模型提供给第二用户的设备，以使得所述设备用所述优化ai模型执行任务目标；或，所述ai平台接收所述第二用户的设备发送的推理图像，利用所述优化ai模型对所述推理图像进行推理，并向所述第二用户的设备提供推理结果。该方法提供了向第二用户的设备发送优化ai模型或者在线利用优化ai模型向用户提供推理服务两种方法，可以使优化ai模型方便地用于推理，也可以适应不同的任务目标。

9、在一种可能的实现方式中，ai平台根据初始ai模型标注所述多个未标注的图像，包括：所述ai平台向所述第一用户提供标注选择界面，所述标注选择界面上包括所述第一用户可选择的至少一种标注方式；所述ai平台接收所述第一用户选择的标注方式，根据所述第一用户选择的标注方式对应的所述初始ai模型标注所述多个未标注的图像。该方法通过给第一用户提供不同的标注选择方式，使第一用户可以根据要上传至ai平台的图像决定选用何种标注方式，提高了ai平台应对各种用户或者各种场景的灵活性。

10、在一种可能的实现方式中，所述ai平台根据初始ai模型标注所述多个图像包括：根据所述初始ai模型对所述多个图像分类和/或根据所述初始ai模型对所述多个图像执行物体检测。

11、第二方面，本技术还提供了一种人工智能ai平台，所述ai平台包括：用户输入输出i/o模块，用于接收第一用户的未标注的多个图像，所述第一用户为在所述ai平台注册账号的实体；数据预处理模块，用于根据初始ai模型标注所述多个图像；难例挖掘模块，用于根据标注结果确定所述多个图像中的难例；模型训练模块，用于利用所述难例训练所述初始ai模型以获得优化ai模型。

12、在一种可能的实现方式中，所述用户i/o模块，还用于向所述第一用户提供确认界面，在所述确认界面中向所述第一用户展示候选难例，所述候选难例为所述多个图像中的至少一个图像；所述难例挖掘模块，还用于根据所述第一用户在所述确认界面上的操作，确定所述候选难例中的难例。

13、在一种可能的实现方式中，所述用户i/o模块，还用于接收所述用户对所述难例的矫正标注；所述模型训练模块，具体用于利用所述难例和对应的矫正标注训练所述初始ai模型以获得所述优化ai模型。

14、在一种可能的实现方式中，所述用户i/o模块，还用于从所述第一用户获取带标注的一个或多个图像；所述模型训练模块，还用于利用带标注的一个或多个图像获得所述初始ai模型。

15、在一种可能的实现方式中，所述用户i/o模块，还用于将所述优化ai模型提供给第二用户的设备，以使得所述设备用所述优化ai模型执行任务目标；或，所述ai平台还包括推理模块，所述用户i/o模块，还用于接收所述第二用户的设备发送的推理图像；所述推理模块，用于利用所述优化ai模型对所述推理图像进行推理；所述用户i/o模块，还用于向所述第二用户的设备提供推理结果。

16、在一种可能的实现方式中，所述用户i/o模块，还用于向所述第一用户提供标注选择界面，所述标注选择界面上包括所述第一用户可选择的至少一种标注方式；所述用户i/o模块，还用于接收所述第一用户选择的标注方式；所述数据预处理模块，具体用于根据所述第一用户选择的标注方式对应的所述初始ai模型标注所述多个未标注的图像。

17、在一种可能的实现方式中，所述数据预处理模块，具体用于根据所述初始ai模型对所述多个图像分类和/或根据所述初始ai模型对所述多个图像执行物体检测。

18、第三方面，本技术还提供了一种优化人工智能ai模型的方法，其特征在于，所述方法包括：根据训练图像集对初始ai模型进行训练，获得优化ai模型；接收推理图像集，根据所述优化ai模型对所述推理图像集中的每个推理图像进行推理，获得推理结果；根据所述推理结果，确定所述推理图像集中的难例，其中，所述难例指示通过所述优化ai模型进行推理获得的推理结果的错误率高于目标阈值的推理图像；根据所述难例对所述优化ai模型进行训练，获得再优化ai模型。该方法根据推理结果确定难例，利用难例再训练优化ai模型，使得获得的再优化ai模型的推理能力更强。

19、在一种可能的实现方式中，所述根据所述推理结果，确定所述推理图像集中的难例，具体包括：确定所述推理图像集为视频片段；根据所述推理图像集中各图像的推理结果，确定所述推理图像集中的难例；或，确定所述推理图像集为非视频片段，根据所述推理图像集中各图像的推理结果和所述训练图像集，确定所述推理图像集中的难例。该方法根据推理图像集的类型，利用不同的难例确定方式确定难例，充分考虑了推理图像集本身的特点，提高了确定的难例的准确率，进一步地提高了再优化ai模型的推理能力。

20、在一种可能的实现方式中，所述根据所述推理图像集中各图像的推理结果，确定所述推理图像集中的难例，包括：确定所述推理图像集中的目标图像，其中，所述目标图像的推理结果与所述目标图像在所述视频片段中的相邻的图像的推理结果不相同；将所述目标图像确定为所述推理图像中的难例。

21、在一种可能的实现方式中，所述根据所述推理图像集中各图像的推理结果和所述训练图像集，确定所述推理图像集中的难例，包括：获取所述推理图像集中各图像在各类别下的置信度，根据所述推理图像集中各图像的最高的两个置信度，确定所述推理图像集中各图像的第一难例值；获取所述训练图像集中图像的表层特征分布信息，根据所述表层特征分布信息和所述推理图像集中各图像的表层特征，确定所述推理图像集中各图像的第二难例值；获取所述训练图像集中各图像的深层特征和所述推理图像集中各图像的深层特征，根据所述训练图像集中各图像的深层特征，对所述训练图像集中各图像进行聚类处理，得到图像聚类结果；根据所述推理图像集中各图像的深层特征、所述图像聚类结果和所述推理图像集中各图像的推理结果，确定所述推理图像集中各图像的第三难例值；根据所述第一难例值、第二难例值和所述第三难例值中的一个或多个，确定所述推理图像集中各图像的目标难例值；将所述推理图像集中目标难例值最大的第一数目个图像，确定为所述推理图像集中的难例。

22、在一种可能的实现方式中，所述根据所述推理图像集中各图像的推理结果，确定所述推理图像集中的难例，包括：对于所述推理图像集中第一图像的第一目标框，在所述视频片段中的与所述第一图像在时序上的间隔小于或等于第二数目的图像中，判断是否存在所述第一目标框对应的相似框；若未存在所述第一目标框对应的相似框，则将所述第一目标框确定为难例框；若存在所述第一目标框对应的相似框，且所述第一目标框所属的第一图像和所述相似框所属的第二图像在所述视频片段中不相邻，则根据所述第一目标框与所述相似框，确定所述第一图像和所述第二图像之间的图像中的难例框；根据所述推理图像集中各图像的难例框的数目，确定所述推理图像集中的难例。

23、在一种可能的实现方式中，所述在所述视频片段中的与所述第一图像在时序上的间隔小于或等于第二数目的图像中，判断是否存在所述第一目标框对应的相似框，包括：在所述视频片段中的与所述第一图像在时序上的间隔小于或等于第二数目的图像中，确定与第一目标框的相似度最高的追踪框；根据所述追踪框、在所述视频片段中的与所述第一图像在时序上的间隔小于或等于第二数目的图像中的所有的边界框和所述第一目标框，确定所述第一目标框与各边界框的重叠率；若存在重叠率大于第二数值的边界框，则将重叠率大于第二数值的边界框，确定为所述第一目标框对应的相似框；若不存在重叠率大于第二数值的边界框，则确定未存在所述第一目标框对应的相似框。

24、在一种可能的实现方式中，所述根据所述推理图像集中各图像的推理结果和所述训练图像集，确定所述推理图像集中的难例，包括：获取所述训练图像集中图像的表层特征分布信息，根据所述训练图像集中图像的表层特征分布信息和所述推理图像集中图像的表层特征，确定所述推理图像集中各图像的第四难例值，其中，所述表层特征包括边界框的表层特征和图像的表层特征；获取所述训练图像集中各图像中每个框的深层特征和所述推理图像集中各图像中每个框的深层特征，根据所述训练图像集中各图像中每个框的深层特征，对所述训练图像集中各图像中每个框进行聚类处理，得到框聚类结果；根据所述推理图像集中各图像中每个框的深层特征、所述框聚类结果和所述推理图像集中各图像中每个框的推理结果，确定所述推理图像集中各图像的第五难例值；根据所述第四难例值和所述第五难例值中的一个或多个，确定所述推理图像集各图像的目标难例值；将所述推理图像集中目标难例值最大的第一数目个图像，确定为所述推理图像集中的难例。

25、第四方面，本技术还提供一种人工智能ai平台，所述ai平台包括：模型训练模块，用于根据训练图像集对初始ai模型进行训练，获得优化ai模型；推理模块，用于接收推理图像集，根据所述优化ai模型对所述推理图像集中的每个推理图像进行推理，获得推理结果；难例挖掘模块，用于根据所述推理结果，确定所述推理图像集中的难例，其中，所述难例指示通过所述优化ai模型进行推理获得的推理结果的错误率高于目标阈值的推理图像；所述模型训练模块，还用于根据所述难例对所述优化ai模型进行训练，获得再优化ai模型。

26、在一种可能的实现方式中，所述难例挖掘模块，具体用于：确定所述推理图像集为视频片段；根据所述推理图像集中各图像的推理结果，确定所述推理图像集中的难例；或，确定所述推理图像集为非视频片段，根据所述推理图像集中各图像的推理结果和所述训练图像集，确定所述推理图像集中的难例。

27、在一种可能的实现方式中，所述难例挖掘模块，具体用于：确定所述推理图像集中的目标图像，其中，所述目标图像的推理结果与所述目标图像在所述视频片段中的相邻的图像的推理结果不相同；将所述目标图像确定为所述推理图像中的难例。

28、在一种可能的实现方式中，所述难例挖掘模块，具体用于：获取所述推理图像集中各图像在各类别下的置信度，根据所述推理图像集中各图像的最高的两个置信度，确定所述推理图像集中各图像的第一难例值；获取所述训练图像集中图像的表层特征分布信息，根据所述表层特征分布信息和所述推理图像集中各图像的表层特征，确定所述推理图像集中各图像的第二难例值；获取所述训练图像集中各图像的深层特征和所述推理图像集中各图像的深层特征，根据所述训练图像集中各图像的深层特征，对所述训练图像集中各图像进行聚类处理，得到图像聚类结果；根据所述推理图像集中各图像的深层特征、所述图像聚类结果和所述推理图像集中各图像的推理结果，确定所述推理图像集中各图像的第三难例值；根据所述第一难例值、第二难例值和所述第三难例值中的一个或多个，确定所述推理图像集中各图像的目标难例值；将所述推理图像集中目标难例值最大的第一数目个图像，确定为所述推理图像集中的难例。

29、在一种可能的实现方式中，所述难例挖掘模块，具体用于：对于所述推理图像集中第一图像的第一目标框，在所述视频片段中的与所述第一图像在时序上的间隔小于或等于第二数目的图像中，判断是否存在所述第一目标框对应的相似框；若未存在所述第一目标框对应的相似框，则将所述第一目标框确定为难例框；若存在所述第一目标框对应的相似框，且所述第一目标框所属的第一图像和所述相似框所属的第二图像在所述视频片段中不相邻，则根据所述第一目标框与所述相似框，确定所述第一图像和所述第二图像之间的图像中的难例框；根据所述推理图像集中各图像的难例框的数目，确定所述推理图像集中的难例。

30、在一种可能的实现方式中，所述难例挖掘模块，具体用于：在所述视频片段中的与所述第一图像在时序上的间隔小于或等于第二数目的图像中，确定与第一目标框的相似度最高的追踪框；根据所述追踪框、在所述视频片段中的与所述第一图像在时序上的间隔小于或等于第二数目的图像中的所有的边界框和所述第一目标框，确定所述第一目标框与各边界框的重叠率；若存在重叠率大于第二数值的边界框，则将重叠率大于第二数值的边界框，确定为所述第一目标框对应的相似框；若不存在重叠率大于第二数值的边界框，则确定未存在所述第一目标框对应的相似框。

31、在一种可能的实现方式中，所述难例挖掘模块，具体用于：获取所述训练图像集中图像的表层特征分布信息，根据所述训练图像集中图像的表层特征分布信息和所述推理图像集中图像的表层特征，确定所述推理图像集中各图像的第四难例值，其中，所述表层特征包括边界框的表层特征和图像的表层特征；获取所述训练图像集中各图像中每个框的深层特征和所述推理图像集中各图像中每个框的深层特征，根据所述训练图像集中各图像中每个框的深层特征，对所述训练图像集中各图像中每个框进行聚类处理，得到框聚类结果；根据所述推理图像集中各图像中每个框的深层特征、所述框聚类结果和所述推理图像集中各图像中每个框的推理结果，确定所述推理图像集中各图像的第五难例值；根据所述第四难例值和所述第五难例值中的一个或多个，确定所述推理图像集各图像的目标难例值；将所述推理图像集中目标难例值最大的第一数目个图像，确定为所述推理图像集中的难例。

32、第五方面，本技术还提供一种计算设备，所述计算设备包括存储器和处理器，所述存储器用于存储一组计算机指令；所述处理器执行所述存储器存储的一组计算机指令，以使得所述计算设备执行第一方面或第一方面的任意一种可能的实现方式提供的方法。

33、第六方面，本技术提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序代码，当所述计算机程序代码被计算设备执行时，所述计算设备执行前述第一方面或第一方面的任意一种可能的实现方式中提供的方法。该存储介质包括但不限于易失性存储器，例如随机访问存储器，非易失性存储器，例如快闪存储器、硬盘(英文：harddisk drive，缩写：hdd)、固态硬盘(英文：solid state drive，缩写：ssd)。

34、第七方面，本技术提供一种计算机程序产品，所述计算机程序产品包括计算机程序代码，在所述计算机程序代码被计算设备执行时，所述计算设备执行前述第一方面或第一方面的任意可能的实现方式中提供的方法。该计算机程序产品可以为一个软件安装包，在需要使用前述第一方面或第一方面的任意可能的实现方式中提供的方法的情况下，可以下载该计算机程序产品并在计算设备上执行该计算机程序产品。

35、第八方面，本技术还提供一种计算设备，所述计算设备包括存储器和处理器，所述存储器用于存储一组计算机指令；所述处理器执行所述存储器存储的一组计算机指令，以使得所述计算设备执行第三方面或第三方面的任意一种可能的实现方式提供的方法。

36、第九方面，本技术提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序代码，当所述计算机程序代码被计算设备执行时，所述计算设备执行前述第三方面或第三方面的任意一种可能的实现方式中提供的方法。该存储介质包括但不限于易失性存储器，例如随机访问存储器，非易失性存储器，例如快闪存储器、硬盘(英文：harddisk drive，缩写：hdd)、固态硬盘(英文：solid state drive，缩写：ssd)。

37、第十方面，本技术提供一种计算机程序产品，所述计算机程序产品包括计算机程序代码，在所述计算机程序代码被计算设备执行时，所述计算设备执行前述第三方面或第三方面的任意可能的实现方式中提供的方法。该计算机程序产品可以为一个软件安装包，在需要使用前述第三方面或第三方面的任意可能的实现方式中提供的方法的情况下，可以下载该计算机程序产品并在计算设备上执行该计算机程序产品。