用于识别事件的图像中的事件参与者的方法和系统与流程

本披露内容涉及一种用于使用经训练的分类器来识别事件的一个或多个图像中的参与者的基于计算机的方法和系统。

背景技术：

1、在体育事件的各种视频直播或数字流式传输的图像中，事件组织者、广播电视台或流式传输频道将信息(比如参与者标识号和/或顺序位置)叠加到图像流的图像上以增强观看者的体验和参与度已经变得很普遍。例如，可以在赛马比赛或自行车比赛——特别是在直播(或具有与实际事件的最小时间延迟)或流式传输的比赛中，将赛马比赛中的马或自行车比赛中的自行车手的姓名和标识显示在该比赛的图像上。

2、通常，这样的信息被叠加在构成事件的视频/图像流并且被传输给所有观众成员的图像上。遗憾的是，这样的信息可能不容易被一些观众成员理解。另外，一些观众成员可能只关注特定的参与者，但视频/图像流却呈现有关于所有参与者的信息。

3、该信息通常由人类观察者提供，这些人类观察者手动查看图像，识别参与者，并且将信息编码在图像上以进行传输。然而，这样的方法繁琐、耗时(因此昂贵)且容易出错。此外，这样的识别过程需要受过专门训练的操作者，这些操作者可以将信息编码在图像流中的速度有限。

4、一些事件中的替代方法是使用地理跟踪类型的方法(比如gps、rfid和无线电波发射器)来跟踪该事件的参与者在时间点上的空间位置。通常，这样的方法需要在参与者身上安装装备，因此在大的地理区域或在许多参与者之中部署相对昂贵；并且在事件的关键时刻可能会出现装备故障。

5、本发明解决或至少改善了现有技术的以上缺陷中的一些，或至少为公众成员提供了进一步的选择。

技术实现思路

1、在第一方面，本发明提供了一种在事件的图像流中的一个或多个图像中识别多个参与者中的至少一个参与者的基于计算机的方法，其中，所述参与者中的每一个具有与其相关联的公共徽记的独特实例。该方法包括接收构成当前事件中的每个参与者的徽记的一个或多个特征或特征组的指定参数值；存储表征所述徽记的特征或特征组的指定参数值的独特组合与所述当前事件中的每个参与者的身份之间的关系；在所述当前事件开始之后，从所述当前事件的图像流中的一个或多个图像中截取至少描绘该事件中的一个参与者的徽记的一部分的一个或多个图像区域；以及通过以下步骤从所述事件的图像流中的一个或多个图像预测事件中的参与者之中的参与者的身份：

2、(i)确定所述事件中的每个参与者的徽记的对应部分的每个特征或特征组的检测参数值与所存储的指定参数值之间的匹配得分；其中，所述确定是通过对所述事件的一个或多个图像中的一个或多个图像区域中的每一个以及对其中所描绘的参与者的徽记的每个部分的每个特征或特征组，使用经训练的图像分类器来进行的；以及

3、(ii)利用一个或多个图像中所描绘的特征或特征组的检测参数值与所述事件中的每个参与者的徽记的特征或特征组的所存储的指定参数值匹配的最佳的对应总体得分，来确定参与者的身份。

4、有利地，所述公共徽记的部分的特征或特征组包括图案、形状和颜色中的一种或多种。经训练的图像分类器可以选自包括以下各项的神经网络分类器的组：inception v4神经网络、vgg16神经网络、resnet神经网络或卷积神经网络，它们可以在训练阶段和服务阶段提供性能提升。在本披露内容的第一实施例的第一布置中，检测参数值的得分可以从经训练的图像分类器直接输出。

5、所述当前事件中的每个参与者(对于每个参与者的特征或特征组中的至少一些)的检测参数值与所存储的指定参数值之间的得分比较可以使用匈牙利算法来确定。

6、可替代地，检测参数值的得分可以使用经训练的图像分类器的输出从分类分类器计算。参数值的最佳得分可以通过将为与事件中的每个参与者相关联的公共徽记的每个部分的所有特征的参数值所确定的得分相乘来确定。

7、在本披露内容的第一实施例的第二布置中，经训练的图像分类器可以选自包括以下各项的组：inception v4神经网络、vgg16神经网络、resnet神经网络或卷积神经网络，它们可以在训练阶段和服务阶段提供性能提升。

8、经训练的图像分类器可以使用被配置为孪生神经网络的图像分类器来训练；其中，用于经训练的图像分类器的所述孪生神经网络的损失函数是对比损失函数；并且对所述孪生神经网络的输入是锚图像和具有与集合中的锚图像的参数值相似的参数值的图像的元组，或者是锚图像和具有与集合中的锚图像的参数值不相似的参数值的图像的元组。

9、有利地，可以通过在训练阶段输入与锚图像相似的图像和不相似的图像来提高图像分类器的准确度。在本披露内容的第一实施例的第二布置的替代布置中，可以使用被配置为孪生神经网络的图像分类器来训练经训练的图像分类器；其中，用于经训练的图像分类器的所述孪生神经网络的损失函数是三重损失函数；并且对所述孪生神经网络的输入是锚图像、具有与集合中的锚图像的参数值相似的参数值的图像以及具有与集合中的锚图像的参数值不相似的参数值的图像的元组。

10、比较所述当前事件中的每个参与者(对于每个参与者的特征或特征组中的至少一些)的所述检测参数值与所存储的指定参数值的得分可以基于所述当前事件中的每个参与者的特征或特征组的检测参数值的向量表示与所存储的指定参数值的对应向量表示之间的距离来确定。

11、在本披露内容的第二实施例中，有利地，对a模型进行训练以将指定参数值映射为在空间上相距很远，从而提高分类的准确度。指定参数值可以是与参与者相关联的徽记的部分的特征或特征组的参数值的向量表示，该向量表示通过以下步骤生成：

12、(i)为所述特征或特征组选择一个或多个第二经训练的分类器；其中，每个所述第二经训练的分类器被训练成将相似的向量映射为在该第二经训练的分类器的输出空间中空间上相对靠近，并且将不相似的向量映射为在该第二经训练的分类器的输出空间中空间上相对远离；以及

13、(ii)向为所述特征或特征组选择的第二经训练的分类器提供所述事件的参与者的公共徽记的部分中的对应的一个或多个部分的特征或特征组的对应编码参数值，以生成所述向量表示。

14、进一步地，在本披露内容的第二实施例中，可以使用被配置为孪生神经网络的图像分类器来训练经训练的图像分类器；其中，用于经训练的图像分类器的所述孪生神经网络的损失函数是对比损失函数；并且对所述孪生神经网络的输入是指定参数值的向量表示和具有与集合中的指定参数值相似的参数值的图像的元组，或者是指定参数值的向量表示和具有与集合中的指定参数值不相似的参数值的图像的元组。

15、有利地，可以通过在训练中输入与指定参数值的向量表示相似的图像和不相似的图像来提高图像分类器的准确度。在本披露内容的第二实施例的替代布置中，可以使用被配置为孪生神经网络的图像分类器来训练经训练的图像分类器；其中，用于经训练的图像分类器的所述孪生神经网络的损失函数是三重损失函数；并且对所述孪生神经网络的输入是指定参数值的向量表示、具有与集合中的指定参数值相似的参数值的图像以及具有与集合中的指定参数值不相似的参数值的图像的元组。

16、第二经训练的分类器可以使用被配置为孪生神经网络的分类器来训练，其中，对分类器的孪生神经网络的输入包括：编码参数值的锚向量；编码参数值的与锚向量相似的向量，该相似向量包括编码参数值的添加噪声后的锚向量或者从与锚向量相同的参数值组合得到的向量；参数值的与锚向量不相似的不相似向量，该不相似向量包括与锚向量相比具有不同参数值组合的向量。

17、编码参数值中的参数值中的一个或多个可以通过独热编码来编码。可替代地，编码参数值中的参数值中的一个或多个通过rgb值编码，这有利地提供了分类器在对颜色特征进行分类时的更高鲁棒性。用于分类器的孪生神经网络的损失函数可以从对比损失函数或三重损失函数中选择。

18、第二经训练的分类器(a模型)可以选自包括以下各项的组：自定义神经网络、或inception v4神经网络、vgg16神经网络、resnet神经网络和卷积神经网络中的任何一个。自定义神经网络具有在训练中提供更高效率而不损害准确度的优点。

19、与参与者相关联的公共徽记的部分可以包括参与者身上的服饰的项目和/或伴随实体的部分。参与者徽记的部分和/或伴随实体的部分的特征可以包括图案、形状和颜色。公共徽记的部分可以包括帽子、大身、袖子、短裤以及靴子中的任何一个或多个。参与者的伴随实体可以包括选自包括以下各项的组的任何一个或多个实体：马、车辆、自行车以及摩托车。

20、在第二方面，本发明提供了一种对系统进行训练的基于计算机的方法，该系统用于在事件的图像流中的一个或多个图像中识别多个参与者中的至少一个参与者，其中，所述参与者中的每一个具有与其相关联的公共徽记的独特实例。该方法包括接收描绘已经结束的事件中的参与者的徽记的图像或其部分的集合；其中，所描绘的徽记具有所述已经结束的事件中的参与者的公共徽记的特征或特征组的可检测参数值；其中，所述图像或其部分的集合根据其中所描绘的参与者的徽记的可检测参数值被标记；以及从所述图像或其部分的集合生成具有与当前事件中的每个参与者相关联的徽记的一个或多个特征或特征组的指定参数值的训练图像的子集；在训练图像子集上为每个所述特征或每个所述特征组训练至少一个分类器，以针对该特征或该特征组的指定参数值对图像或其部分进行评分，其中，所述训练包括为每个所述特征或每个所述特征组提供具有包括对应的训练图像子集的输入的对应分类器；以及迭代地更新每个特征或每个所述特征组的分类器，直到每个分类器达到预先确定的评分准确度。

21、有利地，已经结束的事件中的参与者的图像或其部分的集合可以不包含具有所述事件中的参与者的徽记的特征的所有参数值的图像。可替代地，已经结束的事件中的参与者的图像或其部分的集合包括徽记的部分的特征的多个图像，该多个图像包含所述事件中的参与者的徽记的特征的所有参数值。

22、至少一个分类器可以是选自包括以下各项的神经网络分类器的组的图像分类器：inception v4神经网络、vgg16神经网络、resnet神经网络或卷积神经网络。

23、在本披露内容的布置中，所述训练可以是被配置为孪生神经网络的两个或更多个分类器的训练，该孪生神经网络使用对比损失函数、三重损失函数或交叉熵损失函数。对分类器的所述孪生神经网络的输入可以包括锚图像和相似图像的元组或者锚图像和不相似图像的元组。可替代地，对分类器的所述孪生神经网络的输入可以包括锚图像、相似图像和不相似图像的元组。更进一步地，对分类器的所述孪生神经网络的输入可以包括锚向量、相似图像和不相似图像的元组。

24、图像的所述集合可以在执行一个或多个图像预处理步骤之后生成，该一个或多个图像预处理步骤选自包括获取图像的大小调整和扩充的组。

25、锚向量可以通过以下步骤来生成：

26、(i)为所述特征或特征组选择一个或多个第二经训练的分类器；其中，每个所述第二经训练的分类器被训练成将相似的向量映射为在该第二经训练的分类器的输出空间中空间上相对靠近，而将不相似的向量映射为在该第二经训练的图像分类器的输出空间中空间上相对远离；以及

27、(ii)向为所述特征或特征组选择的第二经训练的分类器提供所述事件中的参与者的公共徽记的部分中的对应一个或多个部分的特征或特征组的对应编码参数值，以生成所述锚向量。

28、第二经训练的分类器可以使用被配置为孪生神经网络的分类器来训练，其中，对分类器的孪生神经网络的输入包括：编码参数值的参数向量；编码参数值的与参数向量相似的向量，该相似向量包括编码参数值的添加噪声后的参数向量或者从与参数向量相同的参数值组合得到的向量；参数值的与参数向量不相似的不相似向量，该不相似向量包括与参数向量相比具有不同参数值组合的向量。

29、有利地，参数向量的参数值中的一个或多个可以通过独热编码来编码。此外，参数向量的参数值中的一个或多个可以通过rgb值编码。

30、在第三方面，提供了一种包括指令的计算机可读介质，其中，这些指令在由处理器执行时使处理器执行以上方法的任何步骤。

31、在第四方面，提供了一种用于在事件的图像流中的一个或多个图像中识别多个参与者中的至少一个参与者的系统，其中，所述参与者中的每一个具有与其相关联的公共徽记的独特实例，该系统包括被配置为执行以上识别步骤的图像处理模块。进一步地，该系统提供了被配置为执行以上训练步骤的训练模块。