图像处理方法、装置、电子设备及计算机存储介质与流程
本申请实施例涉及计算机技术领域，尤其涉及一种图像处理方法、装置、电子设备及计算机存储介质。
背景技术：
门店数字化是零售发展的方向之一，线下商家可获得根据购物者、货物、门店三者的关系进行的数字化反馈，从而根据数字化反馈结果进行分析和总结，实时进行调整和改进。以可穿戴类门店(如服饰类门店、鞋品类门店、头饰或首饰类门店等等)数字化为例，其核心是完成可穿戴场景下的购物者、货物和门店关系的数字化。该可穿戴类门店数字化一种解决方案是基于射频识别技术，通过在每个可穿戴对象上张贴标签，并且在试穿区域部署传感器，通过识别每个可穿戴对象所携带的标签，获得购物者试穿的可穿戴对象的数据。
然而，该识别技术需要在每个可穿戴对象上张贴标签，运维过程复杂，并需要可穿戴对象出现在部署了射频识别传感器的试穿区域，才能识别出购物者的试穿行为中的可穿戴对象，使得识别成本高且识别准确率较低。
技术实现要素：
有鉴于此，本申请实施例提供一种图像处理方案，以至少部分解决上述问题。
根据本申请实施例的第一方面，提供了一种图像处理方法，包括：获取多个图像序列，其中，每个图像序列中包含具有可穿戴对象的多个图像，所述多个图像中的可穿戴对象满足设定相似度；针对每个图像序列，对该图像序列中的多个图像进行可穿戴对象识别，获得该图像序列的可穿戴对象置信度和该图像序列对应的可穿戴对象标识；根据所述可穿戴对象置信度与预设的第一置信度阈值、第二置信度阈值和第三置信度阈值的关系，确定匹配的可穿戴对象数据处理规则，其中，所述第一置信度阈值大于所述第二置信度阈值，所述第二置信度阈值大于所述第三置信度阈值；根据所述数据处理规则，和该图像序列对应的可穿戴对象标识，确定该图像序列中的可穿戴对象是否为目标可穿戴对象。
根据本申请实施例的第二方面，提供了一种图像处理装置，包括：第一获取模块用于获取多个图像序列，其中，每个图像序列中包含具有可穿戴对象的多个图像，所述多个图像中的可穿戴对象满足设定相似度；第一识别模块用于针对每个图像序列，对该图像序列中的多个图像进行可穿戴对象识别，获得该图像序列的可穿戴对象置信度和该图像序列对应的可穿戴对象标识；匹配模块用于根据所述可穿戴对象置信度与预设的第一置信度阈值、第二置信度阈值和第三置信度阈值的关系，确定匹配的可穿戴对象数据处理规则，其中，所述第一置信度阈值大于所述第二置信度阈值，所述第二置信度阈值大于所述第三置信度阈值；第一确定模块用于根据所述数据处理规则，和该图像序列对应的可穿戴对象标识，确定该图像序列中的可穿戴对象是否为目标可穿戴对象。
根据本申请实施例的第三方面，提供了另一种图像处理方法，包括：获取多个原始图像，一个原始图像包括至少一个可穿戴对象；根据所述多个原始图像中的多个可穿戴对象的图像特征，对所述多个原始图像中的可穿戴对象进行分类，得到多个图像序列，其中，每个图像序列中包含具有可穿戴对象的多个图像，所述多个图像中的可穿戴对象满足设定相似度；针对每个图像序列，对该图像序列中的多个图像进行可穿戴对象识别，获得该图像序列的可穿戴对象置信度和该图像序列对应的可穿戴对象标识；根据该图像序列的可穿戴对象置信度和该图像序列对应的可穿戴对象标识，确定该图像序列中的可穿戴对象是否为目标可穿戴对象。
根据本申请实施例的第四方面，提供了另一种图像处理装置，包括：第二获取模块用于获取多个原始图像，一个原始图像包括至少一个可穿戴对象；分类模块用于根据所述多个原始图像中的多个可穿戴对象的图像特征，对所述多个原始图像中的可穿戴对象进行分类，得到多个图像序列，其中，每个图像序列中包含具有可穿戴对象的多个图像，所述多个图像中的可穿戴对象满足设定相似度；第二识别模块用于针对每个图像序列，对该图像序列中的多个图像进行可穿戴对象识别，获得该图像序列的可穿戴对象置信度和该图像序列对应的可穿戴对象标识；第二确定模块用于根据该图像序列的可穿戴对象置信度和该图像序列对应的可穿戴对象标识，确定该图像序列中的可穿戴对象是否为目标可穿戴对象。
根据本申请实施例的第五方面，提供了一种电子设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如第一方面或第二方面所述的图像处理方法对应的操作。
根据本申请实施例的第六方面，提供了一种计算机存储介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面或第二方面所述的图像处理方法。
根据本申请实施例提供的一种图像处理方案，获取多个图像序列，其中，每个图像序列中包含多个图像，该图像为具有可穿戴对象的图像，且多个图像中的可穿戴对象均满足设定相似度，不依赖于高帧率视频，只要是满足设定相似度的图像即可，不需要较高的数据传输及计算能力；针对每个图像序列，对该图像序列中的多个图像进行可穿戴对象识别，获得该图像序列的可穿戴对象置信度和该图像序列对应的可穿戴对象标识，通过可穿戴对象标识实现对可穿戴对象的追踪，提高了可穿戴对象的识别准确率；根据可穿戴对象置信度与预设的第一置信度阈值、第二置信度阈值和第三置信度阈值之间的关系，确定匹配的可穿戴对象数据处理规则，其中，第一置信度阈值大于第二置信度阈值，第二置信度阈值大于第三置信度阈值；根据数据处理规则和该图像序列对应的可穿戴对象标识，可以确定该图像序列中的可穿戴对象是否为目标可穿戴对象，通过设置数据处理规则，根据可穿戴对象置信度与预设的三个置信度阈值之间的关系和该图像序列对应的可穿戴对象标识对可穿戴对象进行分级筛选，保证了可穿戴对象的识别准确率。并且不需要在每个可穿戴对象张贴标签，节省了成本。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请实施例中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种图像处理方法的步骤流程图；
图2为本申请实施例提供的一种应用场景示例地示意图；
图3为本申请实施例提供的一种图像序列对应的数据处理规则；
图4为本申请实施例提供的一种多个图像序列的示意图；
图5为本申请实施例提供的另一种图像处理方法的步骤流程图；
图6为本申请实施例提供的再一种图像处理方法的步骤流程图；
图7为本申请实施例提供的一种图像处理装置的结构框图；
图8为本申请实施例提供的另一种图像处理装置的结构框图；
图9为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
为了使本领域的人员更好地理解本申请实施例中的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请实施例一部分实施例，而不是全部的实施例。基于本申请实施例中的实施例，本领域普通技术人员所获得的所有其他实施例，都应当属于本申请实施例保护的范围。
需要说明的是，本申请中的第一和第二只是为了区分名称，并不代表顺序关系，不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量，例如，第一置信度阈值、第二置信度阈值、第三置信度阈值，第一数据处理规则、第二数据处理规则、第三数据处理规则，第一获取模块、第二获取模块，第一识别模块、第二识别模块，第一确定模块、第二确定模块。本申请中的多个指三个或三个以上，例如，多个图像序列，多个原始图像，多个可穿戴对象等等。
下面结合本申请实施例附图进一步说明本申请实施例具体实现。
实施例一、
本申请实施例一提供一种图像处理方法，如图1所示，图1为本申请实施例提供的一种图像处理方法的流程图，该图像处理方法包括以下步骤：
步骤s101、获取多个图像序列。
其中，每个图像序列中包含具有可穿戴对象的多个图像，多个图像中的可穿戴对象满足设定相似度。
本申请实施例中一个图像序列包括多个图像，该图像是具有可穿戴对象的图像，可穿戴对象可以是鞋子、帽子、衣服、发夹和围巾等可供购物者试穿或试戴的服饰，当然，也可以是其他的，例如，自行车、滑板车和平衡车等可供购物者试用的车辆，对此本申请实施例不做限制。图像序列中具有可穿戴对象的图像相互之间的相似度满足设定相似度，例如，以具有可穿戴对象的图像是鞋子图像为例进行说明，一个图像序列中的鞋子图像之间的相似度是满足设定相似度，也就是说一个图像序列中的鞋子图像是具有很多共同之处的，具体设置方式可以由本领域的技术人员根据实际情况进行设置，例如，一个图像序列中的鞋子图像中的鞋子颜色、鞋子高低、鞋子面料、鞋子所属男鞋女鞋童鞋等是相同的。本示例以设定相似度对鞋子共同之处进行量化，提高了图像序列中图像分类的准确率。
需要说明的是，本申请实施例提供的图像处理方法应用于穿戴场景中，如图2所示，图2为本申请实施例提供的一种应用场景示例地示意图，图2中以具有可穿戴对象的图像是鞋子图像为例进行说明，可以理解的是，本申请实施例提供的图像处理方法也可以应用于对服饰类、头饰或首饰类等试穿场景中，图2中获取多个图像序列，以9个图像序列示出，每个图像序列中包括至少一个鞋子图像，针对每个图像序列，对其中的每个鞋子图像进行识别，根据识别结果获得该图像序列的可穿戴对象置信度和可穿戴对象标识，可穿戴对象置信度在图2中以百分比的形式示出，可以根据可穿戴对象置信度与预设的置信度阈值之间的关系对图像序列匹配对象的数据处理规则，然后根据数据处理规则和可穿戴对象标识确定该图像序列中图像中的鞋子是否是目标鞋子，也就是可以知道哪些是本门店中的在售鞋子。进一步的，还可以根据确定为本门店中的鞋子对应的图像序列确定出试穿事件，帮助商家实时掌握购物者、货物、门店三者之间的数字化反馈结果，为新品鞋子研发提供参考。
步骤s102、针对每个图像序列，对该图像序列中的多个图像进行可穿戴对象识别，获得该图像序列的可穿戴对象置信度和该图像序列对应的可穿戴对象标识。
图像序列对应的可穿戴对象标识可以是可穿戴对象的身份号码id，用于将不同标识的可穿戴对象区分开，并可以通过可穿戴对象标识实现对可穿戴对象的追踪。以具有可穿戴对象的图像是鞋子图像为例进行说明，每个鞋子均有商品编号，商品编号可以是内部条码、数字、二维码、字母或者其之间的任意组合等，只要是能对鞋子起到标识作用即可，且每个类型的鞋子都有一个唯一的商品编号，不同大小、左右脚的鞋子共享一个商品编号，相同类型的鞋子为一个商品编号，用于将本鞋子与其他鞋子区别开来。
对图像序列中每个图像的可穿戴对象置信度进行识别，也就是对序列图像中的多个图像进行聚类分析，从而得到该图像序列的可穿戴对象置信度和可穿戴对象标识。
步骤s103、根据可穿戴对象置信度与预设的第一置信度阈值、第二置信度阈值和第三置信度阈值的关系，确定匹配的可穿戴对象数据处理规则。
其中，第一置信度阈值大于第二置信度阈值，第二置信度阈值大于第三置信度阈值。
本申请中数据处理规则用于对图像序列中的可穿戴对象进行筛选处理，通过设置数据处理规则，根据可穿戴对象置信度与预设的三个置信度阈值之间的关系，为图像序列匹配与其相适应的可穿戴对象数据处理规则。
步骤s104、根据数据处理规则，和该图像序列对应的可穿戴对象标识，确定该图像序列中的可穿戴对象是否为目标可穿戴对象。
根据可穿戴对象数据处理规则和该图像序列对应的可穿戴对象标识对可穿戴对象进行分级筛选，从而确定该图像序列中的可穿戴对象是否为目标可穿戴对象，目标可穿戴对象为对可穿戴对象进行分级筛选后，满足条件的可穿戴对象。
根据本申请实施例提供的图像处理方案，获取多个图像序列，图像序列中包含的具有可穿戴对象的图像，不依赖于高帧率视频，只要是满足设定相似度的图像即可，不需要较高的数据传输及计算能力，提高图像处理速度；针对每个图像序列，对该图像序列中的多个图像进行可穿戴对象识别，获得该图像序列的可穿戴对象置信度和该图像序列对应的可穿戴对象标识，通过可穿戴对象标识实现对可穿戴对象的追踪，提高了可穿戴对象的识别准确率；通过设置数据处理规则，根据可穿戴对象置信度与预设的第一置信度阈值、第二置信度阈值和第三置信度阈值之间的关系为图像序列匹配与其对应的数据处理规则，然后根据该匹配的数据处理规则和该图像序列对应的可穿戴对象标识对可穿戴对象进行分级筛选，可以确定该图像序列中的可穿戴对象是否为目标可穿戴对象，保证了可穿戴对象的识别准确率，并且不需要在每个可穿戴对象张贴标签，节省了成本。
以具有可穿戴对象的图像是鞋子图像为例进行说明，一种可实现的方式中，基于rfid方式实现试穿识别技术，该识别技术需要在每个鞋子张贴标签，并且在试穿区部署传感器，运维过程较为复杂，且成本较高。另一种可实现的方式中，基于纯视觉的人体动作识别技术，通过采集高帧率的视频，然后提取高帧率视频中的人体骨架结构及运动过程，再通过行为识别网络分析等算法进行动作识别，来获得购物者试穿的可穿戴对象的数据。该识别技术依赖高帧率的视频来提取人体骨架结构及运动过程，对数据传输及计算能力要求高，需要人体骨架结构及运动过程满足既定的形态，然后通过神经网络完成动作识别，才能识别出购物者的试穿行为中的可穿戴对象，对数据传输要求高，算力开销大，使得识别成本高且识别准确率较低。本申请实施例提供的图像处理方法，不依赖于高帧率视频，只要是满足设定相似度的图像即可，不需要较高的数据传输及计算能力，提高图像处理速度，并且不需要在每个可穿戴对象张贴标签，节省了成本，在识别目标可穿戴对象的过程中，对可穿戴对象进行分级筛选，提高了可穿戴对象的识别准确率，又因无需依赖于对高帧率视频的处理，也大大降低了识别成本。
实施例二、
本申请实施例二基于实施例一的方案，可选地，在本申请的一种实施例中，其中的步骤s103中的数据处理规则包括第一数据处理规则、第二数据处理规则、第三数据处理规则，在确定匹配的可穿戴对象数据处理规则时，在此列举三个示例进行说明。
第一个示例，当可穿戴对象置信度大于或等于第一置信度阈值时，数据处理规则为第一数据处理规则；第一数据处理规则用于直接将可穿戴对象标识所标示的可穿戴对象确定为目标可穿戴对象。
以第一置信度阈值设置为0.8为例进行说明，若图像序列的可穿戴对象置信度为0.9，表明该图像序列中的可穿戴对象是目标可穿戴对象，则直接将可穿戴对象标识所标示的可穿戴对象确定为目标可穿戴对象。
第二个示例，当可穿戴对象置信度小于第一置信度阈值且大于或等于第二置信度阈值时，数据处理规则为第二数据处理规则；第二数据处理规则用于根据可穿戴对象标识所标示的可穿戴对象与预先检测的拿取事件中的可穿戴对象进行相似度匹配。
需要说明的是，第二数据处理规则还可以用于当可穿戴对象置信度小于第三置信度阈值时，则直接将该图像序列中的可穿戴对象丢弃，不再对其进行处理。以第三置信度阈值设置为0.3为例进行说明，若图像序列的可穿戴对象置信度为0.25，表明该图像序列中的可穿戴对象是干扰对象，直接将可穿戴对象标识所标示的干扰对象丢弃，不再对其进行处理。
需要说明的是，预先检测的拿取事件为预设时间段内的拿取事件，预设时间段包括产生当前可穿戴对象时的时间点，示例的，预设时间段以产生当前可穿戴对象时的时间点为起始点，例如，产生当前可穿戴对象时的时间点为16:23，预设时间段为1分钟，获取16:23-16:24时间段内的预先检测的拿取事件。本示例中的预先检测的拿取事件可以由其他的设备传输，也可以是直接对可穿戴对象进行拿取事件的处理后得到的，对此，本示例不做限制，拿取事件用于表征购物者产生拿取可穿戴对象的动作。
以第一置信度阈值设置为0.8、第二置信度阈值设置为0.6为例进行说明，若图像序列的可穿戴对象置信度为0.72，表明还不能确定该图像序列中的可穿戴对象是否为目标可穿戴对象，需要进一步将其与预先检测的拿取事件中的可穿戴对象进行相似度匹配，也就是进行模糊匹配后才能进一步对图像序列中的可穿戴对象进行筛选。
第三个示例，当可穿戴对象置信度小于第一置信度阈值且大于或等于第三置信度阈值时，数据处理规则为第三数据处理规则；第三数据处理规则用于判断可穿戴对象标识所标示的可穿戴对象是否属于预先检测的拿取事件中的可穿戴对象。
以第一置信度阈值设置为0.8、第三置信度阈值设置为0.3为例进行说明，若图像序列的可穿戴对象置信度为0.5，表明还不能确定该图像序列中的可穿戴对象是否为目标可穿戴对象，需要进一步判断可穿戴对象标识所标示的可穿戴对象是否属于预先检测的拿取事件中的可穿戴对象，也就是进行精准匹配后才能进一步对图像序列中的可穿戴对象进行筛选。
本示例通过设置三级数据处理规则，具体的，根据可穿戴对象置信度与预设的第一置信度阈值、第二置信度阈值和第三置信度阈值之间的关系，为图像序列匹配对应的第一数据处理规则、第二数据处理规则和第三数据处理规则，结合该图像序列对应的可穿戴对象标识可以实现对图像序列中的可穿戴对象进行分级筛选，保证了可穿戴对象的识别准确率。
基于实施例一的方案，可选地，其中的步骤s104可以实现为步骤s104a、步骤s104b和步骤s104c。如图3所示，图3为本申请实施例提供的一种图像序列对应的数据处理规则。
步骤s104a、按照第一数据处理规则确定该图像序列中的可穿戴对象是否为目标可穿戴对象。
先判断可穿戴对象置信度是否大于或等于第一置信度阈值，若是，则直接将该图像序列中的可穿戴对象确定为目标可穿戴对象，若否，也就是第一数据处理规则对应的结果为否，则执行步骤s104b。
如图3所示的第一数据处理规则，将可穿戴对象置信度是90％和80％对应的图像序列中的可穿戴对象确定为目标可穿戴对象。
步骤s104b、若第一数据处理规则对应的结果为否，则按照第三数据处理规则，判断可穿戴对象标识所标示的可穿戴对象是否属于预先检测的拿取事件中的可穿戴对象，确定该图像序列中的可穿戴对象是否为目标可穿戴对象。
在执行第三数据处理规则时，判断可穿戴对象置信度是否大于或等于第三置信度阈值，若是，则执行判断可穿戴对象标识所标示的可穿戴对象是否属于预先检测的拿取事件中的可穿戴对象；若否，则直接将该图像序列中的可穿戴对象丢弃。
如图3所示的第三数据处理规则，将可穿戴对象置信度是10％对应的图像序列中的可穿戴对象直接丢弃。
示例地，获取预设时间段内至少一个拿取事件中的可穿戴对象标识，判断至少一个预先检测的拿取事件中的可穿戴对象标识中是否存在图像序列对应的可穿戴对象标识，实现对可穿戴对象的精准匹配。若存在，则将该图像序列中的可穿戴对象确定为目标可穿戴对象，若不存在，则执行步骤s104c。
可选地，在本申请的一种实施例中，其中的步骤s104b可以实现为：将图像序列对应的可穿戴对象标识与所述至少一个拿取事件对应的可穿戴对象标识进行匹配；若该图像序列对应的可穿戴对象标识与所述至少一个拿取事件中任意一个拿取事件对应的可穿戴对象标识相同，则将该图像序列中的可穿戴对象确定为目标可穿戴对象。
将图像序列对应的可穿戴对象标识与至少一个拿取事件对应的可穿戴对象标识进行匹配，若该图像序列对应的可穿戴对象标识与至少一个拿取事件中任意一个拿取事件对应的可穿戴对象标识相同，则将该图像序列中的可穿戴对象确定为目标可穿戴对象，若第三数据处理规则对应的结果为否，也就是该图像序列对应的可穿戴对象标识与所有拿取事件的可穿戴对象标识均不同，则执行步骤s104c。
如图3所示的第三数据处理规则，将可穿戴对象置信度是60％、39％、76％、77％、45％、55％对应的图像序列中的可穿戴对象标识与预先检测的拿取事件中的可穿戴对象标识进行相似度匹配，完成精准匹配。
例如，在经过第三数据处理规则之后，将可穿戴对象置信度是77％、45％对应的图像序列中的可穿戴对象确定为目标可穿戴对象。
步骤s104c、若第三数据处理规则对应的结果为否，则按照第二数据处理规则，对可穿戴对象标识所标示的可穿戴对象与预先检测的拿取事件中的可穿戴对象进行相似度匹配，确定该图像序列中的可穿戴对象是否为目标可穿戴对象。
在执行第二数据处理规则时，判断可穿戴对象置信度是否大于或等于第二置信度阈值，若是，则执行对可穿戴对象标识所标示的可穿戴对象与预先检测的拿取事件中的可穿戴对象进行相似度匹配；若否，则直接将该图像序列中的可穿戴对象丢弃。
如图3所示的第二数据处理规则，将可穿戴对象置信度是39％、55％对应的图像序列中的可穿戴对象直接丢弃。
示例地，获取预设时间段内至少一个拿取事件中的可穿戴对象的图像特征，计算图像序列中可穿戴对象的图像特征与至少一个拿取事件中的可穿戴对象的图像特征之间的相似度，也就是对可穿戴对象与至少一个拿取事件中的可穿戴对象之间的特征进行相似度匹配，实现对可穿戴对象的模糊匹配，进一步对图像序列中的可穿戴对象进行筛选。若匹配成功，则直接将该图像序列中的可穿戴对象确定为目标可穿戴对象，若匹配不成功，则直接将该图像序列中的可穿戴对象丢弃。
在图3中可穿戴对象置信度是77％对应的图像序列中的可穿戴对象已经被确定为目标可穿戴对象，则在第二数据处理规则中，仅需要对可穿戴对象置信度是60％、76％对应的图像序列进行筛选即可。如图3所示的第二数据处理规则，将可穿戴对象置信度是60％、76％对应的图像序列中的可穿戴对象的图像特征与拿取事件中的可穿戴对象的图像特征进行相似度匹配，完成模糊匹配。
例如，在经过第三数据处理规则之后，将可穿戴对象置信度是76％对应的图像序列中的可穿戴对象直接丢弃，将可穿戴对象置信度是60％对应的图像序列中的可穿戴对象确定为目标可穿戴对象。
可选地，在本申请的一种实施例中，在对可穿戴对象标识所标示的可穿戴对象与拿取事件中的可穿戴对象进行相似度匹配时，其中的步骤s104c可以实现为步骤s104c1和步骤s104c2，步骤s104c1、将该图像序列中可穿戴对象的多个图像的图像特征与所述至少一个拿取事件的可穿戴对象标识对应的图像特征进行相似度匹配，获得该图像序列的匹配置信度；步骤s104c2、若所述匹配置信度大于或等于相似度阈值，则将该图像序列对应的可穿戴对象确定为目标可穿戴对象。
需要说明的是，图像特征用于表征具有可穿戴对象的图像的特征，以x表示图像特征为例，x＝[x1,x2,x3…xn]，xi为各维度数字，n为特征维数，图像特征的维度可以是512维，也可以是256维，也可以是128维等等，本领域技术人员可以根据具体需求进行设置，对此本示例不做限制，可以理解的是，特征的维度越多，在进行相似度匹配时的匹配结果越准确。若该图像序列的匹配置信度大于或等于相似度阈值，则直接将该图像序列中的可穿戴对象确定为目标可穿戴对象，若该图像序列的匹配置信度小于相似度阈值，则直接将该图像序列中的可穿戴对象丢弃。
可选地，在本申请的一种实施例中，其中的步骤s104c1在获得该图像序列的匹配置信度时，可以实现为：计算该图像序列中可穿戴对象的多个图像的图像特征与所述至少一个拿取事件的可穿戴对象标识对应的图像特征之间的相似度，得到多个匹配置信度；将所述多个匹配置信度中最大匹配置信度作为该图像序列的匹配置信度。
图像序列中包括多个图像，计算图像序列中的每个图像的图像特征与至少一个拿取事件的可穿戴对象标识对应的图像特征之间的相似度，得到多个匹配置信度，将多个匹配置信度中最大匹配置信度作为该图像序列的匹配置信度。
需要说明的是，本示例在进行图像特征之间的相似度匹配时，可以将相似度表示为图像特征与图像特征之间的余弦距离表示的余弦相似度，也可以是欧式距离表示的相似度，也可以是范数表示的相似度。
本示例按照第一数据处理规则、第三数据处理规则、第二数据处理规则的顺序依次对多个图像序列进行筛选，可以减少数据重复计算和筛选的过程，提高可穿戴对象的识别效率。
实施例三、
本申请实施例三基于实施例一和实施例二的方案，其中的步骤s101可以实现为步骤s101a和步骤s101b，步骤s101a、获取多个原始图像，一个原始图像包括至少一个可穿戴对象；步骤s101b、根据多个原始图像中的多个可穿戴对象的图像特征，对多个原始图像中的可穿戴对象进行分类，得到多个图像序列。
原始图像是未经处理过的图像，以具有可穿戴对象的图像是鞋子图像为例进行说明，如图4所示，图4为本申请实施例提供的一种多个图像序列的示意图，图4中的多个原始图像可以是由鞋品类门店内的拍摄装置拍摄的图像，也可以是根据鞋品类门店内的录制视频获得的图像帧，对此本申请实施例不做限制。一个原始图像中包括至少一个鞋子，一种可实现的方式中，对每个原始图像进行处理，得到至少一个鞋子图像，该处理可以是剪切也可以是分离，只要是得到的一个鞋子图像对应一只鞋子即可，处理完原始图像之后，可以得到至少一个鞋子图像，然后对鞋子图像进行图像特征提取，本示例中利用图像特征提取网络对鞋子图像进行图像特征提取，从而得到鞋子图像的图像特征；另一种可实现的方式中，直接对原始图像进行图像特征提取，如图4所示，将原始图像依次输入图像特征提取网络进行图像特征提取，从而得到鞋子图像的图像特征。可选地，本示例中是利用图像特征提取网络对原始图像中的可穿戴对象进行图像特征提取，获得可穿戴对象的图像特征，图像特征提取网络可以是深度神经网络(deepneuralnetworks，简称dnn)，例如ibn-net，可以理解的是，本申请的图像特征提取网络也可以是其他的识别网络，例如，resnet，只要是能提取图像中的图像特征即可。图4中用向量x＝[x1,x2,x3…xn]表示图像特征，xi为第i维度的特征，n为图像特征的维数，在对多个原始图像进行特征提取后，得到m个鞋子图像的图像特征，m为大于或等于3的整数。然后根据m个鞋子图像的图像特征对多个鞋子图像进行分类，得到多个图像序列。
需要说明的是，在根据图像特征对图像序列进行分类时，也可以通过以下方式实现：先对第一个原始图像进行图像特征提取，得到第一个鞋子图像的图像特征，创建第一个图像序列，第一个图像序列中包括第一个鞋子图像，然后再对第二个鞋子图像进行图像特征提取，得到第二个鞋子图像的图像特征，判断第二个鞋子图像与第一个鞋子图像之间的相似度是否满足设定相似度，若满足，则加入第一个图像序列，若不满足，则新建一个图像序列，再对第三个鞋子图像进行图像特征提取，依次类推，完成对鞋子图像的分类，得到多个图像序列。
需要说明的是，本申请实施例的一种应用场景中，获取一天营业时间内的视频，该视频中包括多个原始图像，时间跨度比较长，本申请实施例的图4中在对原始图像进行鞋子图像的分类时，并不是采用一天营业时间内采集的原始图像，而是对一个短时间内采集的原始图像进行分类，例如3分钟内，该短时间段可以由本领域的技术人员根据具体需求进行设置。若本申请实施例中是对3分钟内的原始图像进行图像特征提取，并根据图像特征对图像序列进行分类，然后结合图像序列对应的可穿戴对象标识实现对图像序列中的可穿戴对象进行分级筛选时，所使用到的拿取事件同样是在这3分钟内，也就是说实施例一以及实施例二中步骤s104b和步骤s104c中拿取事件是在这3分钟内，且拿取时间的时间长度需要小于3分钟。
其中的步骤s101b中在对可穿戴对象进行分类时，可以实现为：根据所述多个原始图像，构建初始图像序列，获得所述初始图像序列中的图像的图像特征；基于所述初始图像序列中的图像的图像特征与除所述初始图像序列中的图像之外的其它原始图像的图像特征之间的相似度，以及，所述其它原始图像的图像特征之间的相似度，对所述多个原始图像进行分类，得到所述多个图像序列。
示例地，在构建初始图像序列时，在多个可穿戴对象中选择任意一个可穿戴对象构建初始图像序列；计算可穿戴对象的图像特征与初始图像序列中可穿戴对象的图像特征的相似度，得到分类置信度，若分类置信度大于或等于设定相似度，则将分类置信度对应的可穿戴对象加入初始图像序列，依次将大于或等于设定相似度的分类置信度对应的可穿戴对象加入初始图像序列，得到一个图像序列，直至所有的可穿戴对象分类完成，得到多个图像序列。
需要说明的是，本示例中的在进行图像特征之间的相似度分类时，可以将相似度表示为图像特征与图像特征之间的余弦距离表示的余弦相似度，也可以是欧式距离表示的相似度，也可以是范数表示的相似度。
以具有可穿戴对象的图像是鞋子图像为例进行说明，在进行单个图像序列的匹配时，在多个鞋子图像中选择一个任意鞋子图像构建初始图像序列，为便于对计算分类置信度进行说明，将该初始图像序列内鞋子图像的图像特征设置为y＝[y1,y2,y3…yn]，分别计算鞋子图像的图像特征与图像特征y＝[y1,y2,y3…yn]之间的分类置信度。本示例中的分类置信度以余弦相似度示出
需要说明的是，若一个图像序列中存在一个鞋子图像，则对某个鞋子图像进行图像序列的匹配时，计算该鞋子图像与图像序列中存在的鞋子图像的相似度，将相似度作为该鞋子图像的分类置信度。若一个图像序列中已经存在m个鞋子图像，m为大于1的整数，再对某个鞋子图像进行图像序列的匹配时，计算该鞋子图像与图像序列中已经存在m张鞋子图像的相似度，得到m个相似度，本示例中该鞋子图像的分类置信度设置为m个相似度中的最大值。
本示例利用图像特征提取网络对多个原始图像中的可穿戴对象进行图像特征提取，获得多个可穿戴对象的图像特征，采用图像特征提取网络提取图像特征，不依赖于高帧率视频，在低帧率情况下仍可以保证可穿戴对象追踪的准确率，并且不需要在每个可穿戴对象张贴标签，节省了成本。然后根据多个可穿戴对象的图像特征对多个原始图像中的可穿戴对象进行分类，得到多个图像序列，由于是使用图像特征对多个原始图像中的可穿戴对象进行分类，提高了分类结果的准确率。
本申请实施例三基于实施例一和实施例二的方案，其中的步骤s102可以实现为步骤s102a-步骤s102c，步骤s102a、根据预设可穿戴对象，对该图像序列中每个图像进行可穿戴对象识别，得到多个识别置信度；步骤s102b、将所述多个识别置信度中的最大识别置信度确定为该图像序列的可穿戴对象置信度；步骤s102c、将所述多个识别置信度中最大识别置信度对应的预设可穿戴对象的标识确定为该图像序列对应的可穿戴对象标识。
预设可穿戴对象是预先设置好的标准可穿戴对象，预设可穿戴对象的图像特征和可穿戴对象的标识均是已知的，且一个预设可穿戴对象对应一个图像特征和一个标识，以具有可穿戴对象的图像是鞋子图像为例进行说明，预设可穿戴对象是鞋品类门店中在售鞋子，在售鞋子的库存图像特征为图像特征，在售鞋子的图像特征和标识均是已知的。对图像序列中的每个图像进行识别，计算每个图像的图像特征与多个预设可穿戴对象图像特征之间的相似度，将所有图像的相似度作为多个识别置信度，若第i个可穿戴对象置信度confi是多个识别置信度中的最大识别置信度，则将第i个可穿戴对象置信度confi作为图像序列的可穿戴对象置信度conf＝max(confi)，conf表示图像序列的可穿戴对象置信度，并将第i个可穿戴对象置信度confi对应的预设可穿戴对象标识作为图像序列的可穿戴对象标识。
本申请实施例通过计算该图像序列中每个图像的图像特征与每个预设可穿戴对象的图像特征之间的相似度，得到多个识别置信度；并将多个识别置信度中最大识别置信度确定为该图像序列的可穿戴对象置信度，以及将多个识别置信度中最大识别置信度对应的预设可穿戴对象的标识确定为该图像序列对应的可穿戴对象标识，由于采用图像特征对多个原始图像中的可穿戴对象进行识别，提高了识别结果中可穿戴对象置信度和可穿戴对象标识的准确率。
需要说明的是，本示例中的在进行图像特征之间的相似度识别时，可以将相似度表示为图像特征与图像特征之间的余弦距离表示的余弦相似度，也可以是欧式距离表示的相似度，也可以是范数表示的相似度。
本申请实施例三基于实施例一和实施例二的方案，可选地，在本申请的一种实施例中，在根据实施例一和实施例二任意实施例中对图像进行处理时，是对预设周期内的多个图像序列进行处理，可选地，该图像处理方法还包括步骤s301和步骤s302。步骤s301、基于滑动时间窗口，将所述多个图像序列中、相邻时间窗口中具有相同目标可穿戴对象的图像序列进行合并，得到至少一个合并图像序列；步骤s302、根据多个图像序列和至少一个合并图像序列确定多个最终图像序列。
本示例以相邻区间表示相邻时间窗口为例进行说明，获取预设周期内的多个图像序列，将预设周期划分为多个区间，得到每个区间内的多个图像序列，对相邻区间内多个图像序列进行合并，得到至少一个合并图像序列。预设周期可以由本领域技术人员根据实际需求进行设置，例如，可以是半天营业时间，也可以是一天营业时间等等。以预设周期是一天营业时间为例，对该预设周期进行区间划分，例如，以3分钟为区间，将预设周期划分为多个3分钟区间，对每3分钟区间内的原始图像进行图像特征提取、根据图像特征对3分钟区间内可穿戴对象进行图像序列分类，得到图像序列的可穿戴对象置信度和该图像序列对应的可穿戴对象标识。然后，本申请实施例还通过滑动时间窗口对图像序列进行合并，也就是将相邻区间内多个图像序列进行合并，得到合并图像序列。本示例中还将多个图像序列中除去属于合并图像序列的图像序列后的图像序列，以及至少一个合并图像序列确定为多个最终图像序列。可以避免由于受遮挡等情况的影响，使得某购物者的单次试穿过程分裂成多个图像序列，本申请实施例提供的对图像序列进行合并的步骤，保证了图像处理结果的准确率。
其中步骤s301在将多个图像序列中、具有相同目标可穿戴对象的图像序列进行合并时，若多个图像序列中存在可穿戴对象标识相同的图像序列，则将具有相同可穿戴对象标识的图像序列进行合并，并将具有相同可穿戴对象标识的图像序列中、对应的可穿戴对象置信度的最大值作为合并图像序列的可穿戴对象置信度。
本示例在对相邻区间多个图像序列进行合并时，是通过判断两个图像序列对应的可穿戴对象标识是否相同，若相同，表明这两个图像序列中可穿戴对象是属于同一个可穿戴对象，也可以说这两个图像序列属于同一次试穿过程，则将这两个图像序列合并为同一个图像序列，并将两个图像序列中可穿戴对象置信度最大值作为合并图像序列的可穿戴对象置信度，使得在利用图像序列进一步确定试穿事件时，提高试穿事件的准确率。
在得到多个最终图像序列之后，本申请实施例提供的图像处理方法还包括以下处理步骤：针对每个最终图像序列，若最终图像序列中包含具有可穿戴对象的图像的数量小于预设长度，并且，最终图像序列的可穿戴对象置信度小于预设置信度，则丢弃该最终图像序列。
本示例判断最终图像序列中包含具有可穿戴对象的图像的数量是否小于预设长度，该预设长度可以由本领域技术人员根据实际情况或每次对最终图像序列进行试穿事件的确定时所使用的实验数据进行设置，例如，该预设长度可以设置为3，并且判断最终图像序列的可穿戴对象置信度是否小于预设置信度，该预设置信度可以由本领域技术人员根据实际情况或每次对最终图像序列进行试穿事件的确定时所使用实验数据进行设置，例如，该预设置信度可以设置为0.8。若最终图像序列中包含具有可穿戴对象的图像的数量小于3、且最终图像序列的可穿戴对象置信度小于0.8，则直接将最终图像序列丢弃，也就是该最终图像序列不能作为一次试穿事件。若最终图像序列中包含具有可穿戴对象的图像的数量大于或等于3，或者，最终图像序列的可穿戴对象置信度大于或等于0.8，则直接最终图像序列可以作为一次试穿事件，该最终图像序列中可穿戴对象为目标可穿戴对象。本申请实施例对每个最终图像序列做进一步判断，若最终图像序列中包含具有可穿戴对象的图像的数量较少，且最终图像序列的可穿戴对象置信度较低，则认为是噪声，需要将最终图像序列丢弃。若最终图像序列的可穿戴对象置信度较高，即使最终图像序列中包含具有可穿戴对象的图像的数量较少，例如只有一个具有可穿戴对象的图像，也可认为是一次试穿事件；若最终图像序列的可穿戴对象置信度较低，例如，最终图像序列的可穿戴对象置信度是0.4，但是最终图像序列中包含具有可穿戴对象的图像的数量很多，也可认为是一次试穿事件，从而提高目标可穿戴对象的召回率。
可选地，在本申请的一种实施例中，在得到多个最终图像序列之后，若最终图像序列未被丢弃，则基于该最终图像序列确定试穿事件。
在得到最终图像序列之后，若该最终图像序列未被丢弃，则将该最终图像序列确定为一次试穿事件，以具有可穿戴对象的图像是鞋子图像为例进行说明，可以根据确定为本门店中的鞋子对应的图像序列确定出一次试穿事件，帮助商家实时掌握购物者、货物、门店三者之间的数字化反馈结果，为新品鞋子研发提供参考。
实施例四、
本申请实施例提供了另一种图像处理方法，如图5所示，图5为本申请实施例提供的另一种图像处理方法的步骤流程图，该图像处理方法包括：
步骤s501、获取多个原始图像。
其中，一个原始图像包括至少一个可穿戴对象。
步骤s502、根据多个原始图像中的多个可穿戴对象的图像特征，对多个原始图像中的可穿戴对象进行分类，得到多个图像序列。
其中，每个图像序列中包含具有可穿戴对象的多个图像，多个图像中的可穿戴对象满足设定相似度。
本申请实施例中的步骤s501和步骤s502与实施例三中的步骤s101a和步骤s101b一致，具有相应的方法实施例的有益效果，可参照前述方法实施例中的相应部分的描述，在此不再赘述。
步骤s503、针对每个图像序列，对该图像序列中的多个图像进行可穿戴对象识别，获得该图像序列的可穿戴对象置信度和该图像序列对应的可穿戴对象标识。
本申请实施例中的步骤s503与实施例一中的步骤s102一致，具有相应的方法实施例的有益效果，可参照前述方法实施例中的相应部分的描述，在此不再赘述。
步骤s504、根据该图像序列的可穿戴对象置信度和该图像序列对应的可穿戴对象标识，确定该图像序列中的可穿戴对象是否为目标可穿戴对象。
根据本申请实施例提供的图像处理方案，该原始图像是未经处理过的低帧率原始图像，是通过对多个原始图像中的多个可穿戴对象的图像特征进行分类，不依赖于高帧率视频，在低帧率情况下仍可以保证可穿戴对象追踪的准确率，然后根据图像特征进行分类得到多个图像序列，该图像序列中包含的具有可穿戴对象的图像，只要是满足设定相似度的图像即可，不需要较高的数据传输及计算能力，提高图像处理速度。并且由于是使用图像特征对多个原始图像中的可穿戴对象进行分类，提高了分类结果的准确率。针对每个图像序列，对该图像序列中的多个图像进行可穿戴对象识别，获得该图像序列的可穿戴对象置信度和该图像序列对应的可穿戴对象标识，通过可穿戴对象标识实现对可穿戴对象的追踪，提高了可穿戴对象的识别准确率。然后根据该图像序列的可穿戴对象置信度和该图像序列对应的可穿戴对象标识对可穿戴对象进行筛选，确定该图像序列中的可穿戴对象是否为目标可穿戴对象，保证了可穿戴对象的识别准确率，又因无需依赖于对高帧率视频的处理，也大大降低了识别成本。
可选地，在本申请的一种实施例中，步骤s502可通过以下步骤s502a-s502b实现。步骤s502a、根据多个原始图像，构建初始图像序列，获得初始图像序列中的图像的图像特征；步骤s502b、基于初始图像序列中的图像的图像特征与除初始图像序列中的图像之外的其它原始图像的图像特征之间的相似度，以及，其它原始图像的图像特征之间的相似度，对多个原始图像进行分类，得到多个图像序列。
本申请实施例中的步骤s502的具体实现方式与实施例三中的步骤s101b中在对可穿戴对象进行分类时一致，具有相应的方法实施例的有益效果，可参照前述方法实施例中的相应部分的描述，在此不再赘述。
可选地，列举两个示例对步骤s502a中根据多个原始图像构建初始图像序列进行说明。第一个示例，利用深度神经网络模型对多个原始图像进行特征提取，获得多个原始图像中的可穿戴对象的图像特征；在多个原始图像中的可穿戴对象的图像特征中确定初始图像的图像特征；根据初始图像的图像特征构建初始图像序列。第二个示例，从多个原始图像中确定初始图像；利用深度神经网络模型对初始图像进行特征提取，获得初始图像的图像特征；根据初始图像的图像特征构建初始图像序列。
本申请实施例中列举不同的具体分类方式，第一个示例中，是利用深度神经网络模型先对多个原始图像进行特征提取，然后从多个原始图像中的可穿戴对象的图像特征中任意或按照时间顺序选择一个图像特征作为初始图像的图像特征，根据该初始图像的图像特征构建初始图像序列。第二示例中，是先从多个原始图像中任意或按照时间顺序选择一个原始图像作为初始图像，然后利用图像特征提取网络对初始图像进行图像特征提取，获得初始图像的图像特征，根据初始图像的图像特征构建初始图像序列。
可选地，在本申请的一种实施例中，步骤s502b可通过以下步骤实现，计算初始图像序列中的图像的图像特征与除初始图像序列中的图像之外的其它原始图像的图像特征之间的相似度，得到至少一个分类置信度；将至少一个分类置信度中，大于或等于设定相似度的分类置信度对应的原始图像，加入初始图像序列，得到一个图像序列；并根据至少一个分类置信度中，小于设定相似度的分类置信度对应的原始图像，构建新的图像序列，直至多个原始图像进行分类完成，得到多个图像序列。
本示例中，若分类置信度大于或等于设定相似度，说明原始图像对应的可穿戴对象与初始图像序列中的可穿戴对象具有较高的相似度，是同一个图像序列的可能性非常大，则将分类置信度对应的可穿戴对象加入初始图像序列，并依次将大于或等于设定相似度的分类置信度对应的可穿戴对象加入初始图像序列，得到一个图像序列。若分类置信度小于设定相似度，说明原始图像对应的可穿戴对象与初始图像序列中的可穿戴对象具有较低的相似度，是同一个图像序列的可能性非常小，则根据该分类置信度对应的可穿戴对象构建一个新的图像序列，重复以上分类步骤，直至所有的可穿戴对象分类完成，得到多个图像序列。
可选地，在本申请的一种实施例中，步骤s503可通过以下步骤实现。根据预设可穿戴对象，对该图像序列中每个图像进行可穿戴对象识别，得到多个识别置信度；将多个识别置信度中的最大识别置信度确定为该图像序列的可穿戴对象置信度；将多个识别置信度中最大识别置信度对应的预设可穿戴对象的标识确定为该图像序列对应的可穿戴对象标识。
本申请实施例中的步骤s503的具体实现方式与上述实施例三中的步骤s102a-步骤s102c一致，具有相应的方法实施例的有益效果，可参照前述方法实施例中的相应部分的描述，在此不再赘述。
可选地，在本申请的一种实施例中，步骤s504可通过以下步骤s504a-s504b实现。步骤s504a、根据可穿戴对象置信度与预设的第一置信度阈值、第二置信度阈值和第三置信度阈值的关系，确定匹配的可穿戴对象数据处理规则，其中，第一置信度阈值大于第二置信度阈值，第二置信度阈值大于第三置信度阈值；步骤s504b、根据数据处理规则，和该图像序列对应的可穿戴对象标识，确定该图像序列中的可穿戴对象是否为目标可穿戴对象。
本申请实施例中的步骤s504a和步骤s504b的具体实现方式与上述实施例一中的步骤s103和步骤s104一致，具有相应的方法实施例的有益效果，可参照前述方法实施例中的相应部分的描述，在此不再赘述。
可选地，在本申请的一种实施例中，数据处理规则包括：直接将可穿戴对象标识所标示的可穿戴对象确定为目标可穿戴对象的第一数据处理规则；根据可穿戴对象标识所标示的可穿戴对象与预先检测的拿取事件中的可穿戴对象进行相似度匹配的第二数据处理规则；判断可穿戴对象标识所标示的可穿戴对象是否属于预先检测的拿取事件中的可穿戴对象的第三数据处理规则。
本申请实施例中的数据处理规则与上述实施例二中关于数据处理规则的描述一致，具有相应的方法实施例的有益效果，可参照前述方法实施例中的相应部分的描述，在此不再赘述。
可选地，在本申请的一种实施例中，步骤s504a可通过以下步骤实现：若可穿戴对象置信度大于或等于第一置信度阈值，则数据处理规则为第一数据处理规则；若可穿戴对象置信度小于第一置信度阈值且大于或等于第二置信度阈值，则数据处理规则为第二数据处理规则；若可穿戴对象置信度小于第一置信度阈值且大于或等于第三置信度阈值，则数据处理规则为第三数据处理规则。
本申请实施例中的步骤s504a的具体实现方式与上述实施例二中关于数据处理规则的三个示例一致，具有相应的方法实施例的有益效果，可参照前述方法实施例中的相应部分的描述，在此不再赘述。
可选地，在本申请的一种实施例中，步骤s504b可通过以下步骤实现：按照第一数据处理规则确定该图像序列中的可穿戴对象是否为目标可穿戴对象；若第一数据处理规则对应的结果为否，则按照第三数据处理规则，判断可穿戴对象标识所标示的可穿戴对象是否属于预先检测的拿取事件中的可穿戴对象，确定该图像序列中的可穿戴对象是否为目标可穿戴对象；若第三数据处理规则对应的结果为否，则按照第二数据处理规则，对可穿戴对象标识所标示的可穿戴对象与预先检测的拿取事件中的可穿戴对象进行相似度匹配，确定该图像序列中的可穿戴对象是否为目标可穿戴对象。
本申请实施例中的步骤s504b的具体实现方式与上述实施例二中的步骤s104a-步骤s104c一致，具有相应的方法实施例的有益效果，可参照前述方法实施例中的相应部分的描述，在此不再赘述。
进一步，列举一个具体地示例对本申请实施例中对图像处理进行说明，具体如下。如图6所示，图6为本申请实施例提供的再一种图像处理方法的步骤流程图，图6中以具有可穿戴对象的图像是鞋子图像为例进行说明。
步骤s601、读取鞋子图像。示例的，可以从摄像头拍摄图像中直接扣出的多个原始图像，一个原始图像包括至少一个鞋子图像，每个鞋子图像均需要经过步骤s601-步骤s606的处理过程。
步骤s602、提取图像特征。在拿到鞋子图像后，利用深度神经网络提取鞋子图像的图像特征。示例的，该深度神经网络可以是ibn-net，当然该特征提取网络可也替换成其他识别网络，如resnet等。本示例中提取的图像特征为512维，当然，也可根据需求提取不同维度的图像特征，本示例中图像特征的维度设为n，用向量x＝[x1,x2,x3…xn]表示图像特征，其中x为深度特征，xi为第i维度的数字，n为图像特征的维数。
步骤s603、计算3分钟内的鞋子图像与图像序列中的鞋子图像之间的分类置信度。
针对3分钟内的每个鞋子图像，将鞋子图像与图像序列中存在的鞋子图像进行匹配，示例的，先将3分钟内第一个鞋子图像作为初始图像序列，在对某个鞋子图像进行图像序列的匹配时，计算该鞋子图像与图像序列中的鞋子图像之间的分类置信度，本示例中分类置信度可按照
若一个图像序列中已经存在m张鞋子图像，再对某个鞋子图像进行图像序列的匹配时，计算该鞋子图像与图像序列中已经存在m张鞋子图像的余弦相似度，得到m个余弦相似度，m为大于1的整数。本示例中该鞋子图像的分类置信度设置为m个余弦相似度中的最大值，
步骤s604、判断分类置信度是否大于或等于设定相似度0.7，若是，则执行步骤605，若否，则新建一个图像序列，并重复步骤s601-步骤s604，直至这3分钟内的所有鞋子图像分类完成。该设定相似度也可以是其他数值。
步骤s605、将满足大于或等于设定相似度0.7的分类置信度对应的鞋子图像加入对应初始图像序列。
步骤s606、识别图像序列的鞋子标识及图像序列的鞋子置信度。
对图像序列中的每个鞋子图像进行识别，将识别置信度中最大识别置信度对应的库存鞋品的skuid作为图像序列的鞋子标识，并将识别置信度中最大识别置信度作为图像序列的鞋子置信度，其中，skuid表示库存鞋品的商品编号。示例的，若第i个鞋子置信度confi是多个识别置信度中的最大识别置信度，则将第i个鞋子置信度confi作为图像序列的鞋子置信度conf＝max(confi)，conf表示图像序列的鞋子置信度，并将第i个置信度confi对应的库存鞋品的skuid作为图像序列的鞋子标识。
步骤s607、判断图像序列的鞋子置信度是否大于或等于阈值0.8，若是，则执行步骤s608，若否，则执行步骤s609。本步骤s607是对图像序列进行第一梯度处理，若置信度大于或等于0.8，则认为该鞋子图像表示是在售鞋子，可直接作为试穿事件中的一个片段，并执行步骤s614，否则需要做进一步判断。
步骤s608、判断图像序列的鞋子置信度是否大于或等于阈值0.3，若是，则执行步骤609，若否，则将图像序列丢弃，也就是丢弃该图像序列。
步骤s609、基于图像序列的鞋子标识与1分钟内所有拿取事件对应的库存鞋品的skuid进行匹配。
假设在距离图像序列开始时间1分钟内存在n次拿取事件，一次拿取事件对应一个库存鞋品的skuid，一个库存鞋品的skuid对应一组库存图像特征。
步骤s610、判断1分钟内否存在相同鞋子id拿取事件，也就是判断匹配是否成功，若是，则匹配成功，执行步骤s614，若否，则执行步骤s611。该匹配方式示例为：将1分钟内的多个拿取事件对应的库存鞋品的skuid和图像序列的鞋子标识进行对比，若图像序列的鞋子标识与任何一个拿取事件对应的库存鞋品的skuid相同，则匹配成功。本步骤s610完成了第三梯度的数据处理，即精确匹配拿取事件。
步骤s611、判断图像序列的鞋子置信度是否大于或等于阈值0.6，若是，则执行步骤s612，若否，则将图像序列丢弃。
步骤s612、基于图像序列的图像特征与1分钟的拿取事件对应的库存鞋品的图像特征进行匹配，得到匹配置信度，该匹配方式示例为：将图像序列的每个鞋子图像的图像特征与每个拿取事件对应库存图像特征的库存特征计算余弦距离，得到多个匹配置信度，并将多个匹配置信度中最大值作为该图像序列的匹配置信度。
步骤s613、判断图像序列的匹配置信度是否大于或等于相似度阈值0.6，也就是判断是否匹配成功，若是，则匹配成功，执行步骤s614，若否，则将图像序列丢弃，也就是丢弃该图像序列。本步骤完成了第二梯度的数据处理，即模糊匹配拿取事件。
步骤s614、汇总所有经过以上处理的图像序列。即对步骤s605得到的所有图像序列进行步骤s606-步骤s613的处理，在本步骤s614中汇总所有通过筛选步骤得到的图像序列。
步骤s615、通过滑动窗口形式将3分钟内步骤s614中具有相同鞋子标识的图像序列进行合并，得到合并后的图像序列。由于在购物者试穿鞋子时，会受遮挡等情况的影响，单次试穿过程可能分裂成多个图像序列。为了保证数据的准确率。每个图像序列是一次试穿过程中的试穿片段，本步骤s614利用时间窗口合并试穿片段。
步骤s616、判断合并后的图像序列的序列长度是否小于预设长度3以及图像序列的鞋子置信度是否小于预设置信度0.8，序列长度也就是图像序列中鞋子图像的数量，若是，则将该图像序列丢弃，若否，则将该图像序列确定为一次试穿事件。本示例对合并后的每个图像序列做进一步判断，若图像序列的序列长度较短、且图像序列的鞋子置信度较低，则认为是噪声，需要将该图像序列丢弃；若图像序列的鞋子置信度较高，即使图像序列中只有一个鞋子图像，也可认为是一次试穿事件，若图像序列的鞋子置信度较低，但是图像序列中鞋子图像的数量较多，也可认为是一次试穿事件，保证试穿事件的召回率。
本示例利用深度图像特征在不同鞋子图像中追踪相似图像特征的鞋子图像，得到多个图像序列，不依赖于高帧率视频，不需要较高的数据传输及计算能力，提高图像处理速度；然后再对图像序列的鞋子置信度和图像序列的鞋子标识进行识别，进而保证鞋子标识的识别准确率；同时提出了三级数据处理策略，一级通过高识别置信度直接确认试穿事件，二级以模糊匹配拿取事件的方式确认试穿事件，三级通过精确匹配的方式确认试穿事件，提高试穿事件的识别准确率；若按照一级、三级、二级的顺序依次对多个图像序列进行筛选，可以减少数据重复计算和筛选的过程，提高图像序列的识别效率。最后以滑动窗口的方式合并具有相同标识的图像序列，避免单次试穿过程分裂成多个图像序列的情况，在保证试穿事件识别准确率的同时，增加了试穿事件的召回率。
实施例五、
本申请实施例提供了一种图像处理装置，如图7所示，图7为本申请实施例提供的一种图像处理装置，图像处理装置70包括：
第一获取模块701用于获取多个图像序列，其中，每个图像序列中包含具有可穿戴对象的多个图像，多个图像中的可穿戴对象满足设定相似度；
第一识别模块702用于针对每个图像序列，对该图像序列中的多个图像进行可穿戴对象识别，获得该图像序列的可穿戴对象置信度和该图像序列对应的可穿戴对象标识；
匹配模块703用于根据可穿戴对象置信度与预设的第一置信度阈值、第二置信度阈值和第三置信度阈值的关系，确定匹配的可穿戴对象数据处理规则，其中，第一置信度阈值大于第二置信度阈值，第二置信度阈值大于第三置信度阈值；
第一确定模块704用于根据数据处理规则，和该图像序列对应的可穿戴对象标识，确定该图像序列中的可穿戴对象是否为目标可穿戴对象。
可选地，在本申请的一种实施例中，数据处理规则包括：直接将可穿戴对象标识所标示的可穿戴对象确定为目标可穿戴对象的第一数据处理规则；根据可穿戴对象标识所标示的可穿戴对象与预先检测的拿取事件中的可穿戴对象进行相似度匹配的第二数据处理规则；判断可穿戴对象标识所标示的可穿戴对象是否属于预先检测的拿取事件中的可穿戴对象的第三数据处理规则。
可选地，在本申请的一种实施例中，匹配模块703还用于若可穿戴对象置信度大于或等于第一置信度阈值，则数据处理规则为第一数据处理规则；若可穿戴对象置信度小于第一置信度阈值且大于或等于第二置信度阈值，则数据处理规则为第二数据处理规则；若可穿戴对象置信度小于第一置信度阈值且大于或等于第三置信度阈值，则数据处理规则为第三数据处理规则。
可选地，在本申请的一种实施例中，第一确定模块704还用于按照第一数据处理规则确定该图像序列中的可穿戴对象是否为目标可穿戴对象；若第一数据处理规则对应的结果为否，则按照第三数据处理规则，判断可穿戴对象标识所标示的可穿戴对象是否属于预先检测的拿取事件中的可穿戴对象，确定该图像序列中的可穿戴对象是否为目标可穿戴对象；若第三数据处理规则对应的结果为否，则按照第二数据处理规则，对可穿戴对象标识所标示的可穿戴对象与预先检测的拿取事件中的可穿戴对象进行相似度匹配，确定该图像序列中的可穿戴对象是否为目标可穿戴对象。
可选地，在本申请的一种实施例中，第一确定模块704还用于将图像序列对应的可穿戴对象标识与至少一个拿取事件对应的可穿戴对象标识进行匹配；若该图像序列对应的可穿戴对象标识与至少一个拿取事件中任意一个拿取事件对应的可穿戴对象标识相同，则将该图像序列中的可穿戴对象确定为目标可穿戴对象。
可选地，在本申请的一种实施例中，第一确定模块704还用于将该图像序列中可穿戴对象的多个图像的图像特征与至少一个拿取事件的可穿戴对象标识对应的图像特征进行相似度匹配，获得该图像序列的匹配置信度；若匹配置信度大于或等于相似度阈值，则将该图像序列对应的可穿戴对象确定为目标可穿戴对象。
可选地，在本申请的一种实施例中，第一确定模块704还用于计算该图像序列中可穿戴对象的多个图像的图像特征与至少一个拿取事件的可穿戴对象标识对应的图像特征之间的相似度，得到多个匹配置信度；将多个匹配置信度中最大匹配置信度作为该图像序列的匹配置信度。
可选地，在本申请的一种实施例中，第一识别模块702还用于根据预设可穿戴对象，对该图像序列中每个图像进行可穿戴对象识别，得到多个识别置信度；将多个识别置信度中的最大识别置信度确定为该图像序列的可穿戴对象置信度；将多个识别置信度中最大识别置信度对应的预设可穿戴对象的标识确定为该图像序列对应的可穿戴对象标识。
可选地，在本申请的一种实施例中，第一获取模块701还用于获取多个原始图像，一个原始图像包括至少一个可穿戴对象；根据多个原始图像中的多个可穿戴对象的图像特征，对多个原始图像中的可穿戴对象进行分类，得到多个图像序列。
可选地，在本申请的一种实施例中，第一获取模块701还用于根据多个原始图像，构建初始图像序列，获得初始图像序列中的图像的图像特征；基于初始图像序列中的图像的图像特征与除初始图像序列中的图像之外的其它原始图像的图像特征之间的相似度，以及，其它原始图像的图像特征之间的相似度，对多个原始图像进行分类，得到多个图像序列。
可选地，在本申请的一种实施例中，图像处理装置70还包括合并模块，合并模块还用于基于滑动时间窗口，将多个图像序列中、相邻时间窗口中具有相同目标可穿戴对象的图像序列进行合并，得到至少一个合并图像序列；根据多个图像序列和至少一个合并图像序列确定多个最终图像序列。
可选地，在本申请的一种实施例中，合并模块还用于若多个图像序列中存在可穿戴对象标识相同的图像序列，则将具有相同可穿戴对象标识的图像序列进行合并，并将具有相同可穿戴对象标识的图像序列中、对应的可穿戴对象置信度的最大值作为合并图像序列的可穿戴对象置信度。
可选地，在本申请的一种实施例中，第一确定模块704还用于针对每个最终图像序列，若最终图像序列中包含具有可穿戴对象的图像的数量小于预设长度，并且，最终图像序列的可穿戴对象置信度小于预设置信度，则丢弃该最终图像序列。
可选地，在本申请的一种实施例中，图像处理装置70还包括试穿模块，试穿模块还用于若最终图像序列未被丢弃，则基于该最终图像序列确定试穿事件。
本申请实施例的图像处理装置70用于实现前述实施例一至实施例三中多个方法实施例中相应的图像处理方法，并具有相应的方法实施例的有益效果，在此不再赘述。此外，本申请实施例的图像处理装置中的各个模块的功能实现均可参照前述方法实施例中的相应部分的描述，在此亦不再赘述。
实施例六、
本申请实施例提供了一种图像处理装置，如图8所示，图8为本申请实施例提供的另一种图像处理装置，图像处理装置80包括：第二获取模块801用于获取多个原始图像，一个原始图像包括至少一个可穿戴对象；分类模块802用于根据多个原始图像中的多个可穿戴对象的图像特征，对多个原始图像中的可穿戴对象进行分类，得到多个图像序列，其中，每个图像序列中包含具有可穿戴对象的多个图像，多个图像中的可穿戴对象满足设定相似度；第二识别模块803用于针对每个图像序列，对该图像序列中的多个图像进行可穿戴对象识别，获得该图像序列的可穿戴对象置信度和该图像序列对应的可穿戴对象标识；第二确定模块804用于根据该图像序列的可穿戴对象置信度和该图像序列对应的可穿戴对象标识，确定该图像序列中的可穿戴对象是否为目标可穿戴对象。
可选地，在本申请的一种实施例中，分类模块802还用于根据多个原始图像，构建初始图像序列，获得初始图像序列中的图像的图像特征；基于初始图像序列中的图像的图像特征与除初始图像序列中的图像之外的其它原始图像的图像特征之间的相似度，以及，其它原始图像的图像特征之间的相似度，对多个原始图像进行分类，得到多个图像序列。
可选地，在本申请的一种实施例中，分类模块802还用于利用深度神经网络模型对多个原始图像进行特征提取，获得多个原始图像中的可穿戴对象的图像特征；在多个原始图像中的可穿戴对象的图像特征中确定初始图像的图像特征；根据初始图像的图像特征构建初始图像序列。
可选地，在本申请的一种实施例中，分类模块802还用于从多个原始图像中确定初始图像；利用深度神经网络模型对初始图像进行特征提取，获得初始图像的图像特征；根据初始图像的图像特征构建初始图像序列。
可选地，在本申请的一种实施例中，分类模块802还用于计算初始图像序列中的图像的图像特征与除初始图像序列中的图像之外的其它原始图像的图像特征之间的相似度，得到至少一个分类置信度；将至少一个分类置信度中，大于或等于设定相似度的分类置信度对应的原始图像，加入初始图像序列，得到一个图像序列；并根据至少一个分类置信度中，小于设定相似度的分类置信度对应的原始图像，构建新的图像序列，直至多个原始图像进行分类完成，得到多个图像序列。
可选地，在本申请的一种实施例中，第二识别模块803还用于根据预设可穿戴对象，对该图像序列中每个图像进行可穿戴对象识别，得到多个识别置信度；将多个识别置信度中的最大识别置信度确定为该图像序列的可穿戴对象置信度；将多个识别置信度中最大识别置信度对应的预设可穿戴对象的标识确定为该图像序列对应的可穿戴对象标识。
可选地，在本申请的一种实施例中，第二确定模块804还用于根据可穿戴对象置信度与预设的第一置信度阈值、第二置信度阈值和第三置信度阈值的关系，确定匹配的可穿戴对象数据处理规则，其中，第一置信度阈值大于第二置信度阈值，第二置信度阈值大于第三置信度阈值；根据数据处理规则，和该图像序列对应的可穿戴对象标识，确定该图像序列中的可穿戴对象是否为目标可穿戴对象。
可选地，在本申请的一种实施例中，数据处理规则包括：直接将可穿戴对象标识所标示的可穿戴对象确定为目标可穿戴对象的第一数据处理规则；根据可穿戴对象标识所标示的可穿戴对象与预先检测的拿取事件中的可穿戴对象进行相似度匹配的第二数据处理规则；判断可穿戴对象标识所标示的可穿戴对象是否属于预先检测的拿取事件中的可穿戴对象的第三数据处理规则。
可选地，在本申请的一种实施例中，第二确定模块804还用于若可穿戴对象置信度大于或等于第一置信度阈值，则数据处理规则为第一数据处理规则；若可穿戴对象置信度小于第一置信度阈值且大于或等于第二置信度阈值，则数据处理规则为第二数据处理规则；若可穿戴对象置信度小于第一置信度阈值且大于或等于第三置信度阈值，则数据处理规则为第三数据处理规则。
可选地，在本申请的一种实施例中，第二确定模块804还用于按照第一数据处理规则确定该图像序列中的可穿戴对象是否为目标可穿戴对象；若第一数据处理规则对应的结果为否，则按照第三数据处理规则，判断可穿戴对象标识所标示的可穿戴对象是否属于预先检测的拿取事件中的可穿戴对象，确定该图像序列中的可穿戴对象是否为目标可穿戴对象；若第三数据处理规则对应的结果为否，则按照第二数据处理规则，对可穿戴对象标识所标示的可穿戴对象与预先检测的拿取事件中的可穿戴对象进行相似度匹配，确定该图像序列中的可穿戴对象是否为目标可穿戴对象。
本申请实施例的图像处理装置80用于实现前述实施例四中多个方法实施例中相应的图像处理方法，并具有相应的方法实施例的有益效果，在此不再赘述。此外，本申请实施例的图像处理装置中的各个模块的功能实现均可参照前述方法实施例中的相应部分的描述，在此亦不再赘述。
实施例五、
基于上述实施例一至实施例四描述的任一项图像处理方法，本申请实施例提供了一种电子设备，需要说明的，本申请实施例的图像处理方法可以由任意适当的具有图像处理能力的电子设备执行，包括但不限于：服务器、移动终端(如手机、pad等)和pc机等。如图9所示，图9为本申请实施例提供的一种电子设备的结构图。本申请具体实施例并不对电子设备的具体实现做限定。该电子设备90可以包括：处理器(processor)902、通信接口(communicationsinterface)904、存储器(memory)906、以及通信总线908。
其中：处理器902、通信接口904、以及存储器906通过通信总线908完成相互间的通信。
通信接口904，用于与其它电子设备或服务器进行通信。
处理器902，用于执行计算机程序910，具体可以执行上述图像处理方法实施例中的相关步骤。
具体地，计算机程序910可以包括计算机程序代码，该计算机程序代码包括计算机操作指令。
处理器902可能是中央处理器cpu，或者是特定集成电路asic(applicationspecificintegratedcircuit)，或者是被配置成实施本申请实施例的一个或多个集成电路。智能设备包括的一个或多个处理器，可以是同一类型的处理器，如一个或多个cpu；也可以是不同类型的处理器，如一个或多个cpu以及一个或多个asic。
存储器906，用于存放计算机程序910。存储器906可能包含高速ram存储器，也可能还包括非易失性存储器(non-volatilememory)，例如至少一个磁盘存储器。
程序910中各步骤的具体实现可以参见上述图像处理方法实施例中的相应步骤和单元中对应的描述，在此不赘述。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的设备和模块的具体工作过程，可以参考前述方法实施例中的对应过程描述，在此不再赘述。
需要指出，根据实施的需要，可将本申请实施例中描述的各个部件/步骤拆分为更多部件/步骤，也可将两个或多个部件/步骤或者部件/步骤的部分操作组合成新的部件/步骤，以实现本申请实施例的目的。
上述根据本申请实施例的方法可在硬件、固件中实现，或者被实现为可存储在记录介质(诸如cdrom、ram、软盘、硬盘或磁光盘)中的软件或计算机代码，或者被实现通过网络下载的原始存储在远程记录介质或非暂时机器可读介质中并将被存储在本地记录介质中的计算机代码，从而在此描述的方法可被存储在使用通用计算机、专用处理器或者可编程或专用硬件(诸如asic或fpga)的记录介质上的这样的软件处理。可以理解，计算机、处理器、微处理器控制器或可编程硬件包括可存储或接收软件或计算机代码的存储组件(例如，ram、rom、闪存等)，当软件或计算机代码被计算机、处理器或硬件访问且执行时，实现在此描述的图像处理方法。此外，当通用计算机访问用于实现在此示出的图像处理方法的代码时，代码的执行将通用计算机转换为用于执行在此示出的图像处理方法的专用计算机。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例地单元及方法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请实施例的范围。
以上实施方式仅用于说明本申请实施例，而并非对本申请实施例的限制，有关技术领域的普通技术人员，在不脱离本申请实施例的精神和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本申请实施例的范畴，本申请实施例的专利保护范围应由权利要求限定。
- 还没有人留言评论。精彩留言会获得点赞！