对象再识别方法、装置、存储介质及计算机设备与流程

文档序号:22087088发布日期:2020-09-01 20:11阅读:125来源:国知局
对象再识别方法、装置、存储介质及计算机设备与流程

本申请涉及图像处理技术领域,尤其涉及一种对象再识别方法、装置、存储介质及计算机设备。



背景技术:

近些年来,在人工智能领域,使用领域自适应策略来解决图像的识别、分类、检测等任务成为热点。具体应用例如对象(如行人、车辆等)的再识别(re-identification,re-id)等。

现有技术中,通常采用伪标签(pseudo-labelling)技术实现跨领域的对象再识别,即通过对源域图像数据添加对应的真实标签,并使用源域图像数据对网络进行预训练,再使用预训练后的网络对目标域图像数据进行聚类生成伪标签,最后使用带有伪标签的图像数据对网络进行优化,得到最终的网络。

现有技术在对网络进行优化时,仅用到目标域中带有伪标签的图像数据,而丢弃了不包含在聚类中的离群值,然而,离群值可能是困难但有价值的样本图像数据,从而限制了网络的聚类性能,进而可能对网络的聚类结果产生一定影响。



技术实现要素:

本申请提供一种对象再识别方法、装置、存储介质及计算机设备,用以解决现有技术存在的网络性能受限的问题。

一方面,本申请提供一种对象再识别方法,包括:

获取预训练的再识别网络;

获取待识别图像;

通过所述再识别网络对所述待识别图像进行再识别处理,得到所述待识别图像中目标对象的再识别结果;

其中,所述再识别网络的训练图像数据至少包括第一聚类图像数据以及非聚类实例图像数据,所述第一聚类图像数据和所述非聚类实例图像数据为由所述再识别网络对应的初始网络对第一图像数据集进行聚类处理得到,所述第一图像数据集中的图像数据不包含真实聚类标签。

另一方面,本申请提供一种对象再识别装置,包括:

网络获取模块,用于获取预训练的再识别网络;

图像获取模块,用于获取待识别图像;

再识别模块,用于通过所述再识别网络对所述待识别图像进行再识别处理,得到所述待识别图像中目标对象的再识别结果;

其中,所述再识别网络的训练图像数据至少包括第一聚类图像数据以及非聚类实例图像数据,所述第一聚类图像数据和所述非聚类实例图像数据为由所述再识别网络对应的初始网络对第一图像数据集进行聚类处理得到,所述第一图像数据集中的图像数据不包含真实聚类标签。

另一方面,本申请提供一种计算机设备,包括:存储器,处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述程序时实现上述对象再识别方法。

另一方面,本申请提供一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机执行指令,所述计算机执行指令被处理器执行时用于实现上述对象再识别方法。

本申请提供一种对象再识别方法、装置、存储介质及计算机设备,该方法包括获取预训练的再识别网络;获取待识别图像;通过所述再识别网络对所述待识别图像进行再识别处理,得到所述待识别图像中目标对象的再识别结果。该方法所使用的再识别网络为至少基于第一聚类图像数据以及非聚类实例图像数据训练得到,从而,本申请通过结合不在聚类中的离群值进行网络训练,有助于提高再识别网络的聚类性能,进而提高通过本申请的对象再识别方法得到的目标对象再识别结果的准确性。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。

图1为本申请实施例中通过网络训练得到再识别网络的示意图;

图2为本申请实施例中对目标域图像数据进行处理的示意图;

图3为本申请实施例中对初始聚类结果进行再聚类处理,得到第一聚类图像数据以及非聚类实例图像数据的示意图;

图4为本申请实施例中计算密集指数的示例图;

图5为本申请实施例中对初始聚类结果进行再聚类处理,得到第一聚类图像数据以及非聚类实例图像数据的示意图;

图6为本申请实施例中计算独立指数的示例图;

图7为本申请实施例中通过训练图像数据对初始网络进行训练,得到再识别网络的示意图;

图8为本申请实施例中通过再识别网络进行对象再识别的示意图;

图9为本申请实施例中再识别网络训练装置的示意图;

图10为本申请实施例中对象再识别装置的示意图。

通过上述附图,已示出本公开明确的实施例,后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本公开构思的范围,而是通过参考特定实施例为本领域技术人员说明本公开的概念。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。

在本申请实施例中使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本发明。在本申请实施例中所使用的单数形式的“一种”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。

应当理解,本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,a和/或b,可以表示:单独存在a,同时存在a和b,单独存在b这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。

取决于语境,如在此所使用的词语“如果”、“若”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地,取决于语境,短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。

还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的商品或者系统不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种商品或者系统所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的商品或者系统中还存在另外的相同要素。

人工智能(artificialintelligence,ai)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说,人工智能是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。

人工智能技术是一门综合学科,涉及领域广泛,既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术以及机器学习/深度学习等几大方向。

计算机视觉技术(computervision,cv)计算机视觉是一门研究如何使机器“看”的科学,更进一步的说,就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉,并进一步做图形处理,使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科,计算机视觉研究相关的理论和技术,试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、ocr(opticalcharacterrecognition,光学字符识别)、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3d技术、虚拟现实、增强现实、同步定位与地图构建等技术,还包括常见的人脸识别、指纹识别等生物特征识别技术。

机器学习(machinelearning,ml)是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心,是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、示教学习等技术。

目标再识别是计算机视觉以及安防监控领域的重要问题,要求从数据集中检索出对应目标的图像,该目标可以为行人、车辆等。然而直接将训练好的网络应用于不同的监控场景时,网络表现出无法避免的性能下降,这是图像领域间的差异所导致的,如摄像环境、光线、背景、拍摄设备等等。另外,针对每个监控场景标注不同的训练数据用于网络训练是不现实的,因为标注需要耗费大量的人力和时间。

目前在针对不同领域自适应(domainadaptation,迁移学习的一种)的目标再识别的方法中,基于伪标签的方法是一种常用方法。该方法旨在无标注的目标域上通过不断地聚类以生成伪标签来进行自我训练,可以取得最先进的性能。然而,由于聚类的过程会产生一定的异常点,即无法分入任何一类的边缘样本,现有方法为了确保聚类的质量,均直接丢弃这些异常点,不将其归入训练集,即在网络进行自我训练的过程中仅用到目标域中带有伪标签的图像数据,而丢弃了不包含在聚类中的离群值,然而,离群值可能是困难但有价值的样本图像数据,从而限制了网络的聚类性能,进而可能对网络的聚类结果产生一定影响。

基于此,本申请提出一种对象再识别方法,该方法所使用的再识别网络为至少基于第一聚类图像数据以及非聚类实例图像数据训练得到,从而,本申请通过结合不在聚类中的离群值进行网络训练,有助于提高再识别网络的聚类性能,进而提高通过本申请的对象再识别方法得到的目标对象再识别结果的准确性。

在本申请实施例中提出的对象再识别方法可分为两部分,包括网络训练部分和网络应用部分;其中,网络训练部分涉及到机器学习这一技术领域,在网络训练部分中,通过机器学习这一技术训练初始网络以得到训练好的再识别网络;在网络应用部分中,通过使用在网络训练部分训练得到的再识别网络,获得待识别图像中目标对象的再识别结果。

为了便于理解,首先对本申请方案中的网络训练部分进行解释说明。

可以理解,本申请中网络训练部分的方法步骤可以由终端或者服务器实现。

图1为本申请实施例中通过网络训练得到再识别网络的示意图,如图1所示,该处理流程包括以下步骤:

s100、获取初始网络;

s200、获取训练图像数据;

s300、通过训练图像数据对初始网络进行训练,得到再识别网络。

其中,初始网络为初始待训练的网络,该初始网络具备一定的对象再识别能力。

可选的,初始网络可以是例如残差网络(residualnetwork,resnet)等,残差网络是由残差块(residualblock)组成的网络,网络内部的残差块使用跳跃连接,有助于解决梯度消失和梯度爆炸问题,使得残差网络具备容易优化的特点,同时又能保证良好的图像分类和物体识别性能。

在一些实施例中,网络训练方法可以采用无监督学习。无监督学习是指仅使用目标域(例如第一监控场景)中无标注的图像数据进行网络训练的处理过程。

具体地,在采用无监督学习进行网络训练时,再识别网络的训练图像数据包括第一聚类图像数据以及非聚类实例图像数据。其中,第一聚类图像数据和非聚类实例图像数据为由再识别网络对应的初始网络对第一图像数据集进行聚类处理得到,第一图像数据集中的图像数据不包含真实聚类标签,第一图像数据集对应目标域的图像数据。

在一些实施例中,网络训练方法可以采用半监督学习。半监督学习是指同时使用源域(例如第二监控场景)中有标注的图像数据以及目标域(例如第一监控场景)中无标注的图像数据进行网络训练的处理过程。源域中有标注的图像数据带有ground-truth(真值)标签,ground-truth可以是采用人工标记,ground-truth可以在网络训练过程中提供有价值的监督。

具体地,在采用半监督学习进行网络训练时,再识别网络的训练图像数据至少包括第一聚类图像数据、非聚类实例图像数据以及第二图像数据集。

其中,第一聚类图像数据和非聚类实例图像数据为由再识别网络对应的初始网络对第一图像数据集进行聚类处理得到,第一图像数据集中的图像数据不包含真实聚类标签,第一图像数据集对应目标域的图像数据。

第二图像数据集中的第二聚类图像数据包含真实聚类标签,第二图像数据集对应源域的图像数据;第二图像数据集所在的图像数据域与第一图像数据集所在的图像数据域不同。

在一个实施例中,在采用半监督学习进行网络训练时,获取训练图像数据的步骤包括获取源域图像数据(有标注)、获取目标域图像数据(无标注)以及对目标域图像数据进行处理的步骤。

其中,获取源域图像数据时,可以是直接获取已完成标注的图像数据即可。

在一些实施例中,在采用无监督学习进行网络训练时,获取训练图像数据的步骤包括获取目标域图像数据(无标注)以及对目标域图像数据进行处理的步骤。

图2为对目标域图像数据进行处理的示意图,如图2所示,该处理流程包括以下步骤:

s220、获取通过初始网络对第一图像数据集进行聚类处理得到的初始聚类结果;

s240、对初始聚类结果进行再聚类处理,得到第一聚类图像数据以及非聚类实例图像数据。

其中,第一图像数据集对应目标域图像数据。在获取无标注的目标域图像数据后,首先通过初始网络对第一图像数据集进行初始聚类处理,得到第一图像数据集对应的初始聚类结果,然后,再对初始聚类结果进行进一步的再聚类处理,得到第一聚类图像数据以及非聚类实例图像数据。

具体的,对于以上对目标域图像数据进行处理的处理流程,可以理解为自定步长对比学习策略,即根据“由简入难”的原则,首先得到最可信的聚类,然后通过再聚类处理逐渐增加可信的聚类,从而提升学习目标的质量,避免错误聚类导致的误差放大。

在一个实施例中,提供一种聚类可信度评价准则,该准则通过评价聚类的密集性来对初始聚类结果进行再聚类处理,从而增加可信的聚类数量。

本实施例中,初始聚类结果包括初始聚类图像数据;

图3为本申请实施例中对初始聚类结果进行再聚类处理,得到第一聚类图像数据以及非聚类实例图像数据的示意图,如图3所示,该处理流程包括以下步骤:

s242a,根据图像特征距离,减少初始聚类图像数据中第一当前集群的图像数据数量,得到第二当前集群;

s244a,确定第二当前集群的密集指数,密集指数为第二当前集群的图像数据数量与第一当前集群的图像数据数量的比值;

s246a,在密集指数达到第一预设阈值时,通过第二当前集群替换第一当前集群,得到第一聚类图像数据;

s248a,将减少的图像数据更新为属于非聚类实例图像数据。

具体的,本实施例通过提高聚类标准来进行再聚类处理,以验证聚类的密集性是否达到预设要求。

对于归为同一聚类中的各图像数据,可以理解为各图像数据的图像特征距离满足聚类标准,即δd≤d1,其中,δd为图像特征距离,d1为聚类标准对应的距离。

在提高聚类标准(减小聚类标准对应的距离)后,例如聚类标准变为d2,且d2<d1,则可能出现部分图像数据的图像特征距离大于聚类标准的情况,即δd>d2,此时,根据图像特征距离保留δd≤d2的图像数据,并将δd>d2的图像数据从第一当前集群中剔除,第一当前集群中的图像数据数量减少,得到新的第二当前集群。

在得到第二当前集群后,计算第二当前集群的密集指数,该密集指数用于评价聚类的密集性。具体的,密集指数可以通过以下公式计算得到:p=n2/n1,其中,p为密集指数,n1为第一当前集群的图像数据数量,n2为第二当前集群的图像数据数量。

图4为计算密集指数的示例图,如图4所示,圆点表示图像数据,黑色圆点表示保留的图像数据,白色圆点表示被剔除的图像数据,实线区域表示第一当前集群clu1,虚线区域表示第二当前集群clu2,根据图4可以看出,第一当前集群clu1的图像数据数量为7,第二当前集群clu2的图像数据数量为5,则第二当前集群clu2的密集指数p为:p=n2/n1=5/7。

在计算得到密集指数p后,将密集指数p与相应的第一预设阈值δp进行比较,根据比较结果确定是否保留新的集群(即第二当前集群)。

具体的,若p≥δp,则说明第二当前集群clu2的密集指数p达到预设密集性要求,此时,解散第一当前集群,保留第二当前集群,并使用第二当前集群对第一聚类图像数据进行更新。同时,对于集群中减少(被剔除)的图像数据,将该图像数据更新为属于非聚类实例图像数据。例如,参考图4,在p为5/7时,若δp为0.5,即p>δp,此时,通过第二当前集群替换第一当前集群,对第一聚类图像数据进行更新。

若p<δp,则说明第二当前集群clu2的密集指数p未达到预设密集性要求,此时,解散第二当前集群,保留第一当前集群。

本实施例通过评价聚类的密集性来进行再聚类处理,以逐渐增加可信的聚类,从而提升学习目标的质量,避免错误聚类导致的误差放大。

在一个实施例中,提供一种聚类可信度评价准则,该准则通过评价聚类的独立性来对初始聚类结果进行再聚类处理,从而增加可信的聚类数量。

本实施例中,初始聚类结果包括初始聚类图像数据以及初始非聚类图像数据。

图5为本申请实施例中对初始聚类结果进行再聚类处理,得到第一聚类图像数据以及非聚类实例图像数据的示意图,如图5所示,该处理流程包括以下步骤:

s242b,根据图像特征距离,在初始聚类图像数据的第三当前集群中增加其他集群的图像数据和/或初始非聚类图像数据中的图像数据,得到第四当前集群,其他集群为初始聚类图像数据中与第三当前集群不同的集群;

s244b,确定第四当前集群的独立指数;独立指数为第三当前集群的图像数据数量与第四当前集群的图像数据数量的比值;

s246b,在独立指数达到第一预设阈值时,通过第四当前集群替换第三当前集群,得到第一聚类图像数据;

s248b,在增加的图像数据包括其他集群的图像数据时,解散其他集群;和/或,在增加的图像数据包括初始非聚类图像数据中的图像数据时,将增加的图像数据更新为不属于非聚类实例图像数据。

具体的,本实施例通过降低聚类标准来进行再聚类处理,以验证聚类的独立性是否达到预设要求。

对于归为同一聚类中的各图像数据,可以理解为各图像数据的图像特征距离满足聚类标准,即δd≤d1,其中,δd为图像特征距离,d1为聚类标准对应的距离。

在降低聚类标准(增大聚类标准对应的距离)后,例如聚类标准变为d3,且d3>d1,则可能出现非当前集群的图像数据(例如其他集群的图像数据和/或初始非聚类图像数据中的图像数据)的图像特征距离达到聚类标准的情况,即δd'≤d3,其中,δd'为非当前集群的图像数据的图像特征距离。

此时,根据图像特征距离将δd'≤d3的非当前集群图像数据添加至第三当前集群,第三当前集群中的图像数据数量增加,得到新的第四当前集群。

可以理解,增加的图像数据,可以是仅包括符合要求的其他集群的图像数据,可以是仅包括符合要求的初始非聚类图像数据中的图像数据,还可以是同时包括符合要求的其他集群的图像数据以及初始非聚类图像数据中的图像数据。

在得到第四当前集群后,计算第四当前集群的独立指数,该独立指数用于评价聚类的独立性。具体的,独立指数可以通过以下公式计算得到:q=n3/n4,其中,q为独立指数,n3为第三当前集群的图像数据数量,n4为第四当前集群的图像数据数量。

图6为计算独立指数的示例图,如图6所示,实线区域表示再聚类之前已有的聚类集群,即初始聚类图像数据中的集群,包括第三当前集群clu3以及其他集群clui(i为表示集群标号的整数),圆点表示图像数据,黑色圆点表示初始聚类图像数据中的图像数据,白色圆点表示初始非聚类图像数据中的图像数据,虚线区域表示第四当前集群clu4,根据图6可以看出,第三当前集群clu3的图像数据数量为2,第四当前集群clu4的图像数据数量为7,则第四当前集群clu4的独立指数q为:q=n3/n4=2/7。

在计算得到独立指数q后,将独立指数q与相应的第二预设阈值δq进行比较,根据比较结果确定是否保留新的集群(即第四当前集群)。

具体的,若q≥δq,则说明第四当前集群clu4的独立指数q达到预设独立性要求,此时,解散第三当前集群,保留第四当前集群,并使用第四当前集群对第一聚类图像数据进行更新。

可选的,在增加的图像数据包括其他集群的图像数据时,解散其他集群,例如,在第四当前集群clu4的独立指数q达到预设独立性要求时,解散其他集群clui。

可选的,在增加的图像数据包括初始非聚类图像数据中的图像数据时,将增加的图像数据更新为不属于非聚类实例图像数据。

若q<δq,则说明第四当前集群clu4的独立指数q未达到预设独立性要求,此时,解散第四当前集群,保留第三当前集群。

可选的,在增加的图像数据包括其他集群的图像数据时,保留其他集群,例如,在第四当前集群clu4的独立指数q未达到预设独立性要求时,保留其他集群clui。

可选的,在增加的图像数据包括初始非聚类图像数据中的图像数据时,将增加的图像数据更新为属于非聚类实例图像数据。

例如,参考图6,在q为2/7时,若δq为0.5,即q<δp,此时,解散第四当前集群clu4,保留第三当前集群clu3以及其他集群clui,同时,增加的未聚类图像数据更新为属于非聚类实例图像数据。

本实施例通过评价聚类的独立性来进行再聚类处理,可以逐步提高特征表示的识别率,将更多的非聚类数据加入到新的聚类中,以逐渐增加可信的聚类,从而提升学习目标的质量,避免错误聚类导致的误差放大。

在一个实施例中,提供一种聚类可信度评价准则,该准则通过评价聚类的独立性以及密集性来对初始聚类结果进行再聚类处理,从而增加可信的聚类数量。

关于通过独立性以及密集性来对初始聚类结果进行再聚类处理的处理流程,可以参考上述实施例中的分别通过评价聚类的独立性来进行再聚类处理以及通过评价聚类的密集性来进行再聚类处理的处理步骤,在此不再赘述。

可选的,在同时结合独立性以及密集性进行再聚类处理时,对应的预设阈值可以根据实际情况设置,例如,设定δp和δq都为0.5等。

本实施例通过评价聚类的独立性以及密集性来进行再聚类处理,以逐渐增加可信的聚类,从而提升学习目标的质量,避免错误聚类导致的误差放大。

在一个实施例中,对网络训练的处理步骤进行解释说明。

图7为本申请实施例中通过训练图像数据对初始网络进行训练,得到再识别网络的示意图,如图7所示,该处理流程包括以下步骤:

s320、基于训练图像数据确定图像数据中心;

s340、基于训练图像数据以及图像数据中心确定对比损失,基于对比损失对初始网络进行参数优化,得到优化网络;

s360、通过优化网络对训练图像数据中的非聚类实例图像数据进行聚类,根据聚类结果对第一聚类图像数据以及非聚类实例图像数据进行更新,得到新的训练图像数据;

s380、基于新的训练图像数据确定新的图像数据中心,返回基于新的训练图像数据以及新的图像数据中心确定新的对比损失的步骤,直至训练完成,得到再识别网络。

在一些实施例中,在采用无监督学习进行网络训练时,训练数据包括第一聚类图像数据以及非聚类实例图像数据,对应的,图像数据中心包括第一聚类图像数据对应的第一聚类中心以及非聚类实例图像数据对应的实例中心。

在一些实施例中,在采用半监督学习进行网络训练时,训练数据包括第一聚类图像数据、非聚类实例图像数据以及第二聚类图像数据。对应的,图像数据中心包括第一聚类图像数据对应的第一聚类中心、非聚类实例图像数据对应的实例中心以及第二聚类图像数据对应的第二聚类中心。

具体的,以采用半监督学习进行网络训练为例进行解释说明。

(1)首先基于获取的训练图像数据确定初始的图像数据中心。

在基于第一聚类图像数据确定对应的第一聚类中心时,对于第一聚类图像数据中的每个聚类,可以使用各聚类中图像数据的平均特征向量作为各聚类对应的第一聚类中心。可以理解,在第一聚类图像数据包括多个聚类时,第一聚类中心的数量对应为多个。

在基于非聚类实例图像数据确定对应的实例中心时,对于非聚类实例图像数据中的每个单独实例,各单独实例对应的特征向量即为各单独实例的实例中心。可以理解,在非聚类实例图像数据包括多个单独实例时,实例中心的数量对应为多个。

在基于第二聚类图像数据确定对应的第二聚类中心时,对于第二聚类图像数据中的每个聚类,可以使用各聚类中图像数据的平均特征向量作为各聚类对应的第二聚类中心。可以理解,在第二聚类图像数据包括多个聚类时,第二聚类中心的数量对应为多个。

(2)基于训练图像数据以及图像数据中心确定对比损失,基于对比损失对初始网络进行参数优化,得到优化网络。

具体的,定义xs表示第二图像数据集中的第二聚类图像数据(即源域数据),xt表示第一图像数据集(即目标域数据),表示第一聚类图像数据,表示非聚类实例图像数据,则

对于特征向量f=fθ(x),可以通过以下公式计算对比损失,并基于对比损失对初始网络进行参数优化,得到优化网络:

其中,τ设定为0.05,<a,b>表示a、b两个特征向量之间的内积,用于度量特征向量的相似性,ns表示第二聚类图像数据中聚类的数量,表示第一聚类图像数据中聚类的数量,表示非聚类实例图像数据中单独实例的数量,wk表示第二聚类图像数据对应的第二聚类中心,ck表示第一聚类图像数据对应的第一聚类中心,vk表示非聚类实例图像数据对应的实例中心。

另外,z+表示特征向量f对应的数据中心,例如,当f=fθ(x),x∈xs时,z+=wk;当f=fθ(x),时,z+=ck;当f=fθ(x),时,z+=vk。

(3)在得到优化网络后,通过优化网络对非聚类实例图像数据进行聚类,根据聚类结果对第一聚类图像数据以及非聚类实例图像数据进行更新。

可选的,在本申请的处理过程中,可以使用混合内存(hybridmemory)保存第一聚类图像数据、非聚类实例图像数据以及第二聚类图像数据,以及,第一聚类图像数据对应的第一聚类中心、非聚类实例图像数据对应的实例中心以及第二聚类图像数据对应的第二聚类中心。

可以理解,在每次迭代中,每次处理的特征向量都参与混合内存的更新。

在使用优化网络进行聚类的过程中,由于会出现新的聚类结果,所以会导致第一聚类图像数据以及非聚类实例图像数据的更新变化,即得到新的训练图像数据。在得到新的训练图像数据后,根据其更新变化对混合内存进行更新即可。

(4)在得到新的训练图像数据后,基于新的训练图像数据确定新的图像数据中心,即对混合内存中保存的图像数据中心进行更新和调整。

可以理解,对于第二聚类中心的更新,可以是在原中心的基础上进行调整;而对于第一聚类中心以及实例中心的更新,则是根据第一聚类图像数据以及非聚类实例图像数据的更新变化重新计算。

具体的,第二聚类中心wk的更新可以通过以下公式实现:

其中,βk为当前处理中属于第二聚类图像数据的特征,ms∈[0,1]为更新第二聚类中心的动量系数,例如,ms可以设置为0.2。

第一聚类中心ck的更新可以通过以下公式实现:

其中,ιk为第一聚类图像数据中的第k个聚类集群,|ιk|表示集群中的特征数量。

实例中心vk的更新可以通过以下公式实现:

其中,mt∈[0,1]为更新实例中心的动量系数,例如,mt可以设置为0.2。

给定非聚类实例图像数据中的图像数据,若通过优化网络确定该图像数据属于第k个聚类集群,则使用第一聚类中心ck的更新公式更新第一聚类中心ck。

(5)在对混合内存进行更新后,返回步骤(2)进行网络迭代训练,直至网络收敛,即得到再识别网络。

在一个实施例中,在采用无监督学习进行网络训练时,除了训练图像数据不包括第二聚类图像数据,图像数据中心不包括第二聚类图像数据对应的第二聚类中心之外,其原理与采用半监督学习进行网络训练的原理类似,在此不再赘述。

在一个实施例中,对本申请方案中的网络应用部分进行解释说明。

可以理解,本申请中网络应用部分的方法步骤可以由终端或者服务器实现,网络应用部分的方法步骤的执行主体可以与网络训练部分的方法步骤的执行主体相同或不同。

图8为本申请实施例中通过再识别网络进行对象再识别的示意图,如图8所示,该处理流程包括以下步骤:

s400、获取预训练的再识别网络;

s500、获取待识别图像;

s600、通过再识别网络对待识别图像进行再识别处理,得到待识别图像中目标对象的再识别结果;

其中,再识别网络为通过本申请以上各实施例中网络训练部分的方法步骤训练得到。

在通过无监督学习训练得到再识别网络时,再识别网络的训练图像数据至少包括第一聚类图像数据以及非聚类实例图像数据,第一聚类图像数据和非聚类实例图像数据为由再识别网络对应的初始网络对第一图像数据集进行聚类处理得到,第一图像数据集中的图像数据不包含真实聚类标签。

可选的,在通过半监督学习训练得到再识别网络时,再识别网络的训练图像数据还包括第二图像数据集,第二图像数据集中的第二聚类图像数据包含真实聚类标签;第二图像数据集所在的图像数据域与第一图像数据集所在的图像数据域不同。

本实施例提供一种对象再识别方法,该方法所使用的再识别网络为至少基于第一聚类图像数据以及非聚类实例图像数据训练得到,从而,本申请通过结合不在聚类中的离群值进行网络训练,有助于提高再识别网络的聚类性能,进而提高通过本申请的对象再识别方法得到的目标对象再识别结果的准确性。

应该理解的是,虽然上述实施例中的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,其可以以其他的顺序执行。而且,图中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,其执行顺序也不必然是依次进行,而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中,提供一种再识别网络训练装置。

图9为本申请实施例中再识别网络训练装置的示意图,如图9所示,该装置包括以下模块:

第一获取模块100,用于获取初始网络;

第二获取模块200,用于获取训练图像数据;

网络训练模块300,用于通过训练图像数据对初始网络进行训练,得到再识别网络。

关于再识别网络训练装置的具体限定可以参见上文中对于再识别网络训练方法的限定,在此不再赘述。上述再识别网络训练装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中,提供一种对象再识别装置。

图10为本申请实施例中对象再识别装置的示意图,如图10所示,该装置包括以下模块:

网络获取模块400,用于获取预训练的再识别网络;

图像获取模块500,用于获取待识别图像;

再识别模块600,用于通过再识别网络对待识别图像进行再识别处理,得到待识别图像中目标对象的再识别结果;

其中,再识别网络的训练图像数据至少包括第一聚类图像数据以及非聚类实例图像数据,第一聚类图像数据和非聚类实例图像数据为由再识别网络对应的初始网络对第一图像数据集进行聚类处理得到,第一图像数据集中的图像数据不包含真实聚类标签。

关于对象再识别装置的具体限定可以参见上文中对于对象再识别方法的限定,在此不再赘述。上述对象再识别装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中,提供一种计算机设备,包括:存储器,处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行程序时实现以上各实施例中网络训练部分的方法步骤,和/或,网络应用部分的方法步骤。

在一个实施例中,提供一种计算机可读存储介质,计算机可读存储介质中存储有计算机执行指令,计算机执行指令被处理器执行时用于实现以上各实施例中网络训练部分的方法步骤,和/或,网络应用部分的方法步骤。

本领域技术人员在考虑说明书及实践这里公开的申请后,将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由下面的权利要求书指出。

应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求书来限制。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1