本申请涉及计算机技术领域,尤其涉及一种图像检测方法、网络模型训练方法以及相关装置。
背景技术:
随着计算机性能的提高,深度神经网络的优异表现令人瞩目,其中图像检测是神经网络的一个应用,其任务是检测图片中感兴趣物体的位置与类别,相比于图片分类,其需要更细粒度的标注,这提高了标注数据的获取成本以及工作量。
一般采用训练集,即源领域数据对网络模型进行训练,以得到图像特征与标注之间的对应关系,然后用该网络模型处理目标领域数据以得到相关特征。
但是,由于源领域和目标领域数据的采集往往处于不同的环境,此时两者的分布通常存在差异,例如亮度、角度、清晰度等方面,此时通过训练集训练的神经网络模型在测试集中的表现通常会下降,而且会造成图像检测结果的误差,影响图像检测的准确性。
技术实现要素:
有鉴于此,本申请提供一种图像检测的方法,可以有效减小图像领域变化造成的检测误差,提高图像检测的准确性。
本申请第一方面提供一种图像检测的方法,可以应用于医疗图像检测的系统或程序中,具体包括:获取待检测图像,所述待检测图像为目标领域数据,所述目标领域数据用于指示未标注的数据;
将所述待检测图像输入第一网络模型,以确定至少一个感兴趣区域,所述第一网络模型用于去除所述待检测图像的背景;
将至少一个所述感兴趣区域输入第二网络模型,以得到至少一个所述感兴趣区域在源领域数据中对应的判别特征,所述源领域数据用于指示标注数据,所述第二网络模型通过所述感兴趣区域关联所述源领域数据和多个所述目标领域数据,所述判别特征为所述感兴趣区域中的用于确定检测结果的关键区域;
根据所述判别特征确定检测结果,所述检测结果用于指示所述待检测图像中所述感兴趣区域的位置以及对应的标注数据。
可选的,在本申请一些可能的实现方式中,所述待检测图像为医疗检测图像,所述感兴趣区域的位置为病灶的位置,所述标注数据为所述病灶的类型。
可选的,在本申请一些可能的实现方式中,所述将所述待检测图像输入第一网络模型,以确定至少一个感兴趣区域,包括:
在所述待检测图像上生成至少一个锚框;
将所述锚框输入第一网络模型,以得到包含前景的锚框,所述前景用于指示所述待检测图像中的有效数据;
根据所述包含前景的锚框确定至少一个感兴趣区域。
可选的,在本申请一些可能的实现方式中,所述根据所述判别特征确定检测结果,包括:
获取所述判别特征对应的区域;
若所述判别特征对应的区域满足预设条件,则根据所述判别特征确定检测结果,所述预设条件基于所述判别特征对应的区域中背景的占比设定。
可选的,在本申请一些可能的实现方式中,所述获取待检测图像之后,所述方法还包括:
获取所述待检测图像对应的目标领域数据的参数;
将所述待检测图像对应的目标领域数据的参数调整为所述源领域中对应的参数,以得到图像转换后的待检测图像;
所述将所述待检测图像输入第一网络模型,以确定至少一个感兴趣区域,包括:
将所述转换后的待检测图像输入所述第一网络模型,以确定至少一个所述感兴趣区域。
本申请第二方面提供一种网络模型的训练方法,具体包括:获取待训练图像集合,所述待训练图像集合包括源领域数据集合和目标领域数据集合,所述源领域数据集合包括至少一个源领域数据,所述目标领域数据集合包括至少一个目标领域数据,所述源领域数据用于指示已标注的数据,所述目标领域数据用于指示未标注的数据;
采用所述源领域数据集合和所述目标领域数据集合对第一网络模型进行训练;
根据训练后的所述第一网络模型确定至少一个感兴趣区域;
采用所述感兴趣区域、所述源领域数据集合和所述目标领域数据集合对第二网络模型进行训练,训练后的所述第二网络模型用于指示所述目标领域数据中所述感兴趣区域对应的标注数据。
可选的,在本申请一些可能的实现方式中,所述方法还包括:
采用第一损失函数、所述源领域数据集合和所述目标领域数据集合对所述第二网络模型进行训练,以得到所述第二网络模型的第一梯度,其中,所述第一损失函数用于对齐所述源领域数据集合的特征和所述目标领域数据集合的特征,所述第一损失函数属于对抗学习损失函数,所述第二网络模型的第一梯度用于更新所述第二网络模型的参数。
可选的,在本申请一些可能的实现方式中,所述采用第一损失函数、所述源领域数据集合和所述目标领域数据集合对所述第二网络模型进行训练,以得到所述第二网络模型的第一梯度,包括:
将所述第一损失函数、所述源领域数据集合和所述目标领域数据集合输入梯度反转层,以使得目标函数反转;
根据反转后的目标函数对所述第二网络模型进行训练,以得到所述第二网络模型的第一梯度。
可选的,在本申请一些可能的实现方式中,所述方法还包括:
根据训练后的所述第一网络模型分别确定所述源领域数据集合中的感兴趣区域和所述目标领域数据集合中的感兴趣区域;
采用第二损失函数、所述源领域数据集合中的感兴趣区域和所述目标领域数据集合中的感兴趣区域对所述第二网络模型进行训练,以得到所述第二网络模型的第二梯度,其中,所述第二损失函数用于对齐所述源领域数据集合中的感兴趣区域的特征和所述目标领域数据集合中的感兴趣区域的特征,所述第二损失函数属于对抗学习损失函数,所述第二网络模型的第二梯度用于更新所述第二网络模型的参数。
可选的,在本申请一些可能的实现方式中,所述方法还包括:
确定所述源领域数据集合中的多个锚框;
根据所述锚框中前景的比例为所述源领域数据集合和所述目标领域数据集合设置权重;
所述采用第一损失函数、所述源领域数据集合和所述目标领域数据集合对所述第二网络模型进行训练,以得到所述第二网络模型的第一梯度,包括:
采用第一损失函数、设置权重的源领域数据集合和设置权重的目标领域数据集合对所述第二网络模型进行训练,以得到所述第二网络模型的第一梯度。
本申请第三方面提供一种图像检测的装置,包括:获取单元,用于获取待检测图像,所述待检测图像为目标领域数据,所述目标领域数据用于指示未标注的数据;
确定单元,用于将所述待检测图像输入第一网络模型,以确定至少一个感兴趣区域,所述第一网络模型用于去除所述待检测图像的背景;
输入单元,用于将至少一个所述感兴趣区域输入第二网络模型,以得到至少一个所述感兴趣区域在源领域数据中对应的判别特征,所述源领域数据用于指示标注数据,所述第二网络模型通过所述感兴趣区域关联所述源领域数据和多个所述目标领域数据,所述判别特征为所述感兴趣区域中的用于确定检测结果的关键区域;
检测单元,用于根据所述判别特征确定检测结果,所述检测结果用于指示所述待检测图像中所述感兴趣区域的位置以及对应的标注数据。
可选的,在本申请一些可能的实现方式中,所述确定单元,具体用于在所述待检测图像上生成至少一个锚框;
所述确定单元,具体用于将所述锚框输入第一网络模型,以得到包含前景的锚框,所述前景用于指示所述待检测图像中的有效数据;
所述确定单元,具体用于根据所述包含前景的锚框确定至少一个感兴趣区域。
可选的,在本申请一些可能的实现方式中,所述检测单元,具体用于获取所述判别特征对应的区域;
所述检测单元,具体用于若所述判别特征对应的区域满足预设条件,则根据所述判别特征确定检测结果,所述预设条件基于所述判别特征对应的区域中背景的占比设定。
可选的,在本申请一些可能的实现方式中,所述获取单元,还用于获取所述待检测图像对应的目标领域数据的参数;
所述获取单元,还用于将所述待检测图像对应的目标领域数据的参数调整为所述源领域中对应的参数,以得到图像转换后的待检测图像;
所述确定单元,具体用于将所述转换后的待检测图像输入所述第一网络模型,以确定至少一个所述感兴趣区域。
本申请第四方面提供一种神经网络模型的训练装置,包括:
获取单元,用于获取待训练图像集合,所述待训练图像集合包括源领域数据集合和目标领域数据集合,所述源领域数据集合包括至少一个源领域数据,所述目标领域数据集合包括至少一个目标领域数据,所述源领域数据用于指示已标注的数据,所述目标领域数据用于指示未标注的数据;
训练单元,用于采用所述源领域数据集合和所述目标领域数据集合对第一网络模型进行训练;
确定单元,用于根据训练后的所述第一网络模型确定至少一个感兴趣区域;
所述训练单元,还用于采用所述感兴趣区域、所述源领域数据集合和所述目标领域数据集合对第二网络模型进行训练,训练后的所述第二网络模型用于指示所述目标领域数据中所述感兴趣区域对应的标注数据。
可选的,在本申请一些可能的实现方式中,所述训练单元,还用于采用第一损失函数、所述源领域数据集合和所述目标领域数据集合对所述第二网络模型进行训练,以得到所述第二网络模型的第一梯度,其中,所述第一损失函数用于对齐所述源领域数据集合的特征和所述目标领域数据集合的特征,所述第一损失函数属于对抗学习损失函数,所述第二网络模型的第一梯度用于更新所述第二网络模型的参数。
可选的,在本申请一些可能的实现方式中,所述训练单元,具体用于将所述第一损失函数、所述源领域数据集合和所述目标领域数据集合输入梯度反转层,以使得目标函数反转;
所述训练单元,具体用于根据反转后的目标函数对所述第二网络模型进行训练,以得到所述第二网络模型的第一梯度。
可选的,在本申请一些可能的实现方式中,所述训练单元,还用于根据训练后的所述第一网络模型分别确定所述源领域数据集合中的感兴趣区域和所述目标领域数据集合中的感兴趣区域;
所述训练单元,还用于采用第二损失函数、所述源领域数据集合中的感兴趣区域和所述目标领域数据集合中的感兴趣区域对所述第二网络模型进行训练,以得到所述第二网络模型的第二梯度,其中,所述第二损失函数用于对齐所述源领域数据集合中的感兴趣区域的特征和所述目标领域数据集合中的感兴趣区域的特征,所述第二损失函数属于对抗学习损失函数,所述第二网络模型的第二梯度用于更新所述第二网络模型的参数。
可选的,在本申请一些可能的实现方式中,所述训练单元,还用于确定所述源领域数据集合中的多个锚框;
所述训练单元,还用于根据所述锚框中前景的比例为所述源领域数据集合和所述目标领域数据集合设置权重;
所述训练单元,具体用于采用第一损失函数、设置权重的源领域数据集合和设置权重的目标领域数据集合对所述第二网络模型进行训练,以得到所述第二网络模型的第一梯度。
本申请第五方面提供一种医疗检测设备,包括:存储器、处理器以及总线系统;所述存储器用于存储程序代码;所述处理器用于根据所述程序代码中的指令执行上述第一方面或第一方面任一项所述的图像检测的方法。
本申请第五方面提供一种服务器,包括:存储器、处理器以及总线系统;所述存储器用于存储程序代码;所述处理器用于根据所述程序代码中的指令执行上述第二方面或第二方面任一项所述的网络模型训练的方法。
本申请第六方面提供一种计算机可读存储介质,所述计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机执行上述第一方面或第一方面任一项所述的图像检测的方法,或上述第二方面或第二方面任一项所述的网络模型训练的方法。
从以上技术方案可以看出,本申请实施例具有以下优点:
通过获取目标领域下的待检测图像,然后将该待检测图像输入第一网络模型,以确定至少一个感兴趣区域;并将至少一个该感兴趣区域输入第二网络模型,以得到至少一个该感兴趣区域在源领域数据中对应的判别特征,该源领域数据用于指示标注数据,进而根据该判别特征确定检测结果,其中检测结果用于指示该待检测图像中该感兴趣区域的位置以及对应的标注数据。从而实现了目标领域下的图像检测,由于通过网络模型关联了目标领域与源领域,使得目标领域下的未标注数据可以通过源领域的标注数据进行标注确定,减少了因领域改变而造成的检测误差,提高了图像检测的准确性。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本申请实施例中医疗图像检测系统的一个架构示意图;
图2为本申请实施例提供的一种图像检测的流程架构图;
图3为本申请实施例提供的一种图像检测的方法的流程图;
图4为本申请实施例提供的一种图像检测的场景示意图;
图5为本申请实施例提供的一种图像转换的流程示意图;
图6为本申请实施例提供的一种网络模型的训练方法的流程图;
图7为本申请实施例提供的一种图像检测中网络模型的架构图;
图8为本申请实施例提供的一种图像检测装置的结构示意图;
图9为本申请实施例提供的一种网络模型的训练装置的结构示意图;
图10为本申请实施例提供的一种医疗检测设备的结构示意图;
图11为本申请实施例提供的一种服务器的结构示意图。
具体实施方式
本申请实施例提供了一种图像检测的方法以及相关装置,可以应用于医疗图像检测的系统或程序中,通过获取目标领域下的待检测图像,然后将该待检测图像输入第一网络模型,以确定至少一个感兴趣区域;并将至少一个该感兴趣区域输入第二网络模型,以得到至少一个该感兴趣区域在源领域数据中对应的判别特征,该源领域数据用于指示标注数据,进而根据该判别特征确定检测结果,其中检测结果用于指示该待检测图像中该感兴趣区域的位置以及对应的标注数据。从而实现了目标领域下的图像检测,由于通过网络模型关联了目标领域与源领域,使得目标领域下的未标注数据可以通过源领域的标注数据进行标注确定,减少了因领域改变而造成的检测误差,提高了图像检测的准确性。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“对应于”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
首先,对本申请实施例中可能出现的一些名词进行解释。
深度检测模型:基于深度神经网络的物体检测模型,输入图片,识别图片中目标物体的位置和类别。
感兴趣区域(regionofinterest,roi):图像处理中,从被处理的图像通过各种算子和函数以方框、圆、椭圆、不规则多边形等方式勾勒出需要处理的区域。
源领域数据:包含人工标注的数据集。例如在模型开发阶段时,合作医院所提供的训练数据,即包含了各种病灶的特征及对应的位置信息等。
目标领域数据:缺少人工标注的数据集,数据分布与源领域有差异。
领域偏移:两个领域的数据分布存在差异。
领域适应:机器学习中的一类任务,基于源领域标注数据训练的模型在目标领域上泛化性能良好。
特征对齐:对齐两个领域的特征分布,是解决领域适应的一类方法。
应理解,本申请可以应用于基于人工智能(artificialintelligence,ai)的医疗诊断场景,具体用于对输入的医学图像进行检测和分析,即采用医疗图像检测模型输出医学图像的分析结果,使得医护人员或者研究人员能够得到更准确的诊断结果。具体地,请参阅图1,图1为本申请实施例中医疗图像检测系统的一个架构示意图,如图所示,通过医疗检测设备可以获取大量的医学图像,需要说明的是,医学图像包含但不仅限于计算机断层扫描(computedtomography,ct)图像、核磁共振成像(magneticresonanceimaging,mri)图像、超声(ultrasonic,us)图像以及钼靶图像。
其中,基于ai的医学领域包括计算机视觉技术(computervision,cv),计算机视觉是一门研究如何使机器“看”的科学,更进一步的说,就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉,并进一步做图形处理,使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科,计算机视觉研究相关的理论和技术,试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、光学字符识别(opticalcharacterrecognition,ocr)、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3d技术、虚拟现实、增强现实、同步定位与地图构建等技术,还包括常见的人脸识别、指纹识别等生物特征识别技术。
其中,ct图像是由一定数目由黑到白不同灰度的像素按矩阵排列所构成。这些像素反映的是相应体素的x线吸收系数。ct图像是以不同的灰度来表示,反映器官和组织对x线的吸收程度。因此,与x线图像所示的黑白影像一样,黑影表示低吸收区,即低密度区,如含气体多的肺部;白影表示高吸收区,即高密度区,如骨骼。但是ct图像与x线图像相比,ct的密度分辨力高,即有高的密度分辨力。因此,ct图像可以更好地显示由软组织构成的器官,如脑、脊髓、纵隔、肺、肝、胆、胰以及盆部器官等,并在良好的解剖图像背景上显示出病变的影像。
mri图像已应用于全身各系统的成像诊断。效果最佳的是颅脑、脊髓、心脏大血管、关节骨骼、软组织及盆腔等。对心血管疾病不但可以观察各腔室、大血管及瓣膜的解剖变化,而且可作心室分析,进行定性及半定量的诊断,可作多个切面图,空间分辨率较高,显示心脏及病变全貌,及其与周围结构的关系,优于其他x线成像、二维超声、核素及ct检查。在对脑脊髓病变诊断时,可作冠状、矢状及横断面像。
us图像是反映介质中声学参数的差异,可得到不同于光学、x射线以及y射线等的信息。超声对人体软组织有良好的分辨能力,有利于识别生物组织的微小病变。超声图像显示活体组织时不用染色处理,即可获得所需图像。
钼靶图像是传统放射技术与现代计算机技术相结合的一种数字化影像新技术,它最终将普通x线摄影的模拟图像转化为可被量化处理的数字化图像,使传统x线拍片技术及图像质量发生质的飞跃,使放射科医师更易于发现乳腺摄片中的可疑恶性病变,被认为是一有助于提高乳腺癌早期检出率的方法。本申请主要以检测乳腺的钼靶图像为例进行介绍。
医疗检测设备将医学图像发送至服务器,通过服务器中训练得到的医学图像检测模型可以对这些医学图像进行检测,例如:如果检测到医学图像中存在钙化的区域,则提取该区域后进一步判断钙化为恶性还是良性的,如果是恶性钙化的情况,则会生成恶性钙化定位结果,由服务器将恶性钙化定位结果发送至终端设备,终端设备可以根据恶性钙化定位结果生成报告并打印出来,也可以直接在显示屏幕上展示恶性钙化定位结果。
需要说明的是,终端设备包含但不仅限于掌上电脑、手机、打印机、个人电脑、笔记本电脑以及平板电脑。
可以理解的是,医学图像检测系统所包括的医疗检测设备、服务器以及终端设备可以为三台独立的设备,也可以是集成与同一个系统内,此处不做限定。
随着计算机性能的提高,深度神经网络的优异表现令人瞩目,其中图像检测是神经网络的一个应用,其任务是检测图片中感兴趣物体的位置与类别,相比于图片分类,其需要更细粒度的标注,这提高了标注数据的获取成本以及工作量。
一般采用训练集,即源领域数据对网络模型进行训练,以得到图像特征与标注之间的对应关系,然后用该网络模型处理目标领域数据以得到相关特征。
但是,由于源领域和目标领域数据的采集往往处于不同的环境,此时两者的分布通常存在差异,例如亮度、角度、清晰度等方面,此时通过训练集训练的神经网络模型在测试集中的表现通常会下降,而且会造成图像检测结果的误差,影响图像检测的准确性。
为了解决上述问题,本申请提出了一种图像检测的方法,该方法应用于图2所示的图像检测的流程框架中,如图2所示,为本申请实施例提供的一种图像检测的流程架构图,首先医疗检测设备对用户的相关部位进行图像的采集,然后将采集的图像发送至网络模型中以得到图像中包含的病症信息,以及指示病症的位置,其中,上述网络模型有源领域数据和目标领域数据训练所得。
可以理解的是,本申请所提供的方法可以为一种程序的写入,以作为硬件系统中的一种处理逻辑,也可以作为一种图像检测装置,采用集成或外接的方式实现上述处理逻辑。作为一种实现方式,该图像检测装置通过获取目标领域下的待检测图像,然后将该待检测图像输入第一网络模型,以确定至少一个感兴趣区域;并将至少一个该感兴趣区域输入第二网络模型,以得到至少一个该感兴趣区域在源领域数据中对应的判别特征,该源领域数据用于指示标注数据,进而根据该判别特征确定检测结果,其中检测结果用于指示该待检测图像中该感兴趣区域的位置以及对应的标注数据。从而实现了目标领域下的图像检测,由于通过网络模型关联了目标领域与源领域,使得目标领域下的未标注数据可以通过源领域的标注数据进行标注确定,减少了因领域改变而造成的检测误差,提高了图像检测的准确性。
结合上述流程架构,下面将对本申请中图像检测的方法进行介绍,请参阅图3,图3为本申请实施例提供的一种图像检测的方法的流程图,本申请实施例至少包括以下步骤:
301、获取待检测图像。
本实施例中,所述待检测图像为目标领域数据,所述目标领域数据用于指示未标注的数据。
可以理解的是,待检测图像可以为医疗检测图像,所述标注数据为所述病灶的类型,即本申请通过输入待检测图像可以获取待检测图像中可能存在的病症的位置以及类型,具体的病症类型可以参照图1中的实例说明,此处不做赘述。
另外,由于目标领域与源领域的差异性,在待检测图像未目标领域数据时,可能在识别特征过程中产生偏差;对于医院的场景,在不同的医院中,对于同一种仪器的使用可能采用不同的参数,例如:检测角度、亮度、清晰度等,都可以造成特征检测的偏差,故可以将目标领域数据关联到源领域数据后再进行特征的检测。
302、将所述待检测图像输入第一网络模型,以确定至少一个感兴趣区域;
本实施例中,第一网络模型可以是区域候选网络模型(regionproposalnetworks,rpn);第一网络模型的作用是抓取待检测图像中的感兴趣区域,其中感兴趣区域可以是预先设定的,例如:设定抓取区域为包含肿块的图像区域;感兴趣区域也可以是自动生成的,例如:抓取图像中色素分布不均匀的区域;感兴趣区域还可以是通过上述方法结合确定,具体方式因实际场景而定。
应当注意的是,第一网络模型在抓取待检测图像中的感兴趣区域的同时,亦相当于去除了待检测图像的背景,对于待检测图像的背景,在不同的场景中可能有不同的呈现形式,例如在医疗图像场景中,背景可以是图像中未照亮的黑景部分;而在风景照片场景中,背景可以是天空或海洋等大面积单一色素区域。
可以理解的是,由于待检测图像中包含了前景和背景,其中,前景即为包含有效数据的区域;而背景即为不包含有效数据的区域,如图4所示,是本申请实施例提供的一种图像检测的场景示意图,图中示出了前景a1、背景a2以及感兴趣区域a3,其中,前景a1中包含了可能指示病症信息的图像,背景a2中则一般没有具体内容,而感兴趣区域a3则包含前景a1上的一部分,应当注意的是,图中感兴趣区域的图框为方形,在实际场景中可以为圆形。菱形或不规则图形,具体形状因实际场景而定,此处不做限定。另外,图中示出了一个感兴趣区域,而在实际场景中,可以是多个感兴趣区域,其中,多个感兴趣区域之间可以是相互独立的,也可以是具有一定重合区域的;还应当说明的是,图中标注所指示的位置为示例,与标注具有相似图像特征的区域与标注区域具有相似的属性。
可选的,考虑到感兴趣区域与背景可能存在重合部分,而背景为无用数据,在特征判断过程中会占用额外的资源,此时可以对感兴趣区域的选择进行优化。首先在所述待检测图像上生成至少一个锚框(anchor);然后将所述锚框输入第一网络模型,以得到包含前景的锚框;进而根据所述包含前景的锚框确定至少一个感兴趣区域。其中,锚框的大小和宽高比可以为预设的,多个锚框的尺寸可以不同,且可以根据锚框内的内容进行尺寸的调整,通过根据锚框里内容的不断调整,可以得到相对精确的感兴趣区域。
可选的,由于检测误差是有领域的差异造成的,在获取待检测图像之后,还可以将待检测图像输入图像转换器,以将待检测图像由目标领域转换为源领域;具体的,首先获取所述待检测图像对应的目标领域数据的参数;然后将所述待检测图像对应的目标领域数据的参数调整为所述源领域中对应的参数,以得到图像转换后的待检测图像;进而将所述转换后的待检测图像输入所述第一网络模型,以确定至少一个所述感兴趣区域。
对于上述图像转换器的转换过程,可以参照图5进行,如图5所示,是本申请实施例提供的一种图像转换的流程示意图;图中x,y表示两个领域的图片,g为将x中的图片转换为y风格的转换器,f是反向的转换器。我们的目标是给定x,y,训练出g和f。dx和dy为两个领域的判别器,用来判定生成图片的质量。为了保证转换后的图像能保留核心内容,循环对抗过程中还引入了额外一致性约束,使得f(g(x))≈x,g(f(y))≈y,进一步的优化领域转换的准确性,从而实现了目标领域数据向源领域数据的转换,并进行接下来的检测过程,可以提高特征的召回率。
303、将至少一个所述感兴趣区域输入第二网络模型,以得到至少一个所述感兴趣区域在源领域数据中对应的判别特征。
本实施例中,所述源领域数据用于指示标注数据,所述第二网络模型通过所述感兴趣区域关联所述源领域数据和多个所述目标领域数据;其中,第二网络模型可以是区域卷积神经网络(regionconvolutionalneuralnetworks,rcnn),也可以是其他用于深度学习的网络模型,此处不做限定。
可以理解的是,判别特征为源领域数据中的特征,其在目标领域中有对应的区域,例如:判别特征为源领域数据为亮度50%角度为45°下检测的肿块,则在目标领域亮度60%角度为40°的图像中存在与该肿块对应的区域,此时即将判别特征的标注数据对目标领域数据进行对应的标注,从而消除了领域变化对特征检测的影响;另外,该判别特征可以理解为感兴趣区域中的用于确定检测结果的关键区域,对于关键区域的设定,不同场景中有着不同的解释。在医疗图像中,关键区域即为指示病灶特征的图像区域,例如:病灶为肿块的纹理图像区域;在人脸识别中,关键区域即为指示人脸特征的图像区域,例如:人眼中瞳孔的图像区域;具体的形式因实际场景而定,此处不做限定。
对于上述过程在一种可能的场景中可以是,rcnn得到rpn生成的roi后,根据roi的位置,在主干特征抽取器backbone生成的特征图上做池化特征roi-pooling,以得到roi对应的特征,即判别特征。
304、根据所述判别特征确定检测结果。
本实施例中,所述检测结果用于指示所述待检测图像中所述感兴趣区域的位置以及对应的标注数据。其中,感兴趣区域的位置即为病灶对应的在待检测图像中的位置,标注数据即为病灶对应的类型,例如:肿块、糜烂或破损等。
可选的,由于检测结果可能由于领域的转换引入一些背景区域,此时,可以对包含背景的特征元素进行进一步的优化。具体的,首先获取所述判别特征对应的区域;当所述判别特征对应的区域满足预设条件时,则根据所述判别特征确定检测结果,其中,所述预设条件基于所述判别特征对应的区域中背景的占比设定;例如:规定背景占比小于10%的判别特征为检测结果。可以理解的是,对于不满足预设条件的判别特征,可以进一步的对判别特征对应的roi进行区域调整,以使得对应区域中背景的占比满足预设条件。
通过上述实施例可见,通过获取目标领域下的待检测图像,然后将该待检测图像输入第一网络模型,以确定至少一个感兴趣区域;并将至少一个该感兴趣区域输入第二网络模型,以得到至少一个该感兴趣区域在源领域数据中对应的判别特征,该源领域数据用于指示标注数据,进而根据该判别特征确定检测结果,其中检测结果用于指示该待检测图像中该感兴趣区域的位置以及对应的标注数据。从而实现了目标领域下的图像检测,一方面,由于通过网络模型关联了目标领域与源领域,使得目标领域下的未标注数据可以通过源领域的标注数据进行标注确定,减少了因领域改变而造成的检测误差,提高了图像检测的准确性;另一方面,减少了由于领域改变而产生的工作量,提高了检测效率。
上述实施例介绍了图像输入后的处理方法,其中涉及了第一网络模型和第二网络模型的应用,可以理解的是,本实施例中提供的第一网络模型和第二网络模型并不是常规的源模型,是经过预设的数据集进行相关特征训练得到的;下面将对本申请中网络模型训练的方法进行介绍,请参阅图6,图6为本申请实施例提供的一种网络模型的训练方法的流程图,本申请实施例至少包括以下步骤:
601、获取待训练图像集合。
本实施例中,所述待训练图像集合包括源领域数据集合和目标领域数据集合,所述源领域数据集合包括至少一个源领域数据,所述目标领域数据集合包括至少一个目标领域数据,所述源领域数据用于指示已标注的数据,所述目标领域数据用于指示未标注的数据。
可以理解的是,源领域数据集合可以包括对于同一病症的不同特征检测方式,也可以包括对应不同病症的同一特征的检测方式,例如:源领域数据集合包括对于肺结核的不同病理特征的数据集合;源领域数据集合也可以包括对于不同病症中肿块的特征数据集合,具体的数据集合形式因实际场景而定,且应包括对应的目标领域数据,此处不做限定。
602、采用所述源领域数据集合和所述目标领域数据集合对第一网络模型进行训练。
本实施例中,第一网络模型可以为rpn。其中,对于rpn的训练过程即为了通过rpn可以采集到预设的包含病症特征的感兴趣区域;对应的,对于rpn的训练过程中可以采用源领域数据中不同病症下的特征分布情况,以及相关特征对应的尺寸信息。
603、根据训练后的所述第一网络模型确定至少一个感兴趣区域。
本实施例中,原领域数据通过感兴趣区域与目标领域区域关联。
604、采用所述感兴趣区域、所述源领域数据集合和所述目标领域数据集合对第二网络模型进行训练。
本实施例中,训练后的所述第二网络模型用于指示所述目标领域数据中所述感兴趣区域对应的标注数据。
可选的,为进一步提高源领域数据与目标领域数据的对应性,可以对源领域数据与目标领域数据进行特征对齐,该特征对齐过程可以通过以下方式进行。
一、对图像特征进行特征对齐。
具体的,可以采用第一损失函数、所述源领域数据集合和所述目标领域数据集合对所述第二网络模型进行训练,以得到所述第二网络模型的第一梯度,其中,所述第一损失函数用于对齐所述源领域数据集合的特征和所述目标领域数据集合的特征,所述第一损失函数属于对抗学习损失函数,所述第二网络模型的第一梯度用于更新所述第二网络模型的参数。
在一种可能的实现方式中,记源领域数据xs被backbone抽取的特征图为fs∈rh×w×c,其中h和w分别为特征图的高和宽,c为通道数;对应的,目标数据xt的特征图为ft∈rh×w×c。由于假定领域差异主要来自于图像低级特征,因此如果能对齐这两个特征图,也就能消除由图像风格差异所导致的领域的差异。可以理解的是,该特征对齐过程是对齐patch的特征而不是整个图像的特征,也就是说,特征图上的每个输出代表了原图上的一个patch,对同一个位置取各通道的值并拼接起来,得到源领域的patch特征fs∈rc和目标领域的patch特征ft∈rc。
然后,训练一个领域判别器dd,定义图像级别的特征对齐的第一损失函数可以为:
limg=yddlogdd(f;θdd)+(1-ydd)log(1-dd(f;θdd))
其中ydd表示输入图像的领域标签(源领域为1,目标领域为0),dd(;fθ)dd为领域判别器计算得到的输入图像属于源领域的概率,其中θdd是领域判别器的训练参数,训练目标为
可选的,为提高上述训练的效率,可以将目标函数反转,即最小化目标函数。具体的。可以引入梯度翻转层(gradientreversallayer,grl)来对抗地对齐特征,grl的作用是翻转输入梯度的符号,使得在最小化操作上,grl之后的参数是最小化目标函数,而grl之前的参数是最大化目标函数,从而提高对抗学习的效率。
二、对roi进行特征对齐。
具体的,首先根据训练后的所述第一网络模型分别确定所述源领域数据集合中的感兴趣区域和所述目标领域数据集合中的感兴趣区域;然后采用第二损失函数、所述源领域数据集合中的感兴趣区域和所述目标领域数据集合中的感兴趣区域对所述第二网络模型进行训练,以得到所述第二网络模型的第二梯度,其中,所述第二损失函数用于对齐所述源领域数据集合中的感兴趣区域的特征和所述目标领域数据集合中的感兴趣区域的特征,所述第二损失函数属于对抗学习损失函数,所述第二网络模型的第二梯度用于更新所述第二网络模型的参数。
在一种可能的实现方式中,对每个roi,经过roi-pooling后得到roi的特征,源领域数据和目标领域数据分别记为
其中lins实例级别特征对齐的目标函数,pr表示实例级别的领域判别器对roi特征fr计算得到的属于源领域的概率,训练目标为
可选的,结合上述两种特征对齐的方式,可以得到总体损失函数l为:
l=limg+lins+ldet
其中,ldet是检测模型的监督损失。
可以理解的是,上述实施例中一种或多种网络模型均可以应用到图3所述实施例的图像检测场景中。
通过上述实施例可见,通过将源领域数据与目标领域数据进行对齐,提高了网络模型中源领域数据与目标领域数据的关联度,进一步提高了图像检测过程的准确性。
在另一种可能的场景中,由于模型先验生成的大量anchor中,可能包含大量的背景,而在医疗图像检测中更关注需要检测的前景区域,而背景的风格变化无需太过关注,因此如果平等地对待前景anchor和背景anchor,则占绝大多数的背景anchor所产生的特征对齐损失会掩盖掉前景anchor的特征对齐损失,影响源领域数据与目标领域数据的关联度。
为解决上述问题,可以在图6所述实施例的基础上为每个anchor设置权重。具体的,权重w可以为:
w=y(1-p)γ+(1-y)pγ
其中y是anchor被赋予的标签(如果为前景则y=1,如果为背景则为0),p是当前模型计算的anchor为前景的置信度。
然后对应于特征对齐过程中,第一损失函数可以调整为:
相关参数说明即后续操作可以参照上述图6对应实施例中的第一损失函数,此处不做赘述。
通过权重的设置,解决了锚框类别不平衡的问题,降低包含背景的锚框在特征对齐中的影响;且缓解了在训练过程中包含前景的锚框覆盖不完全的问题。
上述实施例介绍了多种对于网络模型的训练过程,下面结合一种具体的场景对本申请提供的图像检测方法进行说明,如图7所示,是本申请实施例提供的一种图像检测中网络模型的架构图。
需要说明的是,本实施例中涉及两种网络模型,在该场景中为rpn和rcnn,可选的,两种网络模型也可以合并为一个网络模型,并合并两种相应的功能,例如合并为快速区域卷积神经网络(faster-rcnn),具体的结合形式因实际场景而定,此处不做限定。
首先将待检测的图像进行主干特征抽取以得到主干特征集,其中,主干特征集中的源领域数据和目标领域数据是经过图像领域判别器进行特征对齐的,且输入图像领域判别器之前还经过了梯度翻转层以最小化目标函数。
对于上述主干特征集,一方面,将主干特征集输入rpn以选取相关的候选框确定锚框,并进一步的确定roi;另一方面,将主干特征集输入rcnn中的池化层,并结合一方面确定的roi,以得到roi对应的特征,且对于roi对应的特征经过梯度翻转层后进行了特征对齐。
最后,根据得到的roi对应的特征,确定病症对应的类型以及病症发生的位置。
可以理解是的,图3或图6所述实施例中的相关特征均可引援到该架构图的流程中,此处不做赘述。
为了更好的实施本申请实施例的上述方案,下面还提供用于实施上述方案的相关装置。请参阅图8,图8为本申请实施例提供的一种图像检测装置的结构示意图,图像检测装置800包括:
获取单元801,用于获取待检测图像,该待检测图像为目标领域数据,该目标领域数据用于指示未标注的数据;
确定单元802,用于将该待检测图像输入第一网络模型,以确定至少一个感兴趣区域,所述第一网络模型用于去除所述待检测图像的背景;
输入单元803,用于将至少一个该感兴趣区域输入第二网络模型,以得到至少一个该感兴趣区域在源领域数据中对应的判别特征,该源领域数据用于指示标注数据,该第二网络模型通过该感兴趣区域关联该源领域数据和多个该目标领域数据,所述判别特征为所述感兴趣区域中的用于确定检测结果的关键区域;
检测单元804,用于根据该判别特征确定检测结果,该检测结果用于指示该待检测图像中该感兴趣区域的位置以及对应的标注数据。
可选的,在本申请一些可能的实现方式中,该确定单元,具体用于在该待检测图像上生成至少一个锚框;
该确定单元802,具体用于将该锚框输入第一网络模型,以得到包含前景的锚框,该前景用于指示该待检测图像中的有效数据;
该确定单元802,具体用于根据该包含前景的锚框确定至少一个感兴趣区域。
可选的,在本申请一些可能的实现方式中,该检测单元804,具体用于获取该判别特征对应的区域;
该检测单元804,具体用于若该判别特征对应的区域满足预设条件,则根据该判别特征确定检测结果,该预设条件基于所述判别特征对应的区域中背景的占比设定。
可选的,在本申请一些可能的实现方式中,该获取单元801,还用于获取该待检测图像对应的目标领域数据的参数;
该获取单元801,还用于将该待检测图像对应的目标领域数据的参数调整为该源领域中对应的参数,以得到图像转换后的待检测图像;
该确定单元802,具体用于将该转换后的待检测图像输入该第一网络模型,以确定至少一个该感兴趣区域。
通过获取目标领域下的待检测图像,然后将该待检测图像输入第一网络模型,以确定至少一个感兴趣区域;并将至少一个该感兴趣区域输入第二网络模型,以得到至少一个该感兴趣区域在源领域数据中对应的判别特征,该源领域数据用于指示标注数据,进而根据该判别特征确定检测结果,其中检测结果用于指示该待检测图像中该感兴趣区域的位置以及对应的标注数据。从而实现了目标领域下的图像检测,由于通过网络模型关联了目标领域与源领域,使得目标领域下的未标注数据可以通过源领域的标注数据进行标注确定,减少了因领域改变而造成的检测误差,提高了图像检测的准确性。
本实施例还提供一种网络模型训练装置900,如图9所示,包括:
获取单元901,用于获取待训练图像集合,该待训练图像集合包括源领域数据集合和目标领域数据集合,该源领域数据集合包括至少一个源领域数据,该目标领域数据集合包括至少一个目标领域数据,该源领域数据用于指示已标注的数据,该目标领域数据用于指示未标注的数据;
训练单元902,用于采用该源领域数据集合和该目标领域数据集合对第一网络模型进行训练;
确定单元903,用于根据训练后的该第一网络模型确定至少一个感兴趣区域;
该训练单元902,还用于采用该感兴趣区域、该源领域数据集合和该目标领域数据集合对第二网络模型进行训练,训练后的该第二网络模型用于指示该目标领域数据中该感兴趣区域对应的标注数据。
可选的,在本申请一些可能的实现方式中,该训练单元902,还用于采用第一损失函数、该源领域数据集合和该目标领域数据集合对该第二网络模型进行训练,以得到该第二网络模型的第一梯度,其中,该第一损失函数用于对齐该源领域数据集合的特征和该目标领域数据集合的特征,该第一损失函数属于对抗学习损失函数,该第二网络模型的第一梯度用于更新该第二网络模型的参数。
可选的,在本申请一些可能的实现方式中,该训练单元902,具体用于将该第一损失函数、该源领域数据集合和该目标领域数据集合输入梯度反转层,以使得目标函数反转;
该训练单元902,具体用于根据反转后的目标函数对该第二网络模型进行训练,以得到该第二网络模型的第一梯度。
可选的,在本申请一些可能的实现方式中,该训练单元902,还用于根据训练后的该第一网络模型分别确定该源领域数据集合中的感兴趣区域和该目标领域数据集合中的感兴趣区域;
该训练单元902,还用于采用第二损失函数、该源领域数据集合中的感兴趣区域和该目标领域数据集合中的感兴趣区域对该第二网络模型进行训练,以得到该第二网络模型的第二梯度,其中,该第二损失函数用于对齐该源领域数据集合中的感兴趣区域的特征和该目标领域数据集合中的感兴趣区域的特征,该第二损失函数属于对抗学习损失函数,该第二网络模型的第二梯度用于更新该第二网络模型的参数。
可选的,在本申请一些可能的实现方式中,该训练单元902,还用于确定该源领域数据集合中的多个锚框;
该训练单元902,还用于根据该锚框中前景的比例为该源领域数据集合和该目标领域数据集合设置权重;
该训练单元902,具体用于采用第一损失函数、设置权重的源领域数据集合和设置权重的目标领域数据集合对该第二网络模型进行训练,以得到该第二网络模型的第一梯度。
本申请实施例还提供了一种医疗检测设备,如图10所示,是本申请实施例提供的一种医疗检测设备的结构示意图,为了便于说明,仅示出了与本申请实施例相关的部分,具体技术细节未揭示的,请参照本申请实施例方法部分。
图10示出的是与本申请实施例提供的医疗检测设备的部分结构的框图。参考图10,医疗检测设备包括:射频(radiofrequency,rf)电路1010、存储器1020、输入单元1030、显示单元1040、传感器1050、音频电路1060、无线保真(wirelessfidelity,wifi)模块1070、处理器1080、以及电源1090等部件。本领域技术人员可以理解,图10中示出的手机结构并不构成对手机的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
下面结合图10对医疗检测设备的各个构成部件进行具体的介绍:
rf电路1010可用于收发信息或通话过程中,信号的接收和发送,特别地,将基站的下行信息接收后,给处理器1080处理;另外,将设计上行的数据发送给基站。通常,rf电路1010包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器(lownoiseamplifier,lna)、双工器等。此外,rf电路1010还可以通过无线通信与网络和其他设备通信。上述无线通信可以使用任一通信标准或协议,包括但不限于全球移动通讯系统(globalsystemofmobilecommunication,gsm)、通用分组无线服务(generalpacketradioservice,gprs)、码分多址(codedivisionmultipleaccess,cdma)、宽带码分多址(widebandcodedivisionmultipleaccess,wcdma)、长期演进(longtermevolution,lte)、电子邮件、短消息服务(shortmessagingservice,sms)等。
存储器1020可用于存储软件程序以及模块,处理器1080通过运行存储在存储器1020的软件程序以及模块,从而执行医疗检测设备的各种功能应用以及数据处理。存储器1020可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据医疗检测设备的使用所创建的数据(比如音频数据、电话本等)等。此外,存储器1020可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
输入单元1030可用于接收输入的数字或字符信息,以及产生与医疗检测设备的用户设置以及功能控制有关的键信号输入。具体地,输入单元1030可包括触控面板1031以及其他输入设备1032。触控面板1031,也称为触摸屏,可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板1031上或在触控面板1031附近的操作,以及在触控面板1031上一定范围内的隔空触控操作),并根据预先设定的程式驱动相应的连接装置。可选的,触控面板1031可包括触摸检测装置和触摸控制器两个部分。其中,触摸检测装置检测用户的触摸方位,并检测触摸操作带来的信号,将信号传送给触摸控制器;触摸控制器从触摸检测装置上接收触摸信息,并将它转换成触点坐标,再送给处理器1080,并能接收处理器1080发来的命令并加以执行。此外,可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板1031。除了触控面板1031,输入单元1030还可以包括其他输入设备1032。具体地,其他输入设备1032可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
显示单元1040可用于显示由用户输入的信息或提供给用户的信息以及医疗检测设备的各种菜单。显示单元1040可包括显示面板1041,可选的,可以采用液晶显示器(liquidcrystaldisplay,lcd)、有机发光二极管(organiclight-emittingdiode,oled)等形式来配置显示面板1041。进一步的,触控面板1031可覆盖显示面板1041,当触控面板1031检测到在其上或附近的触摸操作后,传送给处理器1080以确定触摸事件的类型,随后处理器1080根据触摸事件的类型在显示面板1041上提供相应的视觉输出。虽然在图10中,触控面板1031与显示面板1041是作为两个独立的部件来实现医疗检测设备的输入和输入功能,但是在某些实施例中,可以将触控面板1031与显示面板1041集成而实现医疗检测设备的输入和输出功能。
医疗检测设备还可包括至少一种传感器1050,比如光传感器、运动传感器以及其他传感器。具体地,光传感器可包括环境光传感器及接近传感器,其中,环境光传感器可根据环境光线的明暗来调节显示面板1041的亮度,接近传感器可在医疗检测设备移动到耳边时,关闭显示面板1041和/或背光。作为运动传感器的一种,加速计传感器可检测各个方向上(一般为三轴)加速度的大小,静止时可检测出重力的大小及方向,可用于识别医疗检测设备姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等;至于医疗检测设备还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器,在此不再赘述。
音频电路1060、扬声器1061,传声器1062可提供用户与医疗检测设备之间的音频接口。音频电路1060可将接收到的音频数据转换后的电信号,传输到扬声器1061,由扬声器1061转换为声音信号输出;另一方面,传声器1062将收集的声音信号转换为电信号,由音频电路1060接收后转换为音频数据,再将音频数据输出处理器1080处理后,经rf电路1010以发送给比如另一医疗检测设备,或者将音频数据输出至存储器1020以便进一步处理。
wifi属于短距离无线传输技术,医疗检测设备通过wifi模块1070可以帮助用户收发电子邮件、浏览网页和访问流式媒体等,它为用户提供了无线的宽带互联网访问。虽然图10示出了wifi模块1070,但是可以理解的是,其并不属于医疗检测设备的必须构成,完全可以根据需要在不改变发明的本质的范围内而省略。
处理器1080是医疗检测设备的控制中心,利用各种接口和线路连接整个医疗检测设备的各个部分,通过运行或执行存储在存储器1020内的软件程序和/或模块,以及调用存储在存储器1020内的数据,执行医疗检测设备的各种功能和处理数据,从而对医疗检测设备进行整体监控。可选的,处理器1080可包括一个或多个处理单元;可选的,处理器1080可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器1080中。
医疗检测设备还包括给各个部件供电的电源1090(比如电池),可选的,电源可以通过电源管理系统与处理器1080逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。
尽管未示出,手机还可以包括摄像头、蓝牙模块等,在此不再赘述。
在本申请实施例中,该终端所包括的处理器1080还具有执行如上述图像检测方法的各个步骤的功能。
本申请实施例还提供了一种服务器,请参阅图11,图11是本发明实施例提供的服务器一种结构示意图,该服务器1100可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上中央处理器(centralprocessingunits,cpu)1122(例如,一个或一个以上处理器)和存储器1132,一个或一个以上存储应用程序1142或数据1144的存储介质1130(例如一个或一个以上海量存储设备)。其中,存储器1132和存储介质1130可以是短暂存储或持久存储。存储在存储介质1130的程序可以包括一个或一个以上模块(图示没标出),每个模块可以包括对服务器中的一系列指令操作。更进一步地,中央处理器1122可以设置为与存储介质1130通信,在服务器1100上执行存储介质1130中的一系列指令操作。
服务器1100还可以包括一个或一个以上电源1126,一个或一个以上有线或无线网络接口1150,一个或一个以上输入输出接口1158,和/或,一个或一个以上操作系统1141,例如windowsservertm,macosxtm,unixtm,linuxtm,freebsdtm等等。
上述实施例中由服务器所执行的步骤可以基于该图11所示的服务器结构。
本申请实施例中还提供一种计算机可读存储介质,该计算机可读存储介质中存储有图像检测指令,当其在计算机上运行时,使得计算机执行如前述图2至图7所示实施例描述的方法中图像检测装置所执行的步骤。
本申请实施例中还提供一种包括图像检测指令的计算机程序产品,当其在计算机上运行时,使得计算机执行如前述图2至图7所示实施例描述的方法中图像检测装置所执行的步骤。
本申请实施例还提供了一种图像检测系统,所述图像检测系统可以包含图8所描述实施例中的图像检测装置,或者图9所描述的网络模型训练装置。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,图像检测装置,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:u盘、移动硬盘、只读存储器(read-onlymemory,rom)、随机存取存储器(randomaccessmemory,ram)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。