稀少内容的分级深度学习模型检测方法、装置、计算机设备与流程

文档序号:23542844发布日期:2021-01-05 20:53阅读:83来源:国知局
稀少内容的分级深度学习模型检测方法、装置、计算机设备与流程

本发明涉及稀少内容技术领域,尤其涉及一种稀少内容的分级深度学习模型检测方法、装置、计算机设备。



背景技术:

在模型检测领域,目前使用深度学习技术已经能把识别精度提升到超越人类的水平。得益于gpu(graphicsprocessingunit,图形处理器)的高速发展,通过分布式大规模训练已经能把模型训练时间的数量级从月甚至年缩小到天。

一旦模型训练完成就要做推理部署,工业化的推理通常需要具备延时低,并发量高的需求,为了维持足够的推理性能指标,通常需要大量的计算资源做推理计算,机器成本占了大部分的服务成本。

与训练样本分布不同,真实世界中大部分场景面临着的问题通常是类别不均衡问题,通常某些类别占了整体数据的绝大部分,这部分则是稀少内容。

然而,现有的稀少内容的检测方案,由于真实数据中正常内容占绝大部分,稀少内容占比很少,为了维持足够的推理性能指标,通常需要大量的计算资源做推理计算,机器成本占了大部分的服务成本。



技术实现要素:

有鉴于此,本发明的目的在于提出一种稀少内容的分级深度学习模型检测方法、装置、计算机设备,能够实现在维持足够的推理性能指标的同时,能够减少做推理计算所需的计算资源,降低机器成本。

根据本发明的一个方面,提供一种稀少内容的分级深度学习模型检测方法,包括:采用分级深度学习模型方式,将推理模型配置为初筛模型和决策模型;其中,所述初筛模型为满足预设性能阈值的模型,所述决策模型为满足预设指标阈值的模型;调节所述初筛模型的初筛阈值为第一阈值,根据所述第一阈值,从稀少内容中筛选出正常内容;调整所述决策模型的决策阈值为第二阈值,根据所述第二阈值,从所述经筛选出正常内容后的稀少内容中决策出正常内容;其中,所述第二阈值小于所述第一阈值。

其中,所述采用分级深度学习模型方式,将推理模型配置为初筛模型和决策模型;其中,所述初筛模型为满足预设性能阈值的模型,所述决策模型为满足预设指标阈值的模型,包括:采用分级深度学习模型方式,根据推理模型的性能数据和指标数据,将推理模型配置为初筛模型和决策模型;其中,所述初筛模型为满足预设性能阈值的模型,所述决策模型为满足预设指标阈值的模型。

其中,所述调节所述初筛模型的初筛阈值为第一阈值,根据所述第一阈值,从稀少内容中筛选出正常内容,包括:调节所述初筛模型的初筛阈值为第一阈值,获取稀少内容中所有内容数据的正常置信度,从所述稀少内容中筛选出正常置信度高于所述第一阈值的内容数据为正常内容。

其中,所述调整所述决策模型的决策阈值为第二阈值,根据所述第一阈值,从所述经筛选出正常内容后的稀少内容中决策出正常内容;其中,所述第二阈值小于所述第一阈值,包括:调整所述决策模型的决策阈值为第二阈值,从所述经筛选出正常内容后的稀少内容中决策出正常置信度高于所述第二阈值的内容数据为正常内容。

其中,在所述调整所述决策模型的决策阈值为第二阈值,根据所述第二阈值,从所述经筛选出正常内容后的稀少内容中决策出正常内容;其中,所述第二阈值小于所述第一阈值之后,还包括:根据所述筛选出的正常内容和所述决策出的正常内容,对所述分级深度学习模型进行训练。

根据本发明的另一个方面,提供一种稀少内容的分级深度学习模型检测装置,包括:配置模块、筛选模块和决策模块;所述配置模块,用于采用分级深度学习模型方式,将推理模型配置为初筛模型和决策模型;其中,所述初筛模型为满足预设性能阈值的模型,所述决策模型为满足预设指标阈值的模型;所述筛选模块,用于调节所述初筛模型的初筛阈值为第一阈值,根据所述第一阈值,从稀少内容中筛选出正常内容;所述决策模块,用于调整所述决策模型的决策阈值为第二阈值,根据所述第二阈值,从所述经筛选出正常内容后的稀少内容中决策出正常内容;其中,所述第二阈值小于所述第一阈值。

其中,所述配置模块,具体用于:采用分级深度学习模型方式,根据推理模型的性能数据和指标数据,将推理模型配置为初筛模型和决策模型;其中,所述初筛模型为满足预设性能阈值的模型,所述决策模型为满足预设指标阈值的模型。

其中,所述筛选模块,具体用于:调节所述初筛模型的初筛阈值为第一阈值,获取稀少内容中所有内容数据的正常置信度,从所述稀少内容中筛选出正常置信度高于所述第一阈值的内容数据为正常内容。

其中,所述决策模块,具体用于:调整所述决策模型的决策阈值为第二阈值,从所述经筛选出正常内容后的稀少内容中决策出正常置信度高于所述第二阈值的内容数据为正常内容。

其中,所述稀少内容的分级深度学习模型检测装置,还包括:训练模块;所述训练模块,用于根据所述筛选出的正常内容和所述决策出的正常内容,对所述分级深度学习模型进行训练。

根据本发明的又一个方面,提供一种计算机设备,包括:至少一个处理器;以及,与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行如上述任一项所述的稀少内容的分级深度学习模型检测方法。

根据本发明的再一个方面,提供一种计算机可读存储介质,存储有计算机程序,所述计算机程序被处理器执行时实现如上述任一项所述的稀少内容的分级深度学习模型检测方法。

可以发现,以上方案,可以采用分级深度学习模型方式,将推理模型配置为初筛模型和决策模型,其中,该初筛模型为满足预设性能阈值的模型,该决策模型为满足预设指标阈值的模型,和可以调节该初筛模型的初筛阈值为第一阈值,根据该第一阈值,从稀少内容中筛选出正常内容,以及可以调整该决策模型的决策阈值为第二阈值,根据该第二阈值,从该经筛选出正常内容后的稀少内容中决策出正常内容;其中,该第二阈值小于该第一阈值,能够实现方便的将稀少内容的推理性能提升到接近初筛模型性能,推理指标效果提升到接近决策模型指标,能够实现在维持足够的推理性能指标的同时,能够减少做推理计算所需的计算资源,降低机器成本。

进一步的,以上方案,可以采用分级深度学习模型方式,根据推理模型的性能数据和指标数据,将推理模型配置为初筛模型和决策模型;其中,该初筛模型为满足预设性能阈值的模型,该决策模型为满足预设指标阈值的模型,这样的好处是能够实现方便的将稀少内容的推理性能提升到接近初筛模型性能,推理指标效果提升到接近决策模型指标,能够实现在维持足够的推理性能指标的同时,能够减少做推理计算所需的计算资源,降低机器成本。

进一步的,以上方案,可以调节该初筛模型的初筛阈值为第一阈值,获取稀少内容中所有内容数据的正常置信度,从该稀少内容中筛选出正常置信度高于该第一阈值的内容数据为正常内容,这样的好处是能够实现把推理性能提升到接近初筛模型性能,能够控制流入决策模型的内容数据的数量。

进一步的,以上方案,可以调整该决策模型的决策阈值为第二阈值,从该经筛选出正常内容后的稀少内容中决策出正常置信度高于该第二阈值的内容数据为正常内容,这样的好处是能够实现把推理指标提升到接近决策模型指标,能够减少对稀少内容中正常内容的漏识别,能够在维持足够的推理性能指标的同时,能够减少做推理计算所需的计算资源,降低机器成本。

进一步的,以上方案,可以根据该筛选出的正常内容和该决策出的正常内容,对该分级深度学习模型进行训练,这样的好处是能够实现方便的将稀少内容的推理性能提升到进一步接近初筛模型性能,推理指标效果提升到进一步接近决策模型指标,能够实现在维持足够的推理性能指标的同时,能够进一步减少做推理计算所需的计算资源,进一步降低机器成本。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。

图1是本发明稀少内容的分级深度学习模型检测方法一实施例的流程示意图;

图2是本发明稀少内容的分级深度学习模型检测方法另一实施例的流程示意图;

图3是本发明稀少内容的分级深度学习模型检测装置一实施例的结构示意图;

图4是本发明稀少内容的分级深度学习模型检测装置另一实施例的结构示意图;

图5是本发明计算机设备一实施例的结构示意图。

具体实施方式

下面结合附图和实施例,对本发明作进一步的详细描述。特别指出的是,以下实施例仅用于说明本发明,但不对本发明的范围进行限定。同样的,以下实施例仅为本发明的部分实施例而非全部实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。

本发明提供一种稀少内容的分级深度学习模型检测方法,能够实现在维持足够的推理性能指标的同时,能够减少做推理计算所需的计算资源,降低机器成本。

请参见图1,图1是本发明稀少内容的分级深度学习模型检测方法一实施例的流程示意图。需注意的是,若有实质上相同的结果,本发明的方法并不以图1所示的流程顺序为限。如图1所示,该方法包括如下步骤:

s101:采用分级深度学习模型方式,将推理模型配置为初筛模型和决策模型;其中,该初筛模型为满足预设性能阈值的模型,该决策模型为满足预设指标阈值的模型。

其中,该采用分级深度学习模型方式,将推理模型配置为初筛模型和决策模型;其中,该初筛模型为满足预设性能阈值的模型,该决策模型为满足预设指标阈值的模型,可以包括:

采用分级深度学习模型方式,根据推理模型的性能数据和指标数据,将推理模型配置为初筛模型和决策模型;其中,该初筛模型为满足预设性能阈值的模型,该决策模型为满足预设指标阈值的模型,这样的好处是能够实现方便的将稀少内容的推理性能提升到接近初筛模型性能,推理指标效果提升到接近决策模型指标,能够实现在维持足够的推理性能指标的同时,能够减少做推理计算所需的计算资源,降低机器成本。

在本实施例中,该初筛模型一般是性能较好的模型,该决策模型一般是指标较好的模型。

s102:调节该初筛模型的初筛阈值为第一阈值,根据该第一阈值,从稀少内容中筛选出正常内容。

其中,该调节该初筛模型的初筛阈值为第一阈值,根据该第一阈值,从稀少内容中筛选出正常内容,可以包括:

调节该初筛模型的初筛阈值为第一阈值,获取稀少内容中所有内容数据的正常置信度,从该稀少内容中筛选出正常置信度高于该第一阈值的内容数据为正常内容,这样的好处是能够实现把推理性能提升到接近初筛模型性能,能够控制流入决策模型的内容数据的数量。

s103:调整该决策模型的决策阈值为第二阈值,根据该第二阈值,从该经筛选出正常内容后的稀少内容中决策出正常内容;其中,该第二阈值小于该第一阈值。

其中,该调整该决策模型的决策阈值为第二阈值,根据该第一阈值,从该经筛选出正常内容后的稀少内容中决策出正常内容;其中,该第二阈值小于该第一阈值,可以包括:

调整该决策模型的决策阈值为第二阈值,从该经筛选出正常内容后的稀少内容中决策出正常置信度高于该第二阈值的内容数据为正常内容,这样的好处是能够实现把推理指标提升到接近决策模型指标,能够减少对稀少内容中正常内容的漏识别,能够在维持足够的推理性能指标的同时,能够减少做推理计算所需的计算资源,降低机器成本。

其中,在该调整该决策模型的决策阈值为第二阈值,根据该第二阈值,从该经筛选出正常内容后的稀少内容中决策出正常内容;其中,该第二阈值小于该第一阈值之后,还可以包括:

根据该筛选出的正常内容和该决策出的正常内容,对该分级深度学习模型进行训练,这样的好处是能够实现方便的将稀少内容的推理性能提升到进一步接近初筛模型性能,推理指标效果提升到进一步接近决策模型指标,能够实现在维持足够的推理性能指标的同时,能够进一步减少做推理计算所需的计算资源,进一步降低机器成本。

可以发现,在本实施例中,可以采用分级深度学习模型方式,将推理模型配置为初筛模型和决策模型,其中,该初筛模型为满足预设性能阈值的模型,该决策模型为满足预设指标阈值的模型,和可以调节该初筛模型的初筛阈值为第一阈值,根据该第一阈值,从稀少内容中筛选出正常内容,以及可以调整该决策模型的决策阈值为第二阈值,根据该第二阈值,从该经筛选出正常内容后的稀少内容中决策出正常内容;其中,该第二阈值小于该第一阈值,能够实现方便的将稀少内容的推理性能提升到接近初筛模型性能,推理指标效果提升到接近决策模型指标,能够实现在维持足够的推理性能指标的同时,能够减少做推理计算所需的计算资源,降低机器成本。

进一步的,在本实施例中,可以采用分级深度学习模型方式,根据推理模型的性能数据和指标数据,将推理模型配置为初筛模型和决策模型;其中,该初筛模型为满足预设性能阈值的模型,该决策模型为满足预设指标阈值的模型,这样的好处是能够实现方便的将稀少内容的推理性能提升到接近初筛模型性能,推理指标效果提升到接近决策模型指标,能够实现在维持足够的推理性能指标的同时,能够减少做推理计算所需的计算资源,降低机器成本。

进一步的,在本实施例中,可以调节该初筛模型的初筛阈值为第一阈值,获取稀少内容中所有内容数据的正常置信度,从该稀少内容中筛选出正常置信度高于该第一阈值的内容数据为正常内容,这样的好处是能够实现把推理性能提升到接近初筛模型性能,能够控制流入决策模型的内容数据的数量。

进一步的,在本实施例中,可以调整该决策模型的决策阈值为第二阈值,从该经筛选出正常内容后的稀少内容中决策出正常置信度高于该第二阈值的内容数据为正常内容,这样的好处是能够实现把推理指标提升到接近决策模型指标,能够减少对稀少内容中正常内容的漏识别,能够在维持足够的推理性能指标的同时,能够减少做推理计算所需的计算资源,降低机器成本。

请参见图2,图2是本发明稀少内容的分级深度学习模型检测方法另一实施例的流程示意图。本实施例中,该方法包括以下步骤:

s201:采用分级深度学习模型方式,将推理模型配置为初筛模型和决策模型;其中,该初筛模型为满足预设性能阈值的模型,该决策模型为满足预设指标阈值的模型。

可如上s101所述,在此不作赘述。

s202:调节该初筛模型的初筛阈值为第一阈值,根据该第一阈值,从稀少内容中筛选出正常内容。

可如上s102所述,在此不作赘述。

s203:调整该决策模型的决策阈值为第二阈值,根据该第二阈值,从该经筛选出正常内容后的稀少内容中决策出正常内容;其中,该第二阈值小于该第一阈值。

可如上s103所述,在此不作赘述。

s204:根据该筛选出的正常内容和该决策出的正常内容,对该分级深度学习模型进行训练。

可以发现,在本实施例中,可以根据该筛选出的正常内容和该决策出的正常内容,对该分级深度学习模型进行训练,这样的好处是能够实现方便的将稀少内容的推理性能提升到进一步接近初筛模型性能,推理指标效果提升到进一步接近决策模型指标,能够实现在维持足够的推理性能指标的同时,能够进一步减少做推理计算所需的计算资源,进一步降低机器成本。

本发明还提供一种稀少内容的分级深度学习模型检测装置,能够实现在维持足够的推理性能指标的同时,能够减少做推理计算所需的计算资源,降低机器成本。

请参见图3,图3是本发明稀少内容的分级深度学习模型检测装置一实施例的结构示意图。本实施例中,该稀少内容的分级深度学习模型检测装置30包括配置模块31、筛选模块32和决策模块33。

该配置模块31,用于采用分级深度学习模型方式,将推理模型配置为初筛模型和决策模型;其中,该初筛模型为满足预设性能阈值的模型,该决策模型为满足预设指标阈值的模型。

该筛选模块32,用于调节该初筛模型的初筛阈值为第一阈值,根据该第一阈值,从稀少内容中筛选出正常内容。

该决策模块33,用于调整该决策模型的决策阈值为第二阈值,根据该第二阈值,从该经筛选出正常内容后的稀少内容中决策出正常内容;其中,该第二阈值小于该第一阈值。

可选地,该配置模块31,可以具体用于:

采用分级深度学习模型方式,根据推理模型的性能数据和指标数据,将推理模型配置为初筛模型和决策模型;其中,该初筛模型为满足预设性能阈值的模型,该决策模型为满足预设指标阈值的模型。

可选地,该筛选模块32,可以具体用于:

调节该初筛模型的初筛阈值为第一阈值,获取稀少内容中所有内容数据的正常置信度,从该稀少内容中筛选出正常置信度高于该第一阈值的内容数据为正常内容。

可选地,该决策模块33,可以具体用于:

调整该决策模型的决策阈值为第二阈值,从该经筛选出正常内容后的稀少内容中决策出正常置信度高于该第二阈值的内容数据为正常内容。

请参见图4,图4是本发明稀少内容的分级深度学习模型检测装置另一实施例的结构示意图。区别于上一实施例,本实施例所述稀少内容的分级深度学习模型检测装置40还包括训练模块41。

该训练模块41,用于根据该筛选出的正常内容和该决策出的正常内容,对该分级深度学习模型进行训练。

该稀少内容的分级深度学习模型检测装置30/40的各个单元模块可分别执行上述方法实施例中对应步骤,故在此不对各单元模块进行赘述,详细请参见以上对应步骤的说明。

本发明又提供一种计算机设备,如图5所示,包括:至少一个处理器51;以及,与至少一个处理器51通信连接的存储器52;其中,存储器52存储有可被至少一个处理器51执行的指令,指令被至少一个处理器51执行,以使至少一个处理器51能够执行上述的稀少内容的分级深度学习模型检测方法。

其中,存储器52和处理器51采用总线方式连接,总线可以包括任意数量的互联的总线和桥,总线将一个或多个处理器51和存储器52的各种电路连接在一起。总线还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路连接在一起,这些都是本领域所公知的,因此,本文不再对其进行进一步描述。总线接口在总线和收发机之间提供接口。收发机可以是一个元件,也可以是多个元件,比如多个接收器和发送器,提供用于在传输介质上与各种其他装置通信的单元。经处理器51处理的数据通过天线在无线介质上进行传输,进一步,天线还接收数据并将数据传送给处理器51。

处理器51负责管理总线和通常的处理,还可以提供各种功能,包括定时,外围接口,电压调节、电源管理以及其他控制功能。而存储器52可以被用于存储处理器51在执行操作时所使用的数据。

本发明再提供一种计算机可读存储介质,存储有计算机程序。计算机程序被处理器执行时实现上述方法实施例。

可以发现,以上方案,可以采用分级深度学习模型方式,将推理模型配置为初筛模型和决策模型,其中,该初筛模型为满足预设性能阈值的模型,该决策模型为满足预设指标阈值的模型,和可以调节该初筛模型的初筛阈值为第一阈值,根据该第一阈值,从稀少内容中筛选出正常内容,以及可以调整该决策模型的决策阈值为第二阈值,根据该第二阈值,从该经筛选出正常内容后的稀少内容中决策出正常内容;其中,该第二阈值小于该第一阈值,能够实现方便的将稀少内容的推理性能提升到接近初筛模型性能,推理指标效果提升到接近决策模型指标,能够实现在维持足够的推理性能指标的同时,能够减少做推理计算所需的计算资源,降低机器成本。

进一步的,以上方案,可以采用分级深度学习模型方式,根据推理模型的性能数据和指标数据,将推理模型配置为初筛模型和决策模型;其中,该初筛模型为满足预设性能阈值的模型,该决策模型为满足预设指标阈值的模型,这样的好处是能够实现方便的将稀少内容的推理性能提升到接近初筛模型性能,推理指标效果提升到接近决策模型指标,能够实现在维持足够的推理性能指标的同时,能够减少做推理计算所需的计算资源,降低机器成本。

进一步的,以上方案,可以调节该初筛模型的初筛阈值为第一阈值,获取稀少内容中所有内容数据的正常置信度,从该稀少内容中筛选出正常置信度高于该第一阈值的内容数据为正常内容,这样的好处是能够实现把推理性能提升到接近初筛模型性能,能够控制流入决策模型的内容数据的数量。

进一步的,以上方案,可以调整该决策模型的决策阈值为第二阈值,从该经筛选出正常内容后的稀少内容中决策出正常置信度高于该第二阈值的内容数据为正常内容,这样的好处是能够实现把推理指标提升到接近决策模型指标,能够减少对稀少内容中正常内容的漏识别,能够在维持足够的推理性能指标的同时,能够减少做推理计算所需的计算资源,降低机器成本。

进一步的,以上方案,可以根据该筛选出的正常内容和该决策出的正常内容,对该分级深度学习模型进行训练,这样的好处是能够实现方便的将稀少内容的推理性能提升到进一步接近初筛模型性能,推理指标效果提升到进一步接近决策模型指标,能够实现在维持足够的推理性能指标的同时,能够进一步减少做推理计算所需的计算资源,进一步降低机器成本。

在本发明所提供的几个实施方式中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施方式仅仅是示意性的,例如,模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。

另外,在本发明各个实施方式中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。

集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或处理器(processor)执行本发明各个实施方式方法的全部或部分步骤。而前述的存储介质包括:u盘、移动硬盘、只读存储器(rom,read-onlymemory)、随机存取存储器(ram,randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅为本发明的部分实施例,并非因此限制本发明的保护范围,凡是利用本发明说明书及附图内容所作的等效装置或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1