图像识别方法、装置、电子设备和计算机可读存储介质与流程

1.本发明涉及通信技术领域，具体涉及一种图像识别方法、装置、电子设备和计算机可读存储介质。


背景技术：

2.近年来，随着互联网技术的飞速发展，图像识别的应用也越来越广泛。比如，可以在设备图像中识别出设备中包含的零部件信息等。在零部件识别领域，现有的图像识别方法往往是直接在设备图像中识别出零部件的信息。
3.在对现有技术的研究和实践过程中，本发明的发明人发现直接在设备图像中识别出零部件信息时，在复杂的设备中往往包含很多零部件，而且有些零部件非常微小，甚至还会被一些零备件遮挡，使得零部件识别的准确率较低，因此，导致图像识别的准确率降低。


技术实现要素：

4.本发明实施例提供一种图像识别方法、装置、电子设备和计算机可读存储介质，可以提高图像识别的准确率。
5.一种图像识别方法，包括：
6.展示客户端的零件识别页面，所述零件识别页面包括图像获取控件；
7.响应于针对所述图像获取控件的触发操作，对获取到的目标设备图像进行设备区域检测；
8.当检测到的设备区域数量超过预设数量阈值时，展示区域选择页面，所述区域选择页面包括多个待选的设备区域；
9.响应于针对所述设备区域的选择操作，展示零件识别结果页面，所述零件识别结果页面包括选择操作选择的目标设备区域的零件列表，所述零件列表包括所述目标设备区域中至少一个设备零件的属性信息。
10.可选的，本发明实施例还提供另一种图像识别方法，包括：
11.接收终端发送的目标设备图像，并对所述目标设备图像进行局部特征提取，得到多个尺寸的图像特征；
12.将所述图像特征进行融合，得到所述目标设备图像的融合后图像特征；
13.根据所述融合后图像特征，在所述目标设备图像中识别出包含设备零件的至少一个设备区域；
14.基于所述融合后图像特征，对所述设备区域进行分类，并获取所述设备区域的类型对应的设备零件信息，以得到所述目标设备图像的设备区域识别信息；
15.将所述设备区域识别信息发送至所述终端，以便所述终端基于所述设备区域识别信息对所述目标设备图像进行设备区域检测。
16.相应的，本发明实施例提供一种图像识别装置，包括：
17.第一展示单元，用于展示客户端的零件识别页面，所述零件识别页面包括图像获
取控件；
18.检测单元，用于响应于针对所述图像获取控件的触发操作，对获取到的目标设备图像进行设备区域检测；
19.第二展示单元，用于当检测到的设备区域数量超过预设数量阈值时，展示区域选择页面，所述区域选择页面包括多个待选的设备区域；
20.第三展示单元，用于响应于针对所述设备区域的选择操作，展示零件识别结果页面，所述零件识别结果页面包括选择操作选择的目标设备区域的零件列表，所述零件列表包括所述目标设备区域中至少一个设备零件的属性信息。
21.可选的，本发明实施例还提供另一种图像识别装置，包括：
22.接收单元，用于接收终端发送的目标设备图像，并对所述目标设备图像进行局部特征提取，得到多个尺寸的图像特征；
23.融合单元，用于将所述图像特征进行融合，得到所述目标设备图像的融合后图像特征；
24.识别单元，用于根据所述融合后图像特征，在所述目标设备图像中识别出包含设备零件的至少一个设备区域；
25.分类单元，用于基于所述融合后图像特征，对所述设备区域进行分类，并获取所述设备区域的类型对应的设备零件信息，得到所述目标设备图像的设备区域识别信息。
26.发送单元，用于将所述设备区域识别信息发送至所述终端，以便所述终端基于所述设备区域识别信息对所述目标设备图像进行设备区域检测。
27.可选的，在一些实施例中，所述图像识别装置，还可以包括第四展示单元，所述第四展示单元，具体可以用于当检测到的设备区域数量未超过所述预设数量阈值时，展示所述设备区域的零件属性信息，所述零件属性信息包括至少一个设备零件的属性信息；当未检测到所述设备区域时，在所述零件识别页面展示提示信息，所述提示信息用于提示重新获取目标设备图像。
28.可选的，在一些实施例中，所述第三展示单元，具体可以用于在所述图像区域显示所述目标设备区域对应的区域图像和所述设备零件在所述图像区域内的标识信息；在所述列表区域显示所述目标设备区域的零件列表。
29.可选的，在一些实施例中，所述第三展示单元，具体可以用于响应于针对所述属性信息的复制控件的触发操作，将所述属性信息进行复制；响应于针对所述备件检索控件的触发操作，显示备件检索页面，所述备件检索页面包括属性信息输入区域；将复制的所述属性信息添加至所述属性信息输入区域，在所述备件检索页面显示所述属性信息对应的设备零件的备件信息。
30.可选的，在一些实施例中，所述第三展示单元，具体可以用于响应于所述识别记录查询控件的触发操作，显示识别记录查询页面，所述识别记录查询页面包括历史识别记录列表，所述历史识别记录列表包括至少一个历史识别的设备零件的属性信息。
31.可选的，在一些实施例中，所述第一展示单元，具体可以用于显示客户端的用户操作页面，所述用户操作页面包括零件识别控件；响应于针对所述零件识别控件的触发操作，展示零件识别页面。
32.可选的，在一些实施例中，所述检测单元，具体可以用于获取目标设备图像，并将
所述目标设备图像发送至服务器进行识别；接收所述服务器返回的针对所述目标设备图像的设备区域识别信息；基于所述设备区域识别信息，对所述目标设备图像进行设备区域检测。
33.可选的，在一些实施例中，所述融合单元，具体可以用于采用训练后识别模型对所述图像特征进行卷积处理，得到卷积后图像特征；根据所述图像特征的尺寸，将所述卷积后图像特征的尺寸进行调整；将调整后图像特征进行融合，得到所述目标设备图像的融合后图像特征。
34.可选的，在一些实施例中，所述图像识别装置还可以包括训练单元，所述训练单元，具体可以用于获取设备图像正样本和非设备图像样本，并采用设备图像正样本对预设识别模型进行训练，得到初始训练后识别模型；采用所述初始训练识别模型对所述非设备图像样本进行识别，并基于识别结果，在所述非设备图像样本中筛选出识别错误的非设备图像样本，得到设备图像负样本；采用所述设备图像正样本和设备图像负样本对所述初始训练后识别模型进行修正，得到所述训练后识别模型。
35.可选的，在一些实施例中，所述识别单元，具体可以用于在所述融合后图像特征中提取出所述设备区域的设备区域特征；根据所述设备区域特征，确定所述目标设备图像中的设备区域信息；基于所述设备区域信息，在所述目标设备图像中识别出至少一个设备区域的位置信息，以得到所述目标设备图像中包含设备零件的至少一个设备区域。
36.可选的，在一些实施例中，所述分类单元，具体可以用于在所述融合后图像特征中提取出预设尺寸的所述设备区域对应的图像特征，得到目标图像特征；根据所述设备区域的尺寸，获取所述目标图像特征的池化权重，并基于所述池化权重，对所述目标图像特征进行加权；对加权后图像特征进行池化处理，并基于池化后图像特征，确定对应的设备区域的类型。
37.此外，本发明实施例还提供一种电子设备，包括处理器和存储器，所述存储器存储有应用程序，所述处理器用于运行所述存储器内的应用程序实现本发明实施例提供的图像识别方法。
38.此外，本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有多条指令，所述指令适于处理器进行加载，以执行本发明实施例所提供的任一种图像识别方法中的步骤。
39.本发明实施例在展示客户端的零件识别页面后，响应于针对所述图像获取控件的触发操作，对获取到的目标设备图像进行设备区域检测，当检测到的设备区域数量超过预设数量阈值时，展示区域选择页面，响应于针对设备区域的选择操作，展示零件识别结果页面，该零件识别结果页面包括选择操作选择的目标设备区域的零件列表，该零件列表包括所述目标设备区域中至少一个设备零件的属性信息；由于该方案通过用户对图像获取控件的触发操作，获取到目标设备图像，然后，对目标设备图像进行设备区域检测，当检测到设备区域数量超过预设数量阈值时，通过展示区域选择页面，使得用户可以交互的选择目标设备区域，对目标区域内的零件识别结果进行展示，从而实现快速且准确的识别目标设备的设备零件，因此，可以提升图像识别的准确率。
附图说明
40.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
41.图1是本发明实施例提供的图像识别系统的示意图；
42.图2是本发明实施例提供的图像识别方法的场景示意图；
43.图3是本发明实施例提供的图像识别方法的流程示意图；
44.图4是本发明实施例提供的用户操作页面的页面示意图；
45.图5是本发明实施例提供的零件识别页面的页面示意图；
46.图6是本发明实施例提供的目标设备图像中设备区域的示意图；
47.图7是本发明实施例提供的区域选择页面的页面示意图；
48.图8是本发明实施例提供的零件展示页面的页面示意图；
49.图9是本发明实施例提供的零件识别结果页面的页面示意图；
50.图10是本发明实施例提供的识别记录查询页面；
51.图11是本发明实施例提供的图像识别流程的另一流程示意图；
52.图12是本发明实施例提供的目标识别图像的局部区域检测的示意图；
53.图13是本发明实施例提供的图像识别流程的另一流程示意图；
54.图14是本发明实施例提供的图像识别的识别流程示意图；
55.图15是本发明实施例提供的可视化展示图像识别结果的示意图；
56.图16是本发明实施例提供的第一图像识别装置的结构示意图；
57.图17是本发明实施例提供的第一图像识别装置的另一结构示意图；
58.图18是本发明实施例提供的第二图像识别装置的结构示意图；
59.图19是本发明实施例提供的第二图像识别装置的另一结构示意图；
60.图20是本发明实施例提供的电子设备的结构示意图。
具体实施方式
61.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
62.本发明实施例提供一种图像识别方法、装置、电子设备和计算机可读存储介质。其中，该图像识别装置可以集成在电子设备中，该电子设备可以是服务器，也可以是终端等设备。
63.具体的，本技术实施例提供适用于第一电子设备的图像识别装置(为了区分可以称为第一图像识别装置)中，以及适用于第二电子设备的图像识别装置(为了区分可以称为第二图像识别装置)。其中，第一电子设备可以为终端等设备，终端可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等，但并不局限于此。第二电子设备可以为服务器等网络侧设备，服务器可以是独立的物理服务器，也可以是多个物理服务器构成
的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、网络加速服务(content delivery network，cdn)、以及大数据和人工智能平台等基础云计算服务的云服务器。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接，本技术在此不做限制。
64.本技术实施例将以第一电子设备为终端，第二电子设备为服务器为例，例如，参见图1，本发明实施例提供的图像识别系统包含终端10和服务器20，其中，终端10和服务器20之间通过网络连接，比如，可以通过有线或无线网络连接等。
65.其中，终端10可以从服务器20获取目标设备图像的设备区域识别信息，基于设备区域识别信息对目标设备图像进行设备区域检测，如图2所示，具体可以如下：
66.展示客户端的零件识别页面，该零件识别页面包括图像获取控件，响应于针对图像获取控件的触发操作，对获取到的目标设备图像进行设备区域检测，当检测到的设备区域数量超过预设数量阈值时，展示区域选择页面，该区域选择页面包括多个待选的设备区域，响应于针对设备区域的选择操作，展示零件识别结果页面，该零件识别结果页面包括选择操作选择的目标设备区域的零件列表，该零件列表包括目标设备区域中至少一个设备零件的属性信息。
67.其中，响应于，用于表示所执行的操作所依赖的条件或者状态，当满足所依赖的条件或状态时，所执行的一个或多个操作可以是实时的，也可以具有设定的延迟；在没有特别说明的情况下，所执行的多个操作不存在执行先后顺序的限制。
68.其中，服务器20，用于接收终端发送的目标设备图像，并对目标设备图像进行识别，将目标设备图像的设备区域识别信息发送至终端10，具体可以如下：
69.接收终端发送的目标设备图像，并对目标设备图像进行局部特征提取，得到多个尺寸的图像特征，然后，将图像特征进行融合，得到目标设备图像的融合后图像特征，根据融合后图像特征，在目标设备图像中识别出包含设备零件的至少一个设备区域，然后，基于融合后图像特征，对设备区域进行分类，并获取设备区域的类型对应的设备零件信息，得到目标设备图像的设备区域识别信息，将设备区域识别信息发送至终端，以便终端基于设备区域识别信息对目标设备图像进行设备区域检测。
70.其中，本技术实施例提供的图像识别方法涉及到人工智能领域的计算机视觉技术，即在本技术实施例中，可以利用人工智能的计算机视觉技术对目标设备图像进行特征提取，并基于提取到特征确定目标设备图像的设备区域识别信息，并基于设备区域识别信息对图像进行识别。
71.其中，人工智能(artificial intelligence，ai)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。其中，人工智能软件技术主要包括计算机视觉技术、机器学习/深度学习等方向。
72.其中，计算机视觉技术(computer vision，cv)是一门研究如何使机器“看”的科学，更进一步的说，就是指通过计算机代替人眼对目标进行识别、测量等的机器视觉，并进
一步进行图像处理，使图像经过计算机处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别等技术，还包括常见的人脸识别、人体姿态识别等生物特征识别技术。
73.其中，可以将训练后识别模型部署在云平台，还可以将设备区域识别信息存储至云平台。所谓云平台也称云计算平台，是指基于硬件资源和软件资源的服务，提供计算、网络和存储能力。云计算(cloud computing)是一种计算模式，它将计算任务分布在大量计算机构成的资源池上，使各种应用系统能够根据需要获取计算力、存储空间和信息服务。提供资源的网络被称为“云”。“云”中的资源在使用者看来是可以无限扩展的，并且可以随时获取，按需使用，随时扩展，按使用付费。
74.作为云计算的基础能力提供商，会建立云计算资源池(简称云平台，一般称为iaas(infrastructure as a service，基础设施即服务)平台，在资源池中部署多种类型的虚拟资源，供外部客户选择使用。云计算资源池中主要包括：计算设备(为虚拟化机器，包含操作系统)、存储设备、网络设备。
75.按照逻辑功能划分，在iaas(infrastructure as a service，基础设施即服务)层上可以部署paas(platform as a service,平台即服务)层，paas层之上再部署saas(software as a service，软件即服务)层，也可以直接将saas部署在iaas上。paas为软件运行的平台，如数据库、web容器等。saas为各式各样的业务软件，如web门户网站、短信群发器等。一般来说，saas和paas相对于iaas是上层。
76.以下分别进行详细说明。需要说明的是，以下实施例的描述顺序不作为对实施例优选顺序的限定。
77.本实施例将从图像识别装置(即第一图像识别装置)的角度进行描述，该第一图像识别装置具体可以集成终端等设备；其中，该终端可以包括平板电脑、笔记本电脑、以及个人计算机(pc，personal computer)、可穿戴设备、虚拟现实设备或其他可以进行图像识别的智能设备等设备。
78.一种图像识别方法，包括：
79.展示客户端的零件识别页面，该零件识别页面包括图像获取控件，响应于针对图像获取控件的触发操作，对获取到的目标设备图像进行设备区域检测，当检测到的设备区域数量超过预设数量阈值时，展示区域选择页面，该区域选择页面包括多个待选的设备区域，响应于针对设备区域的选择操作，展示零件识别结果页面，该零件识别结果页面包括选择操作选择的目标设备区域的零件列表，该零件列表包括所述目标设备区域中至少一个设备零件的属性信息。
80.如图3所示，该图像识别方法的具体流程如下：
81.101、展示零件识别页面。
82.其中，零件识别页面可以理解为获取设备图像进行零部件识别的页面。零件识别页面包括图像获取控件，所谓图像获取控件可以为用于获取设备图像的控件，图像获取控件的类型可以有多种，比如，可以为图像采集控件，或者，还可以为图像筛选控件，等等，控件的表现形式有多种，比如，可以包括输入框、图标和按钮等形式。
83.其中，展示零件识别页面的方式可以有多种，具体可以如下：
84.例如，可以显示客户端的用户操作页面，该用户操作页面包括零件识别控件，响应于针对零件识别控件的触发操作，展示零件识别页面。
85.其中，显示客户端的用户操作页面的方式可以有多种，比如，用户可以在终端通过触发客户端的工作台控件，显示客户端的用户操作页面，客户端的形式也可以多种，比如，可以为即时通讯客户端，或者，还可以业务客户端等等。业务客户端的业务类型可以有多种形式，比如，以业务为零备件检索为例，用户操作页面就可以为如图4所示。
86.在显示用户操作页面之后，用户便可以触发零件识别控件，从而展示零件识别页面，展示零件识别页面的方式也可以有多种，比如，可以获取用户的身份标识，根据身份标识，确定该用户使用零件识别业务的使用时间以及常用的零备件信息，然后，基于使用时间和常用的零备件，生成零件识别页面，并在客户端展示该零件识别页面，展示的零件识别页面可以如图5所示，图像获取控件就可以包含图像采集控件和图像筛选控件。
87.102、响应于针对图像获取控件的触发操作，对获取到的目标设备图像进行设备区域检测。
88.其中，设备区域检测可以理解为检测目标设备图像中是否包含一个或者设备区域，所谓设备区域可以理解为设备的部位或者包含一个或多个零件的区域，由于设备通常通过很多个大大小小的零件，为了对设备进行更好的描述，通常为按照零部件的位置关系等，将设备划分为多个部位(区域)，将这些部位(区域)作为设备的设备区域，具体可以如图6所示，通常一个设备可以包含多个设备区域，但是采集的设备图像中可以包含一个或多个设备区域，也可以不包含设备区域。
89.其中，对目标设备图像进行设备区域检测的方式可以有多种，具体可以如下：
90.例如，获取目标设备图像，并将目标设备图像发送至服务器进行识别，接收服务器返回的针对目标设备图像的设备区域识别信息，基于设备区域识别信息，对目标设备图像进行设备区域检测。
91.其中，获取目标设备图像的方式可以有多种，比如，当图像获取控件为图像采集控件时，响应于针对图像采集控件的触发操作，调用终端的图像采集设备采集目标设备图像，图像采集设备的类型可以有多种，比如，可以为前置摄像头、后置摄像头或者独立摄像头等等。当图像获取控件为图像筛选控件时，响应于针对图像筛选控件的触发操作，显示图像选择页面，图像选择页面包括至少一个候选设备图像，响应于针对候选设备图像的选择操作，将选择操作选择的候选设备图像作为目标设备图像。
92.在获取目标设备图像之后，便可以对目标设备图像进行设备区域检测，检测的方式可以有多种，比如，可以在设备区域识别信息中查询是否存在设备区域，或者，还可以在设备区域识别信息中查询是否存在零件属性信息，当存在零件属性信息时，在零件属性信息中提取出零备件的位置信息，根据位置信息，确定目标设备图像中存在的设备区域的数量及类型等信息，从而完成设备区域检测。
93.103、当检测到的设备区域数量超过预设数量阈值时，展示区域选择页面。
94.其中，区域选择页面包括多个待选的设备区域。
95.其中，展示区域选择页面的方式可以有多种，具体可以如下：
96.例如，当检测到的设备区域数量超过预设数量阈值时，在设备区域识别信息中提取出设备区域的位置信息，基于该位置信息，在目标设备图像中标注该设备区域，从而生成
区域选择页面，然后，展示该区域选择页面，区域选择页面可以如图7所示。
97.其中，在目标设备图像中标注该设备区域的方式可以有多种，比如，可以根据该位置信息，在目标设备图像中识别出该设备区域，然后，基于该设备区域的尺寸信息，在目标设备图像中添加该设备区域的标识框，从而在目标设备图像中标注该设备区域，或者，还可以根据该位置信息，生成标识框，并在目标设备图像中添加该标识框，通过该标识框来标注对应的设备区域。
98.其中，预设数量阈值可以根据实际应用进行设定，可以为任意值，比如，可以为1个、2个或者任意数量。
99.可选的，当检测到的设备区域未超过预设数量阈值时，展示设备区域的零件属性信息，该零件属性信息包括至少一个设备零件的属性信息，设备零件的属性信息可以包括名称、标号、规格、尺寸等信息。比如，以预设数量阈值为1个为例，即到检测到的设备区域的数量为1个时，就可以在设备区域识别信息中提取出该设备区域中包含的零件属性信息，在终端直接展示该零件属性信息，或者，基于该零件属性信息，生成零件展示页面，在零件展示页面展示该设备区域中包含的至少一个零件的零件属性信息，具体可以如图8所示。
100.可选的，当未检测到设备区域时，在零件识别页面展示提示信息，该提示信息用于提示重新获取目标设备图像。当用户观看到该提示信息时，就可以在零件识别页面触发图像获取控件，响应于针对图像获取控件的触发操作，重新获取目标设备图像，并对目标设备图像进行设备区域检测。
101.其中，在此需要说明的是，未检测到设备区域仅仅只是说明获取到的目标设备图像中不包含设备区域，或者，未完全包含一个设备区域，此时，才会提示用户重新获取目标设备图像。
102.104、响应于针对设备区域的选择操作，展示零件识别结果页面。
103.其中，零件识别结果页面包括选择操作选择的目标设备区域的零件列表，该零件列表包含目标设备区域中至少一个设备零件的属性信息。零件识别结果页面还包括列表区域和图像区域，具体可以如图9所示。
104.其中，展示零件识别结果页面的方式可以有多种，具体可以如下：
105.例如，在图像区域显示目标设备区域对应的区域图像和设备零件在图像区域内的标识信息，在列表区域显示目标设备区域的零件列表。
106.其中，显示区域图像和设备零件的标识信息的方式可以有多种，比如，在目标设备图像中将设备区域内的图像进行裁剪，从而得到目标设备区域对应的区域图像，然后，在图像区域显示该区域图像。对于设备零件的标识信息，在设备区域识别信息中提取出该设备区域对应的零件识别信息，根据零件识别信息，在区域图像中识别出目标设备区域内包含的设备零件的零件位置信息，根据零件位置信息，生成设备零件的标识框，将设备零件的标识框添加至区域图像，从而得到设备零件的标识信息。
107.其中，在列表区域显示目标设备区域的零件列表的方式可以有多种，比如，可以在设备区域识别信息中提取出该目标设备区域内包含的设备零件的属性信息，将设备零件的属性信息添加至预设零件列表模板，从而得到目标设备区域对应的零件列表，在列表区域显示该零件列表。
108.可选的，零件识别结果页面还包括备件检索控件和每一设备零件的属性信息的复
制控件，因此，在展示零件识别结果页面之后，还可以通过识别出的设备零件的属性信息去检索该设备零件的备件信息，比如，响应于针对属性信息的复制控件的触发操作，将属性信息进行赋值，响应于针对备件检索控件的触发操作，显示备件检索页面，该备件检索页面包括属性信息输入区域，将复制的属性信息添加至属性信息输入区域，在备件检索页面显示属性信息对应的设备零件的备件信息。这里的备件信息可以理解为目标设备上的设备零件的备件的信息，所谓备件可以理解为设备零件的替换件，当设备零件存在问题时，对设备零件进行替换或者维修的零部件就可以称之为备件。备件信息中可以包含多种信息，比如，可以包含备件的存储地址、备件的型号、尺寸、规格和安装/维修/维护的注意事项等信息。
109.可选的，零件识别结果页面还包括识别记录查询控件，用于查询历史识别记录，因此，在展示零件识别页面之后，还可以显示识别记录查询页面，比如，响应于识别记录查询控件的触发操作，显示识别记录查询页面，具体可以如图10所示，该识别记录查询页面包括历史识别记录列表，该历史识别记录列表包括至少一个历史识别的设备零件的属性信息，识别记录查询页面还可以包括查询条件设置控件，用户通过触发查询条件设置控件设定查询条件，查询条件可以包含多种，比如，查询时间条件和设备区域查询条件，等等。
110.由以上可知，本技术实施例在展示客户端的零件识别页面后，响应于针对所述图像获取控件的触发操作，对获取到的目标设备图像进行设备区域检测，当检测到的设备区域数量超过预设数量阈值时，展示区域选择页面，响应于针对设备区域的选择操作，展示零件识别结果页面，该零件识别结果页面包括选择操作选择的目标设备区域的零件列表，该零件列表包括所述目标设备区域中至少一个设备零件的属性信息；由于该方案通过用户对图像获取控件的触发操作，获取到目标设备图像，然后，对目标设备图像进行设备区域检测，当检测到设备区域数量超过预设数量阈值时，通过展示区域选择页面，使得用户可以交互的选择目标设备区域，对目标区域内的零件识别结果进行展示，从而实现快速且准确的识别目标设备的零件，因此，可以提升图像识别的准确率。
111.本实施例将从第二图像识别装置的角度进行描述，该第二图像识别装置具体可以集成在电子设备中，该电子设备可以是服务器等设备；其中，该服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、网络加速服务(content delivery network，cdn)、以及大数据和人工智能平台等基础云计算服务的云服务器。
112.一种图像识别方法，包括：
113.接收终端发送的目标设备图像，并对目标设备图像进行局部特征提取，得到多个尺寸的图像特征，将图像特征进行融合，得到目标设备图像的融合后图像特征，根据融合后图像特征，在目标设备图像中识别出包含设备零件的至少一个设备区域，基于融合后图像特征，对设备区域进行分类，并获取设备区域的类型对应的设备零件信息，得到目标设备图像的设备区域识别信息，将设备区域识别信息发送至终端，以便终端基于设备区域识别信息对目标设备图像进行设备区域检测。
114.如图11所示，该图像识别方法，具体流程如下：
115.201、接收终端发送的目标设备图像，并对目标设备图像进行局部特征提取，得到多个尺寸的图像特征。
116.例如，接收终端发送的目标设备图像，并采用训练后识别模型对目标设备图像进行局部特征提取，得到多个尺寸的图像特征，具体可以如下：
117.(1)接收终端发送的目标设备图像。
118.例如，可以直接接收终端发送的目标设备图像，或者，当目标设备图像的数量较多或者内存较大时，还可以接收终端发送的图像识别请求，该图像识别请求中携带目标设备图像的存储地址，根据存储地址，获取该目标设备图像。
119.(2)采用训练后识别模型对目标设备图像进行局部特征提取，得到多个尺寸的图像特征。
120.例如，可以采用训练后识别模型并行的连接高分辨率和低分辨率网络，对目标设备图像进行局部特征提取，从而得到高分辨率的多个尺寸的图像特征。
121.其中，训练后识别模型的网络结构可以有多种，比如，可以为高分辨率空间结构保持的卷积神经网络(hrne)，hrnet并行连接高分辨率与低分辨率网络，因此其能够保持高分辨率，预测的热图(heatmap)在空间上更精确。
122.其中，多个尺寸的图像特征可以为具有强语义信息的多层级特征，多层级特征自顶向下尺寸依次增大。
123.202、将图像特征进行融合，得到目标设备图像的融合后图像特征。
124.例如，可以采用训练后识别模型对图像特征进行卷积处理，得到卷积后图像特征，根据图像特征的尺寸，将卷积后图像特征的尺寸进行调整，将调整后图像特征进行融合，得到目标设备图像的融合后图像特征。
125.其中，对图像特征进行卷积处理的方式可以有多种，比如，以多层级特征包括{c2，c3，c4，c5}为例，首先对c5实施卷积编码，生成最顶部的特征p5，然后，对剩余{c2，c3，c4}进行卷积编码，生成{p2，p3，p4}，将{p2，p3，p4，p5}作为卷积后图像特征。
126.在得到卷积后图像特征之后，便可以对卷积后图像特征的尺寸进行调整，调整的方式可以有多种，比如，可以将p
i+1
(i＝4，3，2)上采样到和c
i
相同的尺寸，即，将p4上采样至c3的尺寸，将p3上采样至c2的尺寸，p5上采样至c4的尺寸，上采样的目标是为了确保p
i+1
和c
i
保持相同的空间分辨率。
127.在对卷积后图像特征的尺寸进行调整之后，便可以将调整后图像特征进行融合，融合的方式可以有多种，比如，可以将融合后图像特征做像素级别的加法融合，如公式(1)所示：
128.p
i
＝conv(c
i
)+up(p
i+1
)(i＝4，3，2)
ꢀꢀ
(1)
129.其中，p
i
为局部区域的融合后图像特征，conv为1x1的卷积操作，其目的在于控制c
i
通道的数量，up为上采样操作，其目的是为了确保p
i+1
和c
i
保持相同的空间分辨率，c
i
为图像特征，p
i+1
调整后图像特征。
130.其中，该训练后识别模型可以根据实际应用的需求进行设置，另外，需要说明的是，该训练后识别模型可以由维护人员预先进行设置，也可以由图像识别装置自行进行训练，即步骤“采用训练后识别模型对所述图像特征进行卷积处理，得到卷积后图像特征”之前，该图像识别方法还可以包括：
131.获取设备图像正样本和非设备图像样本，并采用设备图像样本对预设识别模型进行训练，得到初始训练后识别模型，采用初始训练识别模型对非设备图像样本进行识别，并
基于识别结果，在非设备图像样本中筛选出识别错误的非设备图像样本，得到设备图像负样本，采用设备图像正样本和设备图像负样本对初始训练后识别模型进行修正，得到训练后识别模型，具体可以如下：
132.(1)获取设备图像正样本和非设备图像样本，并采用设备图像正样本对预设识别模型进行训练，得到初始训练后识别模型。
133.其中，设备图像正样本可以为包含待检测车间内的设备的图像的样本该图像样本将作为标记设备区域类型和位置标注等。非设备图像样本为非待检测车间内的设备的图像样本、待检测车间内非设备的图像样本或者与设备无关的图像样本。
134.其中，获取设备图像正样本和非设备图像样本的方式可以有多种，比如，可以接收用户上传的设备图像正样本和非设备图像样本，或者，可以从图像数据库中获取设备图像正样本和非设备图像样本，或者，还可以在网络上获取原始图像，在原始图像中识别出包含待检测车间的设备图像，并在设备图像中标注至少一个设备区域和该设备区域对应的类型，从而得到设备图像正样本。将原始图像中未识别出包含待检测车间的设备的原始图像作为非设备图像样本。
135.在获取设备图像正样本之后，便可以采用设备图像正样本对预设识别模型进行训练，训练的过程可以有多种方式，比如，可以采用预设识别模型对设备图像正样本的设备区域位置和类别进行预测，将预测的设备区域的位置和类别与标注的设备区域的位置和类别进行对比，得到设备图像正样本对应的损失信息，基于损失信息对预设识别模型的网络参数进行更新，从而得到初始训练后识别模型。
136.(2)采用初始训练后识别模型对非设备图像样本进行识别，并基于识别结果，在非设备图像样本中筛选出识别错误的非设备图像，得到设备图像负样本。
137.例如，采用初始训练后识别模型对非设备图像样本进行识别，将识别结果与非设备图像样本中的标注信息进行对比，当识别结果与标注信息不相同时，就可以确定非设备图像识别错误，当识别结果与标注信息相同时，就可以确定非设备图像识别正确。在非设备图像中筛选出识别错误的非设备图像，并在筛选出的非设备图像进行标记，标记为其它类从而得到设备图像负样本
138.(3)采用设备图像正样本和设备图像负样本对初始训练后识别模型进行修正，得到训练后识别模型。
139.其中，对初始训练识别模型进行修正的过程也可以看作是一个训练的过程，训练的图像样本包含了设备图像正样本和设备图像负样本。修正的方式可以有多种，具体可以如下：
140.例如，将设备图像正样本和设备图像负样本输入至初始训练后识别模型，使得初始训练后识别模型预测设备图像正样本和设备图像负样本中的设备区域的位置和类别，将预测的设备区域和类别与标注信息进行对比，从而得到设备图像正样本和设备图像负样本的损失信息，基于该损失信息对初始训练后识别模型的网络参数进行更新，从而得到训练后识别模型。
141.其中，通过设备图像正样本和设备图像负样本进行修正的训练后识别模型除了对设备的特定区域有教好的识别能力，同时还可以避免一些不必要的错误预测，例如其他类的。
142.203、根据融合后图像特征，在目标设备图像中识别出包含设备零件的至少一个设备区域。
143.例如，可以在融合后图像特征中提取出设备区域的设备区域特征，根据设备区域特征，确定目标设备图像中的设备区域信息，基于设备区域信息，在目标设备图像中识别出至少一个设备区域的位置信息，以得到目标设备图像中包含设备零件的至少一个设备区域。
144.其中，设备区域信息可以为指示候选设备区域的预测框的数量和尺寸等信息。根据设备区域特征，确定目标设备图像中的设备区域信息的方式可以有多种，比如，可以对设备区域特征进行识别，从而得到候选区域的预测数量n，在设备区域特征中提取出使用特征对齐后的候选设备区域的最后的高和宽分别为k，则产生nk2个预测框，将预测框的数量以及候选设备区域的尺寸信息等作为设备区域信息。
145.在确定设备区域信息之后，便可以在目标设备图像中识别出至少一个设备区域的位置信息，从而得到目标设备图像中包含设备零件的至少一个设备区域，识别的方式可以有多种，比如，可以采用密集局部回归网络在目标设备图像中对预测框做位置预测，从而识别出至少一个设备区域的位置信息，密集局部回归网络的网络结构可以有多种，比如，可以采用全卷积网络产生多个位置敏感的盒偏移，从而预测出至少一个设备区域的位置信息。
146.204、基于融合后图像特征，对设备区域进行分类，并获取设备区域的类型对应的设备零件信息，以得到目标设备图像的设备区域识别信息。
147.例如，对设备区域进行分类的方式可以有多种，比如，可以在融合后图像特征中提取出预设尺寸的设备区域对应的图像特征，得到目标图像特征，根据设备区域的尺寸，获取目标图像特征的池化权重，并基于池化权重，对目标图像特征进行加权，对加权后图像特征进行池化处理，并基于池化后图像特征，确定对应的设备区域的类型。
148.其中，预设尺寸可以根据实际应用进行设定，以设备区域的尺寸为k*k为例，则预设尺寸就可以为k/2*k/2，从而实现轻量级偏移预测，与现有的可变形roi
‑
pooling中的标准偏移量预测相比，本方案仅需要大约四份之一的参数。
149.在提取出目标图像特征之后，便可以获取目标图像特征的池化权重，这里的池化权重可以理解为设备区域中四个采样点的池化权重，本方案采用加权池化的方式，以自适应的分配不同的池化权重。
150.基于获取到的池化权重，对目标图像特征中的不同采样点采样的特征进行加权，从而得到加权后图像特征，对加权后图像特征进行池化处理。基于池化后图像特征，确定对应的设备区域的类型，确定的方式可以有多种，比如，将设备区域对应的池化后图像特征连接全连接层，从而得到设备区域对应的候选类型的预测概率，基于预测概率，在候选类型中筛选出设备区域对应的类型。
151.在确定设备区域对应的类型之后，便可以获取该类型对应的设备零件信息，从而得到设备区域识别信息，比如，在预设设备零件信息集合中筛选出该设备区域的类型对应的设备零件信息，将设备零件信息添加至该设备区域的类型对应的设备零件模板，从而得
到该设备区域对应的设备零件信息，将识别出的每一设备区域的设备零件信息进行融合，从而就可以得到设备区域识别信息。
152.205、将设备区域识别信息发送至终端，以便终端基于设备区域识别信息对目标设备图像进行设备区域检测。
153.例如，可以直接将设备区域识别信息发送至终端，或者，当设备区域信息的内存较大或者数量较多时，还可以将设备区域识别信息进行存储，得到存储地址，将存储地址发送至终端，使得终端根据存储地址获取设备区域识别信息。
154.终端在接收设备区域识别信息之后，便可以基于设备区域识别信息，对目标设备图像进行设备区域检测，检测过程参见上文，再此就不再一一赘述。
155.其中，需要说明的是，本方案中对目标设备图像进行识别采用的是对目标设备图像进行局部区域的检测来实现对设备区域的位置和类型进行识别，具体过程可以如图12所示，给定目标设备图像，首先经过一个卷积神经网络提取特征，然后，使用特征金字塔网络对其进行不同尺度和层级的信息编码，最后采用判别性局部特征对齐网络和稠密回归网络实现设备区域(目标)的定位和类别识别。整个的识别过程可以看作是通过训练后识别模型对目标设备图像进行识别，针对设备区域的检测准确率和召回率，在6974张机床区位的测试集上，识别部位准确且iou>＝0.5条件下，本方案中的v2算法预测整体准确率为97.26％，召回率95.81％。相比于基础版本(v1)算法，使用同样测试集和统计方式，该方案整体准确率提升2.85％，召回率提升9.43％，具体可以如表1所示：
156.表1
[0157][0158]
针对非设备图像的误检率：
[0159]
(a)误检测试a:1w外部测试集(非设备图)，基础版本(v1)误检4000+张(误检率40％+)，本发明(v2)误检0张(误检率0％)；
[0160]
(b)误检测试b：100w其他项目图片(ugc40w、直播30w、点播30w，均为非机床图)，本发明(v2)误检184张(误检率0.02％)；
[0161]
(c)误检测试c:使用工厂环境非设备部位照片596张，误检3张(误检率0.33％)。
[0162]
另外，还测试了压缩图像对训练后识别模型的识别性能的影像，对原测试图像做jpeg压缩，且设置压缩率为10％、30％、50％、75％，验证检测算法的实际性能。从表2中可以看到性能一致，表明检测算法对压缩率不是很敏感，表现非常稳健，这意味提出的方案可以适用于多种不同传感器的手机。
[0163]
表2
‑
压缩率(10％)
[0164]
区域名称gtpredok准确率召回率区域120321995194497.44％95.67％区域295290089799.67％94.22％区域310631057101295.74％95.20％区域418871867184098.55％97.51％区域511731189114496.22％97.53％区域652448443589.88％83.02％区域7101696191895.53％90.35％区域818691832170392.96％91.12％整体1051610285989396.19％94.08％
[0165]
压缩率(30％)
[0166][0167][0168]
压缩率(50％)
[0169]
区域名称gtpredok准确率召回率区域120321995194497.44％95.67％区域295290089799.67％94.22％区域310631057101295.74％95.20％区域418871867184098.55％97.51％区域511731189114496.22％97.53％区域652448443589.88％83.02％区域7101696191895.53％90.35％
区域818691832170392.96％91.12％整体1051610285989396.19％94.08％
[0170]
压缩率(75％)
[0171]
区域名称gtpredok准确率召回率区域120321995194497.44％95.67％区域295290089799.67％94.22％区域310631057101295.74％95.20％区域418871867184098.55％97.51％区域511731189114496.22％97.53％区域652448443589.88％83.02％区域7101696191895.53％90.35％区域818691832170392.96％91.12％整体1051610285989396.19％94.08％
[0172]
由以上可知，本实施例在接收终端发送的目标设备图像，并对目标设备图像进行局部特征提取，得到多个尺寸的图像特征后，将图像特征进行融合，得到目标设备图像的融合后图像特征，然后，根据融合后图像特征，在目标设备图像中识别出包含设备零件的至少一个设备区域，基于融合后图像特征，对设备区域进行分类，并获取设备区域的类型对应的设备零件信息，得到目标设备图像的设备区域识别信息，将设备区域识别信息发送至终端，以便终端基于设备区域识别信息对目标设备图像进行设备区域检测，由于该方案通过对目标设备图像进行局部特征提取，然后，将提取的图像特征进行融合，基于融合后图像特征识别出至少一个设备区域，并确定该设备区域的类型，从而得到目标设备图像的设备区域识别信息，并将设备区域识别信息发送至终端，使得用户可以通过终端进行交互选择目标设备区域，从而快速准确的识别目标设备的设备零件，因此，可以提升图像识别的准确率。
[0173]
根据上面实施例所描述的方法，以下将举例作进一步详细说明。
[0174]
在本实施例中，将以第一图像识别装置为终端，第二图像识别装置为服务器，目标设备图像为目标机床图像为例。
[0175]
(一)服务器对预设识别模型进行训练，得到训练后识别模型。
[0176]
(1)服务器获取机床图像正样本和非设备图像样本，并采用设备图像正样本对预设识别模型进行训练，得到初始训练后识别模型。
[0177]
例如，服务器可以接收用户上传的机床图像正样本和非机床图像样本，或者，可以从图像数据库中获取机床图像正样本和非机床图像样本，或者，还可以在网络上获取原始图像，在原始图像中识别出包含待检测车间的机床图像，并在机床图像中标注至少一个设备区域和该设备区域对应的类型，从而得到机床图像正样本。将原始图像中未识别出包含待检测车间的机床的原始图像作为非机床图像样本。
[0178]
服务器采用预设识别模型对机床图像正样本的设备区域位置和类别进行预测，将预测的设备区域的位置和类别与标注的设备区域的位置和类别进行对比，得到机床图像正样本对应的损失信息，基于损失信息对预设识别模型的网络参数进行更新，从而得到初始训练后识别模型。
[0179]
(2)服务器采用初始训练后识别模型对非机床图像样本进行识别，并基于识别结
果，在非机床图像样本中筛选出识别错误的非机床图像，得到机床图像负样本。
[0180]
例如，服务器采用初始训练后识别模型对非机床图像样本进行识别，将识别结果与非机床图像样本中的标注信息进行对比，当识别结果与标注信息不相同时，就可以确定非机床图像识别错误，当识别结果与标注信息相同时，就可以确定非机床图像识别正确。在非机床图像中筛选出识别错误的非机床图像，并在筛选出的非机床图像进行标记，标记为其它类从而得到机床图像负样本
[0181]
(3)服务器采用机床图像正样本和机床图像负样本对初始训练后识别模型进行修正，得到训练后识别模型。
[0182]
例如，服务器将机床图像正样本和机床图像负样本输入至初始训练后识别模型，使得初始训练后识别模型预测机床图像正样本和机床图像负样本中的设备区域的位置和类别，将预测的设备区域和类别与标注信息进行对比，从而得到机床图像正样本和机床图像负样本的损失信息，基于该损失信息对初始训练后识别模型的网络参数进行更新，从而得到训练后识别模型。
[0183]
(二)服务器采用训练后识别模型对终端发送的目标机床图像进行识别，并将识别出的设备区域识别信息发送至终端，以便终端基于设备区域识别信息对目标机床图像进行设备区域检测，等等。
[0184]
如图13所示，一种图像识别方法，具体流程如下：
[0185]
301、终端展示零件识别页面。
[0186]
例如，用户可以在终端通过触发客户端的工作台控件，显示客户端的用户操作页面，响应于针对零件识别控件的触发操作，获取用户的身份标识，根据身份标识，确定该用户使用零件识别业务的使用时间以及常用的零备件信息，然后，基于使用时间和常用的零备件，生成零件识别页面，并在客户端展示该零件识别页面。
[0187]
302、终端响应于针对图像获取控件的触发操作，将获取到的目标机床图像发送至服务器。
[0188]
例如，当图像获取控件为图像采集控件时，终端响应于针对图像采集控件的触发操作，调用终端的图像采集设备采集目标机床图像，当图像获取控件为图像筛选控件时，终端响应于针对图像筛选控件的触发操作，显示图像选择页面，图像选择页面包括至少一个候选机床图像，响应于针对候选机床图像的选择操作，将选择操作选择的候选机床图像作为目标机床图像。终端将目标机床图像发送至服务器进行识别。
[0189]
303、服务器接收终端发送的目标机床图像，并对目标机床图像进行局部特征提取，得到多个尺寸的图像特征。
[0190]
例如，服务器可以直接接收终端发送的目标机床图像，或者，当目标机床图像的数量较多或者内存较大时，还可以接收终端发送的图像识别请求，该图像识别请求中携带目标机床图像的存储地址，根据存储地址，获取该目标机床图像。
[0191]
服务器采用高分辨率空间结构保持的卷积神经网络(hrne)对目标机床图像进行局部特征提取，从而得到高分辨率的多个尺寸的图像特征。
[0192]
304、服务器将图像特征进行融合，得到目标机床图像的融合后图像特征。
[0193]
例如，以多层级特征包括{c2，c3，c4，c5}为例，服务器首先对c5实施卷积编码，生成
最顶部的特征p5，然后，对剩余{c2，c3，c4}进行卷积编码，生成{p2，p3，p4}，将{p2，p3，p4，p5}作为卷积后图像特征。将p
i+1
(i＝4，3，2)上采样到和c
i
相同的尺寸，即，将p4上采样至c3的尺寸，将p3上采样至c2的尺寸，p5上采样至c4的尺寸。将融合后图像特征做像素级别的加法融合，如公式(1)所示。
[0194]
305、服务器根据融合后图像特征，在目标机床图像中识别出包含设备零件的至少一个设备区域。
[0195]
例如，服务器可以在融合后图像特征中提取出设备区域的设备区域特征，对设备区域特征进行识别，从而得到候选区域的预测数量n，在设备区域特征中提取出使用特征对齐后的候选设备区域的最后的高和宽分别为k，则产生nk2个预测框，将预测框的数量以及候选设备区域的尺寸信息等作为设备区域信息。采用密集局部回归网络在目标机床图像中对预测框做位置预测，从而识别出至少一个设备区域的位置信息。
[0196]
306、服务器基于融合后图像特征，对设备区域进行分类，并获取设备区域的类型对应的设备零件信息，以得到目标机床图像的设备区域识别信息。
[0197]
例如，服务器可以在融合后图像特征中提取出预设尺寸的设备区域对应的图像特征，得到目标图像特征，根据设备区域的尺寸，获取目标图像特征的池化权重，并基于池化权重，对目标图像特征进行加权，对加权后图像特征进行池化处理。将设备区域对应的池化后图像特征连接全连接层，从而得到设备区域对应的候选类型的预测概率，基于预测概率，在候选类型中筛选出设备区域对应的类型。
[0198]
服务器在预设设备零件信息集合中筛选出该设备区域的类型对应的设备零件信息，将设备零件信息添加至该设备区域的类型对应的设备零件模板，从而得到该设备区域对应的设备零件信息，将识别出的每一设备区域的设备零件信息进行融合，从而就可以得到设备区域识别信息。
[0199]
307、服务器将设备区域识别信息发送至终端。
[0200]
例如，服务器可以直接将设备区域识别信息发送至终端，或者，当设备区域信息的内存较大或者数量较多时，还可以将设备区域识别信息进行存储，得到存储地址，将存储地址发送至终端，使得终端根据存储地址获取设备区域识别信息。
[0201]
308、终端基于设备区域识别信息，对目标机床图像进行设备区域检测。
[0202]
例如，服务器可以在设备区域识别信息中查询是否存在设备区域，或者，还可以在设备区域识别信息中查询是否存在零件属性信息，当存在零件属性信息时，在零件属性信息中提取出零备件的位置信息，根据位置信息，确定目标机床图像中存在的设备区域的数量及类型等信息，从而完成设备区域检测。
[0203]
309、当检测到的设备区域数量超过预设数量阈值时，终端展示区域选择页面。
[0204]
例如，当检测到的设备区域数量超过预设数量阈值时，终端在设备区域识别信息中提取出设备区域的位置信息，根据该位置信息，在目标机床图像中识别出该设备区域，然后，基于该设备区域的尺寸信息，在目标机床图像中添加该设备区域的标识框，从而在目标机床图像中标注该设备区域，或者，还可以根据该位置信息，生成标识框，并在目标机床图像中添加该标识框，通过该标识框来标注对应的设备区域，从而生成区域选择页面，然后，展示该区域选择页面。
[0205]
可选的，当检测到的设备区域未超过预设数量阈值时，终端在设备区域识别信息
中提取出该设备区域中包含的零件属性信息，在终端直接展示该零件属性信息，或者，基于该零件属性信息，生成零件展示页面，在零件展示页面展示该设备区域中包含的至少一个零件的零件属性信息。
[0206]
可选的，当未检测到设备区域时，终端在零件识别页面展示提示信息，该提示信息用于提示重新获取目标机床图像。当用户观看到该提示信息时，就可以在零件识别页面触发图像获取控件，响应于针对图像获取控件的触发操作，重新获取目标机床图像，并对目标机床图像进行设备区域检测。
[0207]
310、终端响应于针对设备区域的选择操作，展示零件识别结果页面。
[0208]
例如，终端在目标机床图像中将设备区域内的图像进行裁剪，从而得到目标设备区域对应的区域图像，然后，在图像区域显示该区域图像。对于设备零件的标识信息，在设备区域识别信息中提取出该设备区域对应的零件识别信息，根据零件识别信息，在区域图像中识别出目标设备区域内包含的设备零件的零件位置信息，根据零件位置信息，生成设备零件的标识框，将设备零件的标识框添加至区域图像，从而得到设备零件的标识信息。
[0209]
终端在设备区域识别信息中提取出该目标设备区域内包含的设备零件的属性信息，将设备零件的属性信息添加至预设零件列表模板，从而得到目标设备区域对应的零件列表，在列表区域显示该零件列表。
[0210]
可选的，零件识别结果页面还包括备件检索控件和每一设备零件的属性信息的复制控件，在展示零件识别结果页面之后，终端还可以，响应于针对属性信息的复制控件的触发操作，将属性信息进行赋值，响应于针对备件检索控件的触发操作，显示备件检索页面，该备件检索页面包括属性信息输入区域，将复制的属性信息添加至属性信息输入区域，在备件检索页面显示属性信息对应的设备零件的备件信息。
[0211]
可选的，零件识别结果页面还包括识别记录查询控件，在展示零件识别页面之后，终端可以响应于识别记录查询控件的触发操作，显示识别记录查询页面，该识别记录查询页面包括历史识别记录列表，该历史识别记录列表包括至少一个历史识别的设备零件的属性信息，识别记录查询页面还可以包括查询条件设置控件，用户通过触发查询条件设置控件设定查询条件。
[0212]
其中，目标机床图像中的零件识别可以看作是终端和服务器进行交互从而完成的，整个图像识别过程可以如图14所示，客户检修员工(用户)在客户端上打开零件识别或备件检索小程序，选择拍照识别零件功能，用户拍照得到目标机床图像，确定要进行设备区域检测后，小程序发送请求到检测算法微服务，算法(训练后识别模型)检测目标机床图像中所有部位(设备区域)并标记类别，返回检测结果，小程序获取到检测结果，解析出部位(设备区域)位置及code，可视化展示给用户。若检测不到部位(设备区域)，提示用户重新拍摄，若检测到一个部分，匹配素材库中相应部位并展示零备件信息，若检测到多个部位(设备区域)，匹配素材库展示所有检测出的部位(设备区域)，提示用户选择其中一个部位(设备区域)。用户选择确认后展示零备件信息。可视化展示的图像识别结果(设备区域及设备区域内包含的零备件信息)可以如图15所示，可以看出使用本方案能准确检测出机床的具体部位(设备区域)，特别在多部委，极端拍摄角度、曝光等条件下都可以准确检出。
[0213]
由以上可知，本技术实施例在展示客户端的零件识别页面后，响应于针对所述图像获取控件的触发操作，对获取到的目标设备图像进行设备区域检测；当检测到的设备区
域数量超过预设数量阈值时，展示区域选择页面，响应于针对设备区域的选择操作，展示零件识别结果页面，该零件识别结果页面包括选择操作选择的目标设备区域的零件列表，该零件列表包括所述目标设备区域中至少一个设备零件的属性信息；由于该方案通过用户对图像获取控件的触发操作，获取到目标设备图像，然后，对目标设备图像进行设备区域检测，当检测到设备区域数量超过预设数量阈值时，通过展示区域选择页面，使得用户可以交互的选择目标设备区域，对目标区域内的零件识别结果进行展示，从而实现快速且准确的识别目标设备的零件，因此，可以提升图像识别的准确率。
[0214]
为了更好地实施以上方法，本发明实施例还提供一种图像识别装置(即第一图像识别装置)，该第一图像识别装置可以集成在终端，该终端可以包括智能手机、平板电脑、笔记本电脑和/或个人计算机等。
[0215]
例如，如图16所示，该第一图像识别装置可以包括第一展示单元401、检测单元402、第二展示单元403和第三展示单元404，如下：
[0216]
(1)第一展示单元401；
[0217]
第一展示单元401，用于展示客户端的零件识别页面，该零件识别页面包括图像获取控件。
[0218]
例如，第一展示单元401，具体可以用于显示客户端的用户操作页面，该用户操作页面包括零件识别控件，响应于针对零件识别控件的触发操作，展示零件识别页面。
[0219]
(2)检测单元402；
[0220]
检测单元402，用于响应于针对图像获取控件的触发操作，对获取到的目标设备图像进行设备区域检测。
[0221]
例如，检测单元402，具体可以用于获取目标设备图像，并将目标设备图像发送至服务器进行识别，接收服务器返回的针对目标设备图像的设备区域识别信息，基于设备区域识别信息，对目标设备图像进行设备区域检测。
[0222]
(3)第二展示单元403；
[0223]
第二展示单元403，用于当检测到的设备区域数量超过预设数量阈值时，展示区域选择页面，该区域选择页面包括多个待选的设备区域。
[0224]
例如，第二展示单元403，具体可以用于当检测到的设备区域数量超过预设数量阈值时，在设备区域识别信息中提取出设备区域的位置信息，基于该位置信息，在目标设备图像中标注该设备区域，从而生成区域选择页面，然后，展示该区域选择页面。
[0225]
(4)第三展示单元404；
[0226]
第三展示单元404，用于响应于针对设备区域的选择操作，展示零件识别结果页面，该零件识别结果页面包括选择操作选择的目标设备区域的零件列表，该零件列表包括所述目标设备区域中至少一个设备零件的属性信息。
[0227]
例如，第三展示单元404，具体可以用于在图像区域显示目标设备区域对应的区域图像和设备零件在图像区域内的标识信息，在列表区域显示目标设备区域的零件列表。
[0228]
可选的，第一图像识别装置还可以包括第四展示单元405，如图17所示，具体可以如下：
[0229]
第四展示单元405，用于展示设备区域的零件属性信息或在零件识别页面展示提示信息。
[0230]
例如，第四展示单元405，具体可以用于当检测到的设备区域数量未超过预设数量阈值时，展示设备区域的零件属性信息，该零件属性信息包括至少一个设备零件的属性信息，当未检测到所述设备区域时，在零件识别页面展示提示信息，该提示信息用于提示重新获取目标设备图像。
[0231]
具体实施时，以上各个单元可以作为独立的实体来实现，也可以进行任意组合，作为同一或若干个实体来实现，以上各个单元的具体实施可参见前面的方法实施例，在此不再赘述。
[0232]
由以上可知，本实施例在第一展示单元401展示客户端的零件识别页面后，检测单元402响应于针对所述图像获取控件的触发操作，对获取到的目标设备图像进行设备区域检测，第二展示单元403当检测到的设备区域数量超过预设数量阈值时，展示区域选择页面，第三展示单元404响应于针对设备区域的选择操作，展示零件识别结果页面，该零件识别结果页面包括选择操作选择的目标设备区域的零件列表，该零件列表包括所述目标设备区域中至少一个设备零件的属性信息；由于该方案通过用户对图像获取控件的触发操作，获取到目标设备图像，然后，对目标设备图像进行设备区域检测，当检测到设备区域数量超过预设数量阈值时，通过展示区域选择页面，使得用户可以交互的选择目标设备区域，对目标区域内的零件识别结果进行展示，从而实现快速且准确的识别目标设备的设备零件，因此，可以提升图像识别的准确率。
[0233]
为了更好地实施以上方法，本发明实施例还提供一种图像识别装置(即第二图像识别装置)，该第二图像识别装置可以集成在服务器，该服务器可以为单台服务器，也可以为多台服务器组成的服务器集群。
[0234]
例如，如图18所示，该第二图像识别装置可以包括接收单元501、融合单元502、识别单元503、分类单元504和发送单元505，如下：
[0235]
(1)接收单元501；
[0236]
接收单元501，用于接收终端发送的目标设备图像，并对目标设备图像进行局部特征提取，得到多个尺寸的图像特征。
[0237]
例如，接收单元501，具体可以用于直接接收终端发送的目标设备图像，或者，当目标设备图像的数量较多或者内存较大时，还可以接收终端发送的图像识别请求，该图像识别请求中携带目标设备图像的存储地址，根据存储地址，获取该目标设备图像。采用训练后识别模型并行的连接高分辨率和低分辨率网络，对目标设备图像进行局部特征提取，从而得到高分辨率的多个尺寸的图像特征。
[0238]
(2)融合单元502；
[0239]
融合单元502，用于将图像特征进行融合，得到目标设备图像的融合后图像特征。
[0240]
例如，融合单元502，具体可以用于采用训练后识别模型对图像特征进行卷积处理，得到卷积后图像特征，根据图像特征的尺寸，将卷积后图像特征的尺寸进行调整，将调整后图像特征进行融合，得到目标设备图像的融合后图像特征。
[0241]
(3)识别单元503；
[0242]
识别单元503，用于根据融合后图像特征，在目标设备图像中识别出包含设备零件的至少一个设备区域。
[0243]
例如，识别单元503，具体可以用于在融合后图像特征中提取出设备区域的设备区
域特征，根据设备区域特征，确定目标设备图像中的设备区域信息，基于设备区域信息，在目标设备图像中识别出至少一个设备区域的位置信息，以得到目标设备图像中包含设备零件的至少一个设备区域。
[0244]
(4)分类单元504；
[0245]
分类单元504，用于基于融合后图像特征，对设备区域进行分类，并获取设备区域的类型对应的设备零件信息，得到目标设备图像的设备区域识别信息。
[0246]
例如，分类单元504，具体可以用于在融合后图像特征中提取出预设尺寸的设备区域对应的图像特征，得到目标图像特征，根据设备区域的尺寸，获取目标图像特征的池化权重，并基于池化权重，对目标图像特征进行加权，对加权后图像特征进行池化处理，并基于池化后图像特征，确定对应的设备区域的类型。获取设备区域的类型对应的设备零件信息，以得到目标设备图像的设备区域识别信息。
[0247]
(5)发送单元505；
[0248]
发送单元505，用于将设备区域识别信息发送至终端，以便终端基于设备区域识别信息对目标设备图像进行设备区域检测。
[0249]
例如，发送单元505，具体可以用于直接将设备区域识别信息发送至终端，或者，当设备区域信息的内存较大或者数量较多时，还可以将设备区域识别信息进行存储，得到存储地址，将存储地址发送至终端，使得终端根据存储地址获取设备区域识别信息。
[0250]
可选的，第二图像识别装置还可以包括训练单元506，如图19所示，具体可以如下：
[0251]
训练单元506，用于对预设识别模型进行训练，得到训练后识别模型。
[0252]
例如，训练单元506，具体可以用于获取设备图像正样本和非设备图像样本，并采用设备图像样本对预设识别模型进行训练，得到初始训练后识别模型，采用初始训练识别模型对非设备图像样本进行识别，并基于识别结果，在非设备图像样本中筛选出识别错误的非设备图像样本，得到设备图像负样本，采用设备图像正样本和设备图像负样本对初始训练后识别模型进行修正，得到训练后识别模型。
[0253]
具体实施时，以上各个单元可以作为独立的实体来实现，也可以进行任意组合，作为同一或若干个实体来实现，以上各个单元的具体实施可参见前面的方法实施例，在此不再赘述。
[0254]
由以上可知，本实施例在接收单元501接收终端发送的目标设备图像，并对目标设备图像进行局部特征提取，得到多个尺寸的图像特征后，融合单元502将图像特征进行融合，得到目标设备图像的融合后图像特征，然后，识别单元503根据融合后图像特征，在目标设备图像中识别出包含设备零件的至少一个设备区域，分类单元504基于融合后图像特征，对设备区域进行分类，并获取设备区域的类型对应的设备零件信息，得到目标设备图像的设备区域识别信息，发送单元505将设备区域识别信息发送至终端，以便终端基于设备区域识别信息对目标设备图像进行设备区域检测，由于该方案通过对目标设备图像进行局部特征提取，然后，将提取的图像特征进行融合，基于融合后图像特征识别出至少一个设备区域，并确定该设备区域的类型，从而得到目标设备图像的设备区域识别信息，并将设备区域识别信息发送至终端，使得用户可以通过终端进行交互选择目标设备区域，从而快速准确的识别目标设备的设备零件，因此，可以提升图像识别的准确率。
[0255]
本发明实施例还提供一种电子设备，如图20所示，其示出了本发明实施例所涉及
的电子设备的结构示意图，具体来讲：
[0256]
该电子设备可以包括一个或者一个以上处理核心的处理器601、一个或一个以上计算机可读存储介质的存储器602、电源603和输入单元604等部件。本领域技术人员可以理解，图20中示出的电子设备结构并不构成对电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：
[0257]
处理器601是该电子设备的控制中心，利用各种接口和线路连接整个电子设备的各个部分，通过运行或执行存储在存储器602内的软件程序和/或模块，以及调用存储在存储器602内的数据，执行电子设备的各种功能和处理数据，从而对电子设备进行整体监控。可选的，处理器601可包括一个或多个处理核心；优选的，处理器601可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器601中。
[0258]
存储器602可用于存储软件程序以及模块，处理器601通过运行存储在存储器602的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器602可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据电子设备的使用所创建的数据等。此外，存储器602可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器602还可以包括存储器控制器，以提供处理器601对存储器602的访问。
[0259]
电子设备还包括给各个部件供电的电源603，优选的，电源603可以通过电源管理系统与处理器601逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源603还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
[0260]
该电子设备还可包括输入单元604，该输入单元604可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。
[0261]
尽管未示出，电子设备还可以包括显示单元等，在此不再赘述。具体在本实施例中，电子设备中的处理器601会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器602中，并由处理器601来运行存储在存储器602中的应用程序，从而实现各种功能，如下：
[0262]
展示客户端的零件识别页面，该零件识别页面包括图像获取控件，响应于针对图像获取控件的触发操作，对获取到的目标设备图像进行设备区域检测，当检测到的设备区域数量超过预设数量阈值时，展示区域选择页面，该区域选择页面包括多个待选的设备区域，响应于针对设备区域的选择操作，展示零件识别结果页面，该零件识别结果页面包括选择操作选择的目标设备区域的零件列表，该零件列表包括所述目标设备区域中至少一个设备零件的属性信息。
[0263]
或者
[0264]
接收终端发送的目标设备图像，并对目标设备图像进行局部特征提取，得到多个尺寸的图像特征，将图像特征进行融合，得到目标设备图像的融合后图像特征，根据融合后
图像特征，在目标设备图像中识别出包含设备零件的至少一个设备区域，基于融合后图像特征，对设备区域进行分类，并获取设备区域的类型对应的设备零件信息，得到目标设备图像的设备区域识别信息，将设备区域识别信息发送至终端，以便终端基于设备区域识别信息对目标设备图像进行设备区域检测。
[0265]
以上各个操作的具体实施可参见前面的实施例，在此不作赘述。
[0266]
由以上可知，本发明实施例在展示客户端的零件识别页面后，响应于针对所述图像获取控件的触发操作，对获取到的目标设备图像进行设备区域检测，当检测到的设备区域数量超过预设数量阈值时，展示区域选择页面，响应于针对设备区域的选择操作，展示零件识别结果页面，该零件识别结果页面包括选择操作选择的目标设备区域的零件列表，该零件列表包括所述目标设备区域中至少一个设备零件的属性信息；由于该方案通过用户对图像获取控件的触发操作，获取到目标设备图像，然后，对目标设备图像进行设备区域检测，当检测到设备区域数量超过预设数量阈值时，通过展示区域选择页面，使得用户可以交互的选择目标设备区域，对目标区域内的零件识别结果进行展示，从而实现快速且准确的识别目标设备的零件，因此，可以提升图像识别的准确率。
[0267]
本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。
[0268]
为此，本发明实施例提供一种计算机可读存储介质，其中存储有多条指令，该指令能够被处理器进行加载，以执行本发明实施例所提供的任一种图像识别方法中的步骤。例如，该指令可以执行如下步骤：
[0269]
展示客户端的零件识别页面，该零件识别页面包括图像获取控件，响应于针对图像获取控件的触发操作，对获取到的目标设备图像进行设备区域检测，当检测到的设备区域数量超过预设数量阈值时，展示区域选择页面，该区域选择页面包括多个待选的设备区域，响应于针对设备区域的选择操作，展示零件识别结果页面，该零件识别结果页面包括选择操作选择的目标设备区域的零件列表，该零件列表包括所述目标设备区域中至少一个设备零件的属性信息。
[0270]
或者
[0271]
接收终端发送的目标设备图像，并对目标设备图像进行局部特征提取，得到多个尺寸的图像特征，将图像特征进行融合，得到目标设备图像的融合后图像特征，根据融合后图像特征，在目标设备图像中识别出包含设备零件的至少一个设备区域，基于融合后图像特征，对设备区域进行分类，并获取设备区域的类型对应的设备零件信息，得到目标设备图像的设备区域识别信息，将设备区域识别信息发送至终端，以便终端基于设备区域识别信息对目标设备图像进行设备区域检测。
[0272]
以上各个操作的具体实施可参见前面的实施例，在此不再赘述。
[0273]
其中，该计算机可读存储介质可以包括：只读存储器(rom，read only memory)、随机存取记忆体(ram，random access memory)、磁盘或光盘等。
[0274]
由于该计算机可读存储介质中所存储的指令，可以执行本发明实施例所提供的任一种图像识别方法中的步骤，因此，可以实现本发明实施例所提供的任一种图像识别方法所能实现的有益效果，详见前面的实施例，在此不再赘述。
[0275]
其中，根据本技术的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。电子设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该电子设备执行上述图像识别方面或者零备件检索方面的各种可选实现方式中提供的方法。
[0276]
以上对本发明实施例所提供的一种图像识别方法、装置、电子设备和计算机可读存储介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。