图像处理的方法及装置、存储介质及电子设备与流程

1.本公开涉及计算机技术领域，尤其涉及一种图像处理的方法及装置、存储介质及电子设备。


背景技术：

2.随着计算机技术以及现代工业制造技术的发展，电子设备的应用越来越普及，电子设备的设备状态也会随着电子设备的使用而改变，例如，在电子设备的使用中会发生电子设备的硬件老化或设备损伤等情况，例如机身损坏、屏幕破碎情况。
3.相关技术中，通常是根据人工经验确定电子设备的设备状态，常常导致识别效率低、识别结果不准确。
4.需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。


技术实现要素：

5.本公开的目的在于提供一种图像处理的方法、装置、电子设备及存储介质，以解决识别效率低、识别结果不准确的问题。
6.本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。
7.根据本公开的一个方面，提供一种图像处理的方法，包括：获取包含目标对象的待处理图像；利用目标检测模型定位待处理图像中的目标对象，根据待处理图像获得目标对象的目标对象图像；其中，目标检测模型是基于包含目标对象的历史图像训练得到的；对目标对象图像进行分割，获得多个子图像；分别对多个子图像进行状态识别处理，获得各个子图像的识别结果，进而根据各个子图像的识别结果确定目标对象的识别结果。
8.在本公开一个实施例中，利用目标检测模型定位待处理图像中的目标对象，包括：识别待处理图像的图像参数信息；在确定图像参数信息满足图像参数预设条件的情况下，利用目标检测模型定位待处理图像中的目标对象。
9.在本公开一个实施例中，根据待处理图像获得目标对象的目标对象图像，包括：识别待处理图像中目标对象的轮廓信息；根据轮廓信息从待处理图像中截取目标对象的初始图像；获取目标对象的基准图像，根据轮廓信息和基准图像确定初始图像的调整参数；根据调整参数处理目标对象的初始图像，获得目标对象的目标对象图像。
10.在本公开一个实施例中，根据轮廓信息从待处理图像中截取目标对象的初始图像，包括：根据轮廓信息确定目标对象在待处理图像中的尺寸信息；在轮廓信息和尺寸信息满足截取条件的情况下，根据轮廓信息从待处理图像中截取目标对象的初始图像。
11.在本公开一个实施例中，对目标对象图像进行分割，获得多个子图像，包括：获取单位尺寸信息；将目标对象图像分割为多个尺寸为单位尺寸信息的图像，以多个尺寸为单位尺寸信息的图像作为多个子图像。
12.在本公开一个实施例中，目标对象为终端屏幕；状态为屏幕破碎状态；以及，获取单位尺寸信息，包括：获取用于屏幕破碎状态识别的裂痕识别需求信息，其中裂痕识别需求信息中包含裂痕长度阈值；根据裂痕长度阈值确定单位尺寸信息。
13.在本公开一个实施例中，分别对多个子图像进行状态识别处理，获得各个子图像的识别结果，包括：通过屏幕破碎状态检测模型分别对多个子图像进行屏幕破碎状态识别处理，获得各个子图像的屏幕破碎状态识别结果；其中，屏幕破碎状态检测模型是基于包括具有屏幕破碎状态的终端屏幕的历史图像训练得到的；屏幕破碎状态识别结果包括：屏幕破碎状态和屏幕未破碎状态。
14.在本公开一个实施例中，根据各个子图像的识别结果确定目标对象的识别结果，包括：确定识别结果为屏幕破碎状态的子图像的数量；当数量超过数量阈值时，确定终端屏幕的屏幕破碎状态识别结果为破碎。
15.根据本公开的另一个方面，提供一种图像处理的装置，包括：获取模块，用于获取包含目标对象的待处理图像；处理模块，用于利用目标检测模型检测待处理图像，并在检测出待处理图像中存在目标对象的情况下，处理待处理图像获得目标对象的目标对象图像；其中，目标检测模型是基于包括目标对象的历史图像训练得到的；分割模块，用于对目标对象图像进行分割，获得多个子图像；识别模块，用于分别对多个子图像进行状态识别处理，获得各个子图像的识别结果，进而根据各个子图像的识别结果确定目标对象的识别结果。
16.根据本公开的又一个方面，提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述的图像处理的方法。
17.根据本公开的再一个方面，提供一种电子设备，包括：处理器；以及存储器，用于存储所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令来执行上述的图像处理的方法。
18.通过本公开提供的图像处理方法，可以先获取包含目标对象的待处理图像，并利用基于目标对象进行训练的目标检测模型定位待处理图像中的目标对象，以获得目标对象的目标对象图像，再对目标对象图像进行分割，进而可以分别对多个子图像进行状态识别处理，获得各个子图像的识别结果，最后根据各个子图像的识别结果确定目标对象的识别结果。一方面，可以采用目标检测模型这一机器学习的方法定位待处理图像中的目标对象，进而可以快速准确地根据待处理图像获得其中目标对象的目标对象图像，使得可以在后续处理过程中只处理目标对象对应的图像，使处理结果更准确。又一方面，可以将目标对象图像分割为多个子图像，再分别对多个子图像进行状态识别处理以获得各个子图像的识别结果，使得在图像识别处理过程中保留图像中的各种细节，避免信息丢失，从而使处理结果更准确。
19.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
20.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据
这些附图获得其他的附图。
21.图1示出了可以应用本公开实施例的图像处理的方法的示例性系统架构的示意图；
22.图2示出了本公开一个实施例的图像处理的方法的流程图；
23.图3示出了本公开一个实施例的图像处理的方法中获得目标对象的目标对象图像的流程图；
24.图4示出了本公开一个实施例的图像处理的方法的流程图；
25.图5示出了本公开一个实施例的可以实现图像处理的方法的系统示意图；
26.图6示出了本公开一个实施例的图像处理的装置的框图；和
27.图7示出了本公开实施例中一种图像处理的计算机设备的结构框图。
具体实施方式
28.现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。
29.此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
30.此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本公开的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
31.针对上述相关技术中存在的技术问题，本公开实施例提供了一种图像处理的方法，以用于至少解决上述技术问题中的一个或者全部。
32.如图1所示，该系统架构可以包括服务器101、网络102和客户端103。网络102用以在客户端103和服务器101之间提供通信链路的介质。网络102可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
33.在示例性实施例中，与服务端101进行数据传输的客户端103可以包括但不限于智能手机、台式计算机、平板电脑、笔记本电脑、智能音箱、数字助理、ar(augmented reality，增强现实)设备、vr(virtual reality，虚拟现实)设备、智能可穿戴设备等类型的电子设备，或者，客户端103也可以是个人计算机，比如膝上型便携计算机和台式计算机等等。可选的，电子设备上运行的操作系统可以包括但不限于安卓系统、ios系统、linux、windows等。
34.服务器101可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、cdn(content delivery network，内容分发网络)、以及大数据和人工智能平台等基础云计算服务的云服务器。在一些实际应用中，服务器101
也可以是网络平台的服务器，网络平台例如可以是交易平台、直播平台、社交平台或者音乐平台等，本公开实施例对此不作限定。其中，服务器可以是一台服务器，也可以是多台服务器形成的集群，本公开对于服务器的具体架构不做限定。
35.在示例性实施例中，服务器101用于实现图像处理的方法的过程可以是：服务器101获取包含目标对象的待处理图像；服务器101利用目标检测模型检测待处理图像，并在检测出待处理图像中存在目标对象的情况下，处理待处理图像获得目标对象的目标对象图像；其中，目标检测模型是基于包括目标对象的历史图像训练得到的；服务器101对目标对象图像进行分割，获得多个子图像；服务器101分别对多个子图像进行状态识别处理，获得各个子图像的识别结果，进而根据各个子图像的识别结果确定目标对象的识别结果。
36.此外，需要说明的是，图1所示的仅仅是本公开提供的图像处理的方法的一种应用环境。图1中的客户端、网络和服务器的数目仅仅是示意性的，根据实际需要，可以具有任意数目的客户端、网络和服务器。
37.为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图及实施例对本公开示例实施例中的在线文件处理方法的各个步骤进行更详细的说明。
38.图2示出了本公开一个实施例的图像处理的方法的流程图。本公开实施例提供的方法可以在如图1所示的服务器或客户端中执行，但本公开并不限定于此。
39.在下面的举例说明中，以服务器集群101为执行主体进行示例说明。
40.如图2所示，本公开实施例提供的图像处理的方法可以包括以下步骤s201～步骤s207：
41.步骤s201，获取包含目标对象的待处理图像。
42.目标对象可以是具体的物品，例如可以是材料制品或材料(如玻璃杯、木柜、玻璃、木板等)、电子设备或电子设备零件(如手机、平板电脑、手机屏幕、键盘等)、装饰品(如画作、瓷瓶)等。包含目标对象的待处理图像可以是具有影像采集功能的设备或模块对目标对象进行采集的影像，例如可以是针对手机拍摄的照片、针对瓷瓶拍摄的视频等。
43.步骤s203，利用目标检测模型定位待处理图像中的目标对象，根据待处理图像获得目标对象的目标对象图像；其中，目标检测模型是基于包含目标对象的历史图像训练得到的。
44.本实施例中，目标对象可以是指定类型的物品，例如可以是电子设备类型的物品，可以是手机类型的物品等。目标检测模型可以是能够检测并定位出待处理图像中的目标对象的机器学习模型。在一些实际应用中，目标检测模型可以基于retinaface算法(人脸识别算法)来实现。
45.在一些实际应用中，可以先选取一种机器学习模型构建初始的目标检测模型，再指定出需要识别的目标对象的类型，进而获取包含有指定类型的目标对象的图像数据，利用这些图像数据训练得到训练好的目标检测模型，使得训练好的目标检测模型能够识别图像中指定类型的目标对象。其中，目标对象的类型可以根据实际业务场景进行指定；例如在物品鉴定的业务场景下，当需要鉴定瓷器类物品时，可以基于包含有各种瓷器的图像进行目标检测模型的训练；例如，在物品识别的业务场景下，当需要识别手机类物品时，可以基于包含有各种手机的图像进行目标检测模型的训练；又例如，在物品投保的业务场景下，当需要为手机屏幕投保时，可以基于包含有各种手机及手机屏幕的图像进行目标检测模型的
训练。
46.通过本实施例，可以快速准确地根据待处理图像获得其中目标对象的目标对象图像，达到去除目标对象以外的背景干扰信息的效果，使得可以在后续处理过程中只处理目标对象对应的图像，使处理结果更准确。
47.步骤s205，对目标对象图像进行分割，获得多个子图像。
48.本实施例中，可以预先设置好分割后得到的子图像数量，基于子图像数量对目标对象图像进行分割，也可以预先设置好分割后得到的子图像的尺寸大小，基于子尺寸大小对目标对象图像进行分割，具体实施方式可以依据实际业务场景进行设置。
49.步骤s207，分别对多个子图像进行状态识别处理，获得各个子图像的识别结果，进而根据各个子图像的识别结果确定目标对象的识别结果。
50.本实施例中，状态可以是目标对象所能呈现的一种或多种指定状态，例如可以是纸张的褶皱状态，可以是木板表面的平滑状态，可以是玻璃的破碎状态等，由于子图像中包含着目标对象的一部分，因此可以对子图像中包含着的目标对象进行状态识别处理，得到子图像中包含着的目标对象的识别结果，也即子图像的识别结果。可见，通过本实施例可以将目标对象图像分割为多个子图像，再分别对多个子图像进行状态识别处理以获得各个子图像的识别结果，使得在图像识别处理过程中能够保留图像中的各种细节，避免信息丢失，从而使处理结果更准确。
51.在一些实际应用中，对多个子图像进行状态识别处理的过程可以是基于深度学习的图像分类算法分别对多个子图像进行状态识别处理，也可以是基于机器学习的支持向量机算法(support vector machine，svm)分别对多个子图像进行状态识别处理。在得到各个子图像的识别结果后，可以根据各个子图像的识别结果确定目标对象的识别结果，还可以输出展示目标对象的识别结果。
52.通过本公开提供的图像处理方法，可以先获取包含目标对象的待处理图像，并利用基于目标对象进行训练的目标检测模型定位待处理图像中的目标对象，以获得目标对象的目标对象图像，再对目标对象图像进行分割，进而可以分别对多个子图像进行状态识别处理，获得各个子图像的识别结果，最后根据各个子图像的识别结果确定目标对象的识别结果。一方面，可以采用目标检测模型这一机器学习的方法定位待处理图像中的目标对象，进而可以快速准确地根据待处理图像获得其中目标对象的目标对象图像，使得可以在后续处理过程中只处理目标对象对应的图像，使处理结果更准确。又一方面，可以将目标对象图像分割为多个子图像，再分别对多个子图像进行状态识别处理以获得各个子图像的识别结果，使得在图像识别处理过程中保留图像中的各种细节，避免信息丢失，从而使处理结果更准确。
53.在一些实施例中，步骤s203中的利用目标检测模型定位待处理图像中的目标对象，可以包括：识别待处理图像的图像参数信息；在确定图像参数信息满足图像参数预设条件的情况下，利用目标检测模型定位待处理图像中的目标对象。进一步地，在一些实际应用中，在确定图像参数信息不满足图像参数预设条件的情况下，可以终止处理，还可以返回图像重传提示信息。
54.本实施例中，图像参数信息可以包括用于描述图像质量的属性信息，例如可以是图像的清晰程度、亮度等。图像参数信息可以根据实际业务场景进行设置，本公开对此不做
限定。
55.图像参数预设条件可以是与图像参数信息对应的限制条件，例如，假设图像参数信息为图像的清晰程度、亮度，则图像参数预设条件中可以包括图像的清晰程度阈值和亮度阈值，当确定待处理图像的清晰程度大于清晰程度阈值且待处理图像的亮度大于亮度阈值之后，可以利用目标检测模型定位待处理图像中的目标对象；相应地，若待处理图像不能满足其清晰程度大于清晰程度阈值且亮度大于亮度阈值吗，则可以终止处理，且可以向相应设备返回图像重传提示信息，例如可以向用户客户端返回图像重传提示信息；在一些实际应用中，图像重传提示信息中可以指示此次终止处理的原因(如：清晰程度不够，或者亮度太低等)。
56.图3示出了本公开一个实施例的图像处理的方法中获得目标对象的目标对象图像的流程图，如图3所示，实施图2的步骤s203中的根据待处理图像获得目标对象的目标对象图像，可以进一步包括以下步骤s301～步骤s307：
57.步骤s301，识别待处理图像中目标对象的轮廓信息。本实施例中，目标对象的轮廓信息可以包括目标对象的边和/或角的坐标信息。
58.以下都以目标对象为终端屏幕(如手机屏幕)进行举例说明。终端屏幕的轮廓信息可以是终端屏幕的四个角的角坐标信息，其轮廓信息也可以是终端屏幕的四条边的边坐标信息。在一些实际应用中，可以采用角点检测算法识别待处理图像中目标对象的轮廓信息。
59.步骤s303，根据轮廓信息从待处理图像中截取目标对象的初始图像。本实施例中，目标对象的初始图像可以看作是直接从待处理图像中截取的部分。
60.例如，对于包含有终端屏幕的待处理图像，在识别到终端屏幕的四个角的角点坐标后，可以得到一个四边形，则可以将该四边形对应的部分从待处理图像中截取出来，以作为终端屏幕这一目标对象的初始图像。
61.步骤s305，获取目标对象的基准图像，根据轮廓信息和基准图像确定初始图像的调整参数。本实施例中，对于目标对象，可以根据其类型设置相应的基准图像。
62.例如，可以为终端屏幕设置一种或多种比例的屏幕基准图像(例如4:3的矩形，或者16:9的矩形等)；基于此在一些实际应用中，可以先确定待处理图像中终端屏幕的类型，再获取该类型的终端屏幕对应的基准图像，进而可以根据其轮廓信息和基准图像确定出用于调整初始图像的调整参数。初始图像的调整参数可以包括拉伸参数、旋转参数等信息，以用于在后续步骤中对初始图像进行调整。
63.步骤s307，根据调整参数处理目标对象的初始图像，获得目标对象的目标对象图像。
64.在确定出调整参数后，则可以根据调整参数对初始图像进行调整，例如可以对初始图像进行拉伸处理和/或旋转处理等，最终获得目标对象的目标对象图像。
65.在又一些实际应用中，在上述步骤s303中截取到目标对象的初始图像之后，还可以直接采用对齐算法处理目标对象的初始图像，以得到目标对象的目标对象图像。例如，可以采用基于opencv库的仿射变换算法对初始图像进行仿射变换处理，直接获得目标对象的目标对象图像。
66.在一些实施例中，实施图3的步骤s303可以进一步包括：根据轮廓信息确定目标对象在待处理图像中的尺寸信息；在轮廓信息和尺寸信息满足截取条件的情况下，根据轮廓
信息从待处理图像中截取目标对象的初始图像。进一步地，在一些实际应用中，在目标对象的尺寸信息不满足尺寸预设条件的情况下，返回图像重传提示信息。
67.本实施例中，在定位到终端屏幕的四个角的角坐标信息之后，可以先计算该四边形部分的图像的尺寸信息，作为目标对象在待处理图像中的尺寸信息。截取条件中可以包括针对轮廓信息和尺寸信息设置的条件，例如对于轮廓信息，可以设置条件为“轮廓信息中包含终端屏幕的四个完整角点”，对于尺寸信息，可以设置条件为“尺寸信息大于尺寸阈值”，那么当确定出的终端屏幕的轮廓信息和尺寸信息均满足上述条件，则可以进行下一步处理(即根据轮廓信息从待处理图像中截取终端屏幕的初始图像)；而当确定出的终端屏幕的轮廓信息和尺寸信息未满足上述全部条件，则可以终止处理，还可以返回图像重传提示信息；在一些实际应用中，图像重传提示信息中可以指示此次终止处理的原因(如：终端屏幕部分不够清晰、终端屏幕部分不完整等)。
68.在一些实施例中，实施图2的步骤s205可以进一步包括：获取单位尺寸信息；将目标对象图像分割为多个尺寸为单位尺寸信息的图像，以多个尺寸为单位尺寸信息的图像作为多个子图像。
69.单位尺寸信息可以是一个预设值，单位尺寸信息设置越大，则分割出的子图像数量越少，在实际应用中可以根据实际业务需求进行设置。
70.进一步地，在一些实施例中，目标对象为终端屏幕；状态为屏幕破碎状态；以及，获取单位尺寸信息可以包括：获取用于屏幕破碎状态识别的裂痕识别需求信息，其中裂痕识别需求信息中包含裂痕长度阈值；根据裂痕长度阈值确定单位尺寸信息。
71.本实施例中，裂痕识别需求信息可以与实际的业务场景相关；例如在投保业务场景中是否能够为手机成功投保，对于手机外壳或手机屏幕存在量化的数值要求，例如，手机屏幕中的裂痕不得长于a毫米(即裂痕长度阈值)、裂痕数量不得多于b个等条件，那么在此场景中，可以先获取业务相关的裂痕识别需求信息，根据裂痕识别需求信息中的裂痕长度阈值确定单位尺寸信息。例如，可以以裂痕长度阈值的整数倍(如5倍、8倍等)作为单位尺寸信息的长和宽。
72.可见在本实施例中，可以对终端屏幕上的细小裂痕进行准确识别。
73.在一些实施例中，步骤s207中的分别对多个子图像进行状态识别处理，获得各个子图像的识别结果，可以包括：通过屏幕破碎状态检测模型分别对多个子图像进行屏幕破碎状态识别处理，获得各个子图像的屏幕破碎状态识别结果；其中，屏幕破碎状态检测模型是基于包括具有屏幕破碎状态的终端屏幕的历史图像训练得到的；屏幕破碎状态识别结果包括：屏幕破碎状态和屏幕未破碎状态。
74.本实施例中，屏幕破碎状态检测模型可以是基于深度学习的图像分类算法实现的对于屏幕破碎状态的检测模型，也可以是基于机器学习的支持向量机算法(support vector machine，svm)实现的对于屏幕破碎状态的检测模型。在一些实际应用中，屏幕破碎状态识别结果还可以包括不同等级的屏幕破碎状态，例如可以分为0～4级状态，0可以代表完全未破碎，1～4可以代表依次递进的破碎程度，数值越大则破碎程度越重，可以通过调整屏幕破碎状态检测模型训练过程中采用的样本集，来实现得出不同识别结果的调整。
75.在一些实施例中，步骤s207中的根据各个子图像的识别结果确定目标对象的识别结果，可以包括：确定识别结果为屏幕破碎状态的子图像的数量；当数量超过数量阈值时，
确定终端屏幕的屏幕破碎状态识别结果为破碎。本实施例中，数量阈值可以是一个预设值，例如可以是0或1等，例如，假设数量阈值设置为0，则意味着所有的子图像的识别结果都需要是未破碎，才会得出终端屏幕为未破碎的识别结果。
76.图4示出了本公开一个实施例的图像处理的方法的流程图，如图4所示，包括：
77.步骤s401，获取包含目标对象的待处理图像。
78.步骤s403，判断图像的图像参数信息是否满足图像参数预设条件。若是，则执行步骤s405，若否，则执行步骤s417。其中，图像参数信息可以包括用于描述图像质量的属性信息，例如可以是图像的清晰程度、亮度等。
79.步骤s405，识别待处理图像中目标对象的轮廓信息，并根据轮廓信息确定目标对象在待处理图像中的尺寸信息。其中，目标对象的轮廓信息可以包括目标对象的边和/或角的坐标信息。
80.步骤s407，判断轮廓信息和尺寸信息是否满足截取条件。若是，则执行步骤s409，若否，则执行步骤s417。
81.步骤s409，根据轮廓信息从待处理图像中截取目标对象的初始图像。
82.步骤s411，处理目标对象的初始图像，获得目标对象的目标对象图像。其中，可以对初始图像进行拉伸处理和/或旋转处理等，最终获得目标对象的目标对象图像。
83.步骤s413，对目标对象图像进行分割，获得多个子图像。其中，可以先获取单位尺寸信息，再将目标对象图像分割为多个尺寸为单位尺寸信息的图像，以作为多个子图像。
84.步骤s415，分别对多个子图像进行状态识别处理，获得各个子图像的识别结果，进而根据各个子图像的识别结果确定目标对象的识别结果。在一些实际应用中，目标对象可以为终端屏幕，状态可以为屏幕破碎状态，屏幕破碎状态识别结果可以包括屏幕破碎状态和屏幕未破碎状态，那么在本步骤中，可以先确定识别结果为屏幕破碎状态的子图像的数量；当数量超过预设置的数量阈值时，则可以确定终端屏幕的屏幕破碎状态识别结果为破碎。
85.步骤s417，终止处理，返回图像重传提示信息。在一些实际应用中，图像重传提示信息中还可以指示此次终止处理的原因，例如在步骤s403中判断为否后，则本步骤中的图像重传提示信息中可以指示“图像清晰程度不够”，或者“图像亮度太低”等信息；又如，在步骤s407中判断为否后，则本步骤中的图像重传提示信息中可以指示“终端屏幕部分不够清晰”、“终端屏幕部分不完整”等信息。
86.此外，图4所示的实施例中与图2、图3所示的实施例以及与上述其他实施例中相同的步骤，可以参见图2、图3所示的实施例的文字描述，以及其他实施例中的文字描述，本公开在此不再赘述。
87.图5示出了本公开一个实施例的可以实现图像处理的方法的系统示意图，如图5所示，包括：图像采集模块501，检测对齐模块502，自适应图像分割模块503，碎屏识别模块504，以及输出结果模块505；在本实施例中，可以对包含终端(例如手机)的图像进行处理，可以识别该终端的终端屏幕是否为破碎状态。
88.其中，图像采集模块501可以具有图像采集功能，还可以具有图像质量评测功能，例如可以实现对图像的明亮程度、清晰程度的识别判断。基于此，图像采集模块501可以将用户上传的不符合要求的图像进行拒绝，并及时提醒用户重新上传合乎要求的图像。
89.检测对齐模块502可以包含多种针对目标对象的识别算法，以目标对象为手机为例，则检测对齐模块502可以包含手机检测算法、手机角点检测算法和手机对齐算法。其中手机检测算法与角点检测算法可以是基于retinaface(人脸识别)算法实现的，手机对齐算法可以是基于opencv库的仿射变换算法实现的。检测对齐模块502可以先调用手机检测算法与手机角点检测算法对输入图像中的目标对象(即手机)进行定位，并得到手机的四个角点信息，再根据定位得到的手机外接矩形框来识别图像中手机的尺寸大小，判断尺寸大小是否符合预设大小；对于符合预设大小的手机部分，可以根据其四个角点信息调用对齐算法对手机进行对齐变换，得到手机图像(即目标对象图像)例如可以对倾斜的手机进行旋转调正的对齐变换来得到手机图像)。而对于不符合预设大小的手机，检测对齐模块502可以进行拒绝，并及时提醒用户重新上传合乎要求的图像。
90.自适应图像分割模块503可以对检测对齐模块502中得到的手机图像进行自适应分割。其中，可以预先设置好单位尺寸信息(如长和宽均为p像素的p
×
p单位尺寸)，再将手机图像分割为多个p
×
p单位尺寸的子图像。可以理解，随着输入的手机图片的大小不同，分割得到的子图像数量可以是不同的，且可以通过更新单位尺寸信息来调整所能得到的子图像的数量。
91.碎屏识别模块504可以对自适应图像分割模块503中得到的多个子图像进行碎屏识别，得到各个子图像的识别结果。在一些实施例中，碎屏识别模块504可以包含屏幕破碎状态检测模型，屏幕破碎状态检测模型可以用于实现对屏幕破碎状态的识别检测；该屏幕破碎状态检测模型可以是基于深度学习的图像分类算法实现的对于屏幕破碎状态的检测模型，也可以是基于机器学习的支持向量机算法(support vector machine，svm)实现的对于屏幕破碎状态的检测模型。
92.输出结果模块505可以根据各个子图像的识别结果确定目标对象的识别结果，例如，可以设置数量阈值，进而可以先确定识别结果为屏幕破碎状态的子图像的数量；当数量超过数量阈值时，确定终端屏幕的屏幕破碎状态识别结果为破碎。在确定终端屏幕的屏幕破碎状态识别结果后，还可以向用户输出展示对终端屏幕的识别结果。
93.在一些实际应用中，根据图5示出的系统实现图像处理的方法的一个具体实施例可以是：
94.首先，可以由图像采集模块501采集到一张清晰度为ca的、亮度为va的、有细小裂纹的、包含完整手机的图像a。图像采集模块501可以对接收到的图像进行质量检测，假设用于质量评测的清晰程度阈值为c1，亮度阈值为v1，那么当检测到图像清晰度ca大于清晰程度阈值c1，且亮度va大于亮度阈值v1时，z则可以确定图像a的清晰度与亮度都满足预设要求，因此图像采集模块501可以将接收到的图像a传输给检测对齐模块502进行后续处理。
95.检测对齐模块502可以先调用手机检测算法与角点检测算法，分别对图像a中的手机与手机的角点进行定位。根据算法的手机定位坐标信息可以得到手机的大小(例如可以用size来表示)，将size与预设阈值s1进行比较，假设比较结果为size大于s1，则可以继续处理。再根据角点坐标信息的有效性来判断手机是否完整，例如假设预设的有效数量为4，则当检测出角点坐标信息中有效角点为4个时，则可以继续处理，从图像a中截取出手机部分的初始图像。在上述过程中，若将size与预设阈值s1进行比较得到的比较结果为size小于或等于s1，则可以认为手机部分的图像过小，不利于后续检测，则可以终止处理；以及若
当检测出角点坐标信息中有效角点不为4个时，则可以认为手机不完整，则可以终止处理。
96.检测对齐模块502可以进一步利用完整的四个角点坐标进行手机部分的初始图像的仿射变换，进而得到转正的不含背景信息的手机图像。由于变换前的初始图像中手机大小size大于预设阈值s1且包含完整的手机，因此可以认为仿射变换后得到的手机图像满足预设要求，因此检测对齐模块502可以将手机图像传输给自适应图像分割模块503进行后续处理。
97.自适应图像分割模块503接收到手机图像后，可以基于预先设置好的长和宽均为p像素的p
×
p单位尺寸，将手机图像分割为尺寸都是p
×
p单位尺寸的多个子图像，其中子图像的数量s可以由以下公式(1)计算得到，其中符号表示对x进行向上取整，height和width分别表示手机图像的高与宽。在手机图像分割得到的s块子图中，若有的子图的宽与高大小不足p，则可以用预设的固定像素值constant_value1进行填充，使得长与宽都满足大小p。在得到s块子图像后，自适应图像分割模块503可以将s块子图像传输给碎屏识别模块504进行后续识别处理。
[0098][0099]
碎屏识别模块504可以利用屏幕破碎状态检测模型对接收到的s块子图像进行二分类识别(类别为屏幕破碎、屏幕未破碎)。在一些实际应用中，本实施例的应用场景可以是手机承保阶段，在此场景中可以要求屏幕破碎状态检测模型对碎屏的召回率足够高。具体地，本实施例中可以对屏幕破碎状态检测模型所预测的“屏幕未破碎”这一类进行约束，要求“屏幕未破碎”的预测概率conf大于预设的概率阈值score1，这样才能认为输入的子图没有屏幕破碎状态，否则可能存在碎裂区域。
[0100]
可以理解的是，在该过程中，屏幕破碎状态检测模型本质上是一个分类模型，该分类模型的输出可以是二分类(例如可以由p0，p1来代表输出的两类结果)；一般情况下，p0代表负样本类(例如“屏幕未破碎”)，p1代表正样本类(例如“屏幕破碎”)。一般的分类算法是根据p1的结果来判断输入的子图像是否是正样本(“屏幕破碎”)；而由于本实施例中p0与p1是对立事件，因此也可以根据p0的结果来判断图像是“屏幕破碎”还是“屏幕未破碎”。判断逻辑可以如下：只有p0的结果得分(即上述p0“屏幕未破碎”的预测概率conf)需要足够的高才能认为输入的子图像是没有碎裂的，反之则有碎裂区域。因此在本实施例中可以通过设置p0对应的概率阈值score1来判断其结果的高低，其中p0对应的概率阈值score1可以是通过统计“屏幕未破碎”样本的平均分值来得到的。
[0101]
基于此，碎屏识别模块504可以分别处理s块子图像以得到s块子图像的s个识别结果，再将这s个识别结果传输给输出结果模块505。
[0102]
输出结果模块505接收到s块子图像的s个识别结果之后，可以根据s个识别结果来判断图像采集模块501采集到的图像a中地手机是否存在碎屏。其中只要s块子图像中存在一块子图像的识别结果为屏幕破碎状态，则可以确定手机图像的识别结果为屏幕破碎状态，进而可以将图像a判别为屏幕破碎状态的识别结果，并输出。
[0103]
需要注意的是，上述附图仅是根据本发明示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。
[0104]
图6示出本公开第五实施例中一种图像处理的装置600的框图；如图6所示，包括：获取模块601，用于获取包含目标对象的待处理图像；处理模块602，用于利用目标检测模型检测待处理图像，并在检测出待处理图像中存在目标对象的情况下，处理待处理图像获得目标对象的目标对象图像；其中，目标检测模型是基于包括目标对象的历史图像训练得到的；分割模块603，用于对目标对象图像进行分割，获得多个子图像；识别模块604，用于分别对多个子图像进行状态识别处理，获得各个子图像的识别结果，进而根据各个子图像的识别结果确定目标对象的识别结果。
[0105]
通过本公开提供的图像处理装置，可以先获取包含目标对象的待处理图像，并利用基于目标对象进行训练的目标检测模型定位待处理图像中的目标对象，以获得目标对象的目标对象图像，再对目标对象图像进行分割，进而可以分别对多个子图像进行状态识别处理，获得各个子图像的识别结果，最后根据各个子图像的识别结果确定目标对象的识别结果。一方面，可以采用目标检测模型这一机器学习的方法定位待处理图像中的目标对象，进而可以快速准确地根据待处理图像获得其中目标对象的目标对象图像，使得可以在后续处理过程中只处理目标对象对应的图像，使处理结果更准确。又一方面，可以将目标对象图像分割为多个子图像，再分别对多个子图像进行状态识别处理以获得各个子图像的识别结果，使得在图像识别处理过程中保留图像中的各种细节，避免信息丢失，从而使处理结果更准确。
[0106]
在一些实施例中，处理模块602利用目标检测模型检测待处理图像，包括：识别待处理图像的图像参数信息；在确定图像参数信息满足图像参数预设条件的情况下，利用目标检测模型检测待处理图像；以及，在确定图像参数信息不满足图像参数预设条件的情况下，返回图像重传提示信息。
[0107]
在一些实施例中，处理模块602处理待处理图像获得目标对象的目标对象图像，包括：识别待处理图像中目标对象的轮廓信息；根据轮廓信息从待处理图像中截取目标对象的初始图像；获取目标对象的基准图像，根据轮廓信息和基准图像确定初始图像的调整参数；根据调整参数处理目标对象的初始图像，获得目标对象的目标对象图像。
[0108]
在一些实施例中，处理模块602根据轮廓信息从待处理图像中截取目标对象的初始图像，包括：根据轮廓信息确定目标对象在待处理图像中的尺寸信息；在目标对象的尺寸信息满足尺寸预设条件的情况下，根据轮廓信息从待处理图像中截取目标对象的初始图像；以及，在目标对象的尺寸信息不满足尺寸预设条件的情况下，返回图像重传提示信息。
[0109]
在一些实施例中，分割模块603对目标对象图像进行分割，获得多个子图像，包括：获取单位尺寸信息；将目标对象图像分割为多个尺寸为单位尺寸信息的图像，以多个尺寸为单位尺寸信息的图像作为多个子图像。
[0110]
在一些实施例中，目标对象为终端屏幕；状态为屏幕破碎状态；以及，分割模块603获取单位尺寸信息，包括：获取用于屏幕破碎状态识别的裂痕识别需求信息，其中裂痕识别需求信息中包含裂痕长度阈值；根据裂痕长度阈值确定单位尺寸信息。
[0111]
在一些实施例中，识别模块604分别对多个子图像进行状态识别处理，获得各个子图像的识别结果，包括：通过屏幕破碎状态检测模型分别对多个子图像进行屏幕破碎状态识别处理，获得各个子图像的屏幕破碎状态识别结果；其中，屏幕破碎状态检测模型是基于包括具有屏幕破碎状态的终端屏幕的历史图像训练得到的；屏幕破碎状态识别结果包括：
屏幕破碎状态和屏幕未破碎状态。
[0112]
在一些实施例中，识别模块604根据各个子图像的识别结果确定目标对象的识别结果，包括：确定识别结果为屏幕破碎状态的子图像的数量；当数量超过数量阈值时，确定终端屏幕的屏幕破碎状态识别结果为破碎。
[0113]
图6实施例的其它内容可以参照上述其它实施例。
[0114]
所属技术领域的技术人员能够理解，本发明的各个方面可以实现为系统、方法或程序产品。因此，本发明的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。
[0115]
图7示出本公开实施例中一种图像处理的计算机设备的结构框图。需要说明的是，图示出的电子设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
[0116]
下面参照图7来描述根据本发明的这种实施方式的电子设备700。图7显示的电子设备700仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
[0117]
如图7所示，电子设备700以通用计算设备的形式表现。电子设备700的组件可以包括但不限于：上述至少一个处理单元710、上述至少一个存储单元720、连接不同系统组件(包括存储单元720和处理单元710)的总线730。
[0118]
其中，所述存储单元存储有程序代码，所述程序代码可以被所述处理单元710执行，使得所述处理单元710执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施方式的步骤。例如，所述处理单元710可以执行如图2中所示的方法。
[0119]
存储单元720可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(ram)7201和/或高速缓存存储单元7202，还可以进一步包括只读存储单元(rom)7203。
[0120]
存储单元720还可以包括具有一组(至少一个)程序模块7205的程序/实用工具7204，这样的程序模块7205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
[0121]
总线730可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
[0122]
电子设备700也可以与一个或多个外部设备800(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备700交互的设备通信，和/或与使得该电子设备700能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(i/o)接口750进行。并且，电子设备700还可以通过网络适配器760与一个或者多个网络(例如局域网(lan)，广域网(wan)和/或公共网络，例如因特网)通信。如图所示，网络适配器760通过总线730与电子设备700的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备700使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、raid系统、磁带驱动器以及数据备份存储系统等。
[0123]
在本公开的示例性实施例中，还提供了一种计算机可读存储介质，其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施方式中，本发明的各个方面还可
以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施方式的步骤。
[0124]
根据本发明实施方式的用于实现上述方法的程序产品，其可以采用便携式紧凑盘只读存储器(cd-rom)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
[0125]
所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。
[0126]
计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
[0127]
可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、rf等等，或者上述的任意合适的组合。
[0128]
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如java、c++等，还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(lan)或广域网(wan)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
[0129]
应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
[0130]
此外，尽管在附图中以特定顺序描述了本公开中方法的各个步骤，但是，这并非要求或者暗示必须按照该特定顺序来执行这些步骤，或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的，可以省略某些步骤，将多个步骤合并为一个步骤执行，以及/或者将一个步骤分解为多个步骤执行等。
[0131]
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失
性存储介质(可以是cd-rom，u盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、移动终端、或者网络设备等)执行根据本公开实施方式的方法。
[0132]
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本技术旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由所附的权利要求指出。