一种自动插拔USB接口的方法及设备与流程

本申请涉及设备检测领域，尤其涉及一种自动插拔usb接口的方法及设备。

背景技术：

随着社会需求的发展，移动终端如手机的应用越来越普遍，对其质量要求也越来越高，在出厂前需要测试或使用二手移动终端时需要测试，测试过程中经常需要进行usb接口的插拔。目前需要将手机固定，然后人眼观察并手动调整usb插座位置，使其与usb接口正对，然后将usb插座插入移动终端的usb接口。但是不当的插拔会损害usb接口或无法通过usb接口与移动终端进行交互，造成对移动终端的usb接口的检测结果的不准确。

技术实现要素：

本申请的一个目的是提供一种自动插拔usb接口的方法及设备，解决现有技术中进行usb插拔时需要人眼观察并手动调整，以及因插拔方式不对造成对usb接口的损坏或检测结果不准确的问题。

根据本申请的一个方面，提供了一种自动插拔usb接口的方法，该方法包括：

获取目标usb接口的图像信息；

基于建立的深度学习模型在所述目标usb接口的图像信息中定位所述目标usb接口，得到所述目标usb接口的坐标信息；

将所述坐标信息进行转换为所述目标usb接口所在设备的物理坐标；

根据所述物理坐标进行自动插拔所述目标usb接口。

进一步地，所述方法包括：

收集多个类型的usb接口的图像信息；

对每一个图像信息进行图像分割以得到usb接口的信息，进行标注所述usb接口所属的类型；

将标注后的usb接口的信息作为训练集建立深度学习模型。

进一步地，基于建立的深度学习模型在所述目标usb接口的图像信息中定位所述目标usb接口，包括：

基于建立的深度学习模型对所述目标usb接口所在的图像进行特征提取，得到特征图，根据所述特征图确定所述目标usb接口对应的矩形框；

根据所述矩形框及所述特征图确定所述目标usb接口所属的类别；

根据所述矩形框及所述目标usb接口所属的类别对所述矩形框内的像素进行像素级的二分类，定位所述目标usb接口。

进一步地，根据所述物理坐标进行自动插拔所述目标usb接口，包括：

根据所述物理坐标以及所述目标usb接口所属类型进行自动插拔所述目标usb接口。

进一步地，所述方法包括：

根据定位到的所述目标usb接口的坐标信息确定usb接口的闭合形状框；

将所述闭合形状框进行填充，得到填充后的形状框。

进一步地，将所述坐标信息进行转换为所述目标usb接口所在设备的物理坐标，包括：

将所述填充后的形状框转换为所述目标usb接口所在设备的物理坐标系下的形状框。

根据本申请另一个方面，还提供了一种自动插拔usb接口的设备，该设备包括：

一个或多个处理器；以及

存储有计算机可读指令的存储器，所述计算机可读指令在被执行时使所述处理器执行如前述所述方法的操作。

根据本申请再一个方面，还提供了一种计算机可读介质，其上存储有计算机可读指令，所述计算机可读指令可被处理器执行以实现如前述所述的方法。

与现有技术相比，本申请通过获取目标usb接口的图像信息；基于建立的深度学习模型在所述目标usb接口的图像信息中定位所述目标usb接口，得到所述目标usb接口的坐标信息；将所述坐标信息进行转换为所述目标usb接口所在设备的物理坐标；根据所述物理坐标进行自动插拔所述目标usb接口。从而无需人工去观察usb接口进行插拔，可以实现自动插拔usb接口，以对usb接口进行检测。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：

图1示出根据本申请的一个方面提供的一种自动插拔usb接口的方法流程示意图；

图2示出本申请一实施例中具体场景的目标usb接口的定位结果示意图。

附图中相同或相似的附图标记代表相同或相似的部件。

具体实施方式

下面结合附图对本申请作进一步详细描述。

在本申请一个典型的配置中，终端、服务网络的设备和可信方均包括一个或多个处理器(例如中央处理器(centralprocessingunit，cpu))、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(randomaccessmemory，ram)和/或非易失性内存等形式，如只读存储器(readonlymemory，rom)或闪存(flashram)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(phase-changeram，pram)、静态随机存取存储器(staticrandomaccessmemory，sram)、动态随机存取存储器(dynamicrandomaccessmemory，dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(electricallyerasableprogrammableread-onlymemory，eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(compactdiscread-onlymemory，cd-rom)、数字多功能光盘(digitalversatiledisk，dvd)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括非暂存电脑可读媒体(transitorymedia)，如调制的数据信号和载波。

图1示出根据本申请的一个方面提供的一种自动插拔usb接口的方法流程示意图，该方法包括：步骤s11～步骤s14，

在步骤s11中，获取目标usb接口的图像信息；在此，通过相机或具有相机功能的设备拍摄待检测移动终端的usb接口，获得目标usb接口的图像信息，以便通过对图像的分析定位出usb接口。

在步骤s12中，基于建立的深度学习模型在所述目标usb接口的图像信息中定位所述目标usb接口，得到所述目标usb接口的坐标信息；在此，获取到的图像信息为彩色图像，使用建立好的深度学习模型对该图像中的usb接口进行定位，框出该usb接口所在的位置。其中，深度学习模型可以使用mask-rcnn检测框架，使用resnet101进行特征提取，rpn(regionproposalnetwork，区域候选网络)生成候选区域，然后并行的接入类别预测和矩形框预测网络，训练得到。

在步骤s13中，将所述坐标信息进行转换为所述目标usb接口所在设备的物理坐标；在此，对定位出的usb接口进行坐标转换，转换为usb接口所在设备的物理坐标系下的坐标，即得到设备上usb的位置信息；从而在步骤s14中，根据所述物理坐标进行自动插拔所述目标usb接口。在此，通过机械控制，按照得到的usb在设备上的位置信息进行自动插拔目标usb接口，完成插孔操作，从而实现usb接口的自动插线，插线后对usb进行检测。

在本申请一实施例中，所述方法包括：收集多个类型的usb接口的图像信息；对每一个图像信息进行图像分割以得到usb接口的信息，进行标注所述usb接口所属的类型；将标注后的usb接口的信息作为训练集建立深度学习模型。在此，收集多类型移动终端的usb接口的信息，如type-c接口的图像信息、安卓系统的usb接口的图像信息、ios系统的usb接口的图像信息，识别每一图像中usb接口所属类型，根据对图像信息进行图像分割，得到分割出的usb接口的信息，如图像中包括设备本身的信息、背景信息、usb接口等，分割出后对usb进行标注，打标签，确定该usb接口所属的类型，从而得到多类型的usb接口的信息的训练集，以标注后的训练集进行mask-rcnn模型训练，建立起深度学习模型。

具体地，在步骤s12中，基于建立的深度学习模型对所述目标usb接口所在的图像进行特征提取，得到特征图，根据所述特征图确定所述目标usb接口对应的矩形框；根据所述矩形框及所述特征图确定所述目标usb接口所属的类别；根据所述矩形框及所述目标usb接口所属的类别对所述矩形框内的像素进行像素级的二分类，定位所述目标usb接口。在此，usb接口类型不同时，所处的位置也不同，所使用的插线也不同，因此，需要识别目标usb接口所属类型，利用确定的类型定位目标usb接口的具体位置以及确定对应的插线，保证能够自动插拔usb接口。使用图像分割算法对所述目标usb接口的图像进行图像分割，判断该图像中是否真正存在目标usb接口，若存在，则将获取到的目标usb接口的原始图像经过resnet101网络提取出整副图像的特征，得到特征图，利用以上特征图预测出usb接口所在位置，画出矩形框，该矩形框为usb接口的外接矩形，根据画出的矩形框及其对应的特征图区域预测usb接口所属类别，根据得到的矩形框和usb接口所属类别进一步做像素级的二分类，精确定位usb接口。如图2所示的具体场景的示意图，对type-c类型的usb接口的定位；进一步地对特征图进行像素级的二分类，即每一像素进行判断，因矩形框内的可能为目标usb接口，也可能为背景信息，为更精确的得到usb接口，使用二分类对每一像素进行分析，精确地定位目标usb接口。

在本申请一实施例中，在步骤s14中，根据所述物理坐标以及所述目标usb接口所属类别进行自动插拔所述目标usb接口。在此，将定位得到的目标usb在图像中的坐标信息转换为目标usb所在设备的物理坐标系下的坐标后，根据该物理坐标系下的坐标信息以及该目标usb接口所属类别进行自动插拔所述目标usb接口，根据目标usb接口所属类型选择插线，机械控制该插线到达目标usb接口所在位置进行插拔。

在本申请一实施例中，所述方法包括：根据定位到的所述目标usb接口的坐标信息确定usb接口的闭合形状框；将所述闭合形状框进行填充，得到填充后的形状框。在此，对目标usb接口进行定位时，使用矩形框进行定位，对定位到的目标usb接口所在的矩形框进行填充，比如涂黑，usb接口类型不一样，形状不一样，填充后得到的闭合形状框不一样，实现精确定位。随后，将所述填充后的形状框转换为所述目标usb接口所在设备的物理坐标系下的形状框。在此，对填充后的形状框按照坐标信息进行转换，转换为目标usb接口所在设备的物理坐标系下的坐标信息，形成在物理坐标系下的形状框，定位到物理坐标系下的位置，从而检测设备根据填充后精确得到的定位信息进行自动插孔usb接口，对该usb接口进行检测。

此外，本申请实施例还提供了一种计算机可读介质，其上存储有计算机可读指令，所述计算机可读指令可被处理器执行以实现前述一种自动插拔usb接口的方法。

在本申请一实施例中，还提供了一种自动插拔usb接口的设备，所述设备包括：

一个或多个处理器；以及

存储有计算机可读指令的存储器，所述计算机可读指令在被执行时使所述处理器执行如前述所述方法的操作。

例如，计算机可读指令在被执行时使所述一个或多个处理器：

获取目标usb接口的图像信息；

基于建立的深度学习模型在所述目标usb接口的图像信息中定位所述目标usb接口，得到所述目标usb接口的坐标信息；

将所述坐标信息进行转换为所述目标usb接口所在设备的物理坐标；

根据所述物理坐标进行自动插拔所述目标usb接口。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

需要注意的是，本申请可在软件和/或软件与硬件的组合体中被实施，例如，可采用专用集成电路(asic)、通用目的计算机或任何其他类似硬件设备来实现。在一个实施例中，本申请的软件程序可以通过处理器执行以实现上文所述步骤或功能。同样地，本申请的软件程序(包括相关的数据结构)可以被存储到计算机可读记录介质中，例如，ram存储器，磁或光驱动器或软磁盘及类似设备。另外，本申请的一些步骤或功能可采用硬件来实现，例如，作为与处理器配合从而执行各个步骤或功能的电路。

另外，本申请的一部分可被应用为计算机程序产品，例如计算机程序指令，当其被计算机执行时，通过该计算机的操作，可以调用或提供根据本申请的方法和/或技术方案。而调用本申请的方法的程序指令，可能被存储在固定的或可移动的记录介质中，和/或通过广播或其他信号承载媒体中的数据流而被传输，和/或被存储在根据所述程序指令运行的计算机设备的工作存储器中。在此，根据本申请的一个实施例包括一个装置，该装置包括用于存储计算机程序指令的存储器和用于执行程序指令的处理器，其中，当该计算机程序指令被该处理器执行时，触发该装置运行基于前述根据本申请的多个实施例的方法和/或技术方案。

对于本领域技术人员而言，显然本申请不限于上述示范性实施例的细节，而且在不背离本申请的精神或基本特征的情况下，能够以其他的具体形式实现本申请。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本申请的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。