一种终端设备状态检测方法、模型生成方法以及装置与流程

本发明涉及图像处理技术领域，特别是涉及一种终端设备状态检测方法、一种终端设备状态检测模型的生成方法、一种终端设备状态检测装置、以及一种终端设备状态检测模型的生成装置。

背景技术：

目前，在各类企业的营业厅、商场、交通枢纽等公共空间中，通常可以设置若干终端设备。客户可以通过终端设备自助办理业务，可以一定程度上提高业务的办理效率。但是，由于设置终端设备的区域通常无人监管，在终端设备出现损坏的情况下，通常较难及时发现，影响客户使用终端设备。

技术实现要素：

鉴于上述问题，提出了本发明实施例以便提供一种克服上述问题或者至少部分地解决上述问题的一种终端设备状态检测方法、一种终端设备状态检测模型的生成方法、一种终端设备状态检测装置、以及一种终端设备状态检测模型的生成装置。

为了解决上述问题，本发明实施例公开了一种终端设备状态检测方法，包括：

在采集到的监控图像中，提取至少一台终端设备的屏幕区域图像；

将所述终端设备的屏幕区域图像输入预设的第一状态检测模型；

根据所述第一状态检测模型输出的第一分类信息，确定所述终端设备的运行状态；其中，所述第一分类信息包括屏幕正常状态以及屏幕异常状态。

可选地，所述根据所述第一状态检测模型输出的第一分类信息，确定所述终端设备的运行状态的步骤，包括：

在所述第一状态检测模型输出的第一分类信息为屏幕异常状态的情况下，在所述监控图像中，提取所述终端设备的设备环境图像；

将所述终端设备的设备环境图像输入预设的第二状态检测模型；

根据所述第二状态检测模型输出的第二分类信息，确定所述终端设备的运行状态；其中，所述第二分类信息包括人员遮挡状态以及人员未遮挡状态。

可选地，所述在所述第一状态检测模型输出的第一分类信息为屏幕异常状态的情况下，在所述监控图像中，提取所述终端设备的设备环境图像的步骤，包括：

在所述第一状态检测模型输出的第一分类信息为屏幕异常状态的情况下，基于预设的外扩比例以及所述屏幕区域图像的尺寸，确定设备环境图像的尺寸；

根据所述屏幕区域图像在所述监控图像中的位置以及所述设备环境图像的尺寸，在所述监控图像中提取所述设备环境图像。

可选地，所述方法还包括：

采用预设的抽帧频率，在采集到的监控视频，抽取至少一帧监控图像。

可选地，所述终端设备的运行状态包括正常运行状态以及异常运行状态；

所述方法还包括：

在连续的预设数量的监控图像中，确定所述终端设备的运行状态皆为异常运行状态的情况下，发出警报信息。

本发明实施例还公开了一种终端设备状态检测模型的生成方法，包括：

获取终端设备的屏幕区域样本；其中，所述屏幕区域样本对应具有第一标注信息，所述第一标注信息包括屏幕正常状态以及屏幕异常状态；

采用所述屏幕区域样本以及所述屏幕区域样本对应的第一标注信息，训练预设的第一待训练模型，生成第一状态检测模型。

可选地，所述方法还包括：

获取终端设备的设备环境样本；其中，所述设备环境样本对应具有第二标注信息，所述第二标注信息包括人员遮挡状态以及人员未遮挡状态；

采用所述设备环境图像样本以及所述设备环境图像样本对应的第二标注信息，训练预设的第二待训练模型，生成第二状态检测模型。

本发明实施例还公开了一种终端设备状态检测装置，包括：

屏幕提取模块，用于在采集到的监控图像中，提取至少一台终端设备的屏幕区域图像；

屏幕检测模块，用于将所述终端设备的屏幕区域图像输入预设的第一状态检测模型；

状态确定模块，用于根据所述第一状态检测模型输出的第一分类信息，确定所述终端设备的运行状态；其中，所述第一分类信息包括屏幕正常状态以及屏幕异常状态。

可选地，所述状态确定模块包括：

环境提取子模块，用于在所述第一状态检测模型输出的第一分类信息为屏幕异常状态的情况下，在所述监控图像中，提取所述终端设备的设备环境图像；

环境检测子模块，用于将所述终端设备的设备环境图像输入预设的第二状态检测模型；

状态确定子模块，用于根据所述第二状态检测模型输出的第二分类信息，确定所述终端设备的运行状态；其中，所述第二分类信息包括人员遮挡状态以及人员未遮挡状态。

可选地，所述环境提取子模块包括：

尺寸确定单元，用于在所述第一状态检测模型输出的第一分类信息为屏幕异常状态的情况下，基于预设的外扩比例以及所述屏幕区域图像的尺寸，确定设备环境图像的尺寸；

环境提取单元，用于根据所述屏幕区域图像在所述监控图像中的位置以及所述设备环境图像的尺寸，在所述监控图像中提取所述设备环境图像。

可选地，所述装置还包括：

图像抽取模块，用于采用预设的抽帧频率，在采集到的监控视频，抽取至少一帧监控图像。

可选地，所述终端设备的运行状态包括正常运行状态以及异常运行状态；

所述装置还包括：

警报模块，用于在连续的预设数量的监控图像中，确定所述终端设备的运行状态皆为异常运行状态的情况下，发出警报信息。

本发明实施例还公开了一种终端设备状态检测模型的生成装置，包括：

第一样本获取模块，用于获取终端设备的屏幕区域样本；其中，所述屏幕区域样本对应具有第一标注信息，所述第一标注信息包括屏幕正常状态以及屏幕异常状态；

第一训练模块，用于采用所述屏幕区域样本以及所述屏幕区域样本对应的第一标注信息，训练预设的第一待训练模型，生成第一状态检测模型。

可选地，所述装置还包括：

第一样本获取模块，用于获取终端设备的设备环境样本；其中，所述设备环境样本对应具有第二标注信息，所述第二标注信息包括人员遮挡状态以及人员未遮挡状态；

第二训练模块，用于采用所述设备环境图像样本以及所述设备环境图像样本对应的第二标注信息，训练预设的第二待训练模型，生成第二状态检测模型。

本发明实施例还公开了一种装置，包括：

一个或多个处理器；和

其上存储有指令的一个或多个机器可读介质，当由所述一个或多个处理器执行时，使得所述装置执行如本发明实施例所述的一个或多个的方法。

本发明实施例还公开了一个或多个机器可读介质，其上存储有指令，当由一个或多个处理器执行时，使得所述处理器执行如本发明实施例所述的一个或多个的方法。

本发明实施例包括以下优点：

通过本发明实施例的终端设备状态检测方法，通过在采集到的监控图像中，提取至少一台终端设备的屏幕区域图像，并将所述终端设备的屏幕区域图像输入预设的第一状态检测模型，根据所述第一状态检测模型输出的第一分类信息，确定所述终端设备的运行状态。从而可以采用所述第一状态检测模型，检测监控图像中的终端设备的屏幕是否正常显示，从而可以确定所述终端设备是否正常运行。实现采用监控图像，对所述终端设备进行自动监控，确保所述终端设备正常运行。

附图说明

图1是本发明实施例的一种终端设备状态检测方法的步骤流程图；

图2是本发明实施例的另一种终端设备状态检测方法的步骤流程图；

图3是本发明实施例的一种终端设备状态检测模型的生成方法的步骤流程图；

图4是本发明实施例的一种终端设备状态检测装置的结构框图；

图5是本发明实施例的一种终端设备状态检测模型的生成装置的结构框图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

参照图1，示出了本发明的一种终端设备状态检测方法实施例的步骤流程图，具体可以包括如下步骤：

步骤101，在采集到的监控图像中，提取至少一台终端设备的屏幕区域图像；

在本发明实施例中，所述终端设备可以为设置于公共空间中，用于为人员提供业务办理功能的终端设备。例如，设置于银行中的自动柜员机、设置于医院中的自助缴费机、设置于机场中的自助报道机、设置于火车站中自助购票机等。

在本发明实施例中，所述终端设备通常可以设置有屏幕，以便为人员展示业务相关信息。一般来说，在所述终端设备出现异常的情况下，所述终端设备的屏幕通常无法正常展示信息。例如，在终端设备出现断电的情况下，所述终端设备的屏幕可以对应出现黑屏的情况。在终端设备出现系统异常的情况下，所述终端设备的屏幕可以对应展示蓝色背景的异常提示信息。

由此，可以采用预设的监控设备监控设置有终端设备的区域，且所述监控设备可以设置于可以拍摄到所述终端设备屏幕位置的方位，从而可以根据所述监控设备采集到的监控图像，确定所述终端设备是否处于正常状态。

其中，所述监控图像中可以包括至少一台终端设备，可以提取所述监控图像中所述终端设备的屏幕区域的图像，得到所述监控图像中至少一台终端设备的屏幕区域图像。

在具体实现中，可以通过目标识别的方式，采用预训练好的目标识别模型，识别所述监控图像中所述终端设备的屏幕区域，从而提取所述监控图像中的屏幕区域图像。

在具体实现中，由于所述监控设备的位置可以是不变的，则所述监控设备可以拍摄到的区域也可以是不变的，因此，也可以通过事先记录所述监控图像中所述终端设备的屏幕区域的坐标信息，在获取所述监控图像后，在所述监控图像中提取所述坐标信息处的图像，得到所述终端设备的屏幕区域图像。

步骤102，将所述终端设备的屏幕区域图像输入预设的第一状态检测模型；

在本发明实施例中，可以将所述终端设备的屏幕区域图像输入预设的第一状态检测模型中，以检测所述终端设备的屏幕显示状态。

其中，所述第一状态检测模型可以为预训练的模型，可以用于对所述屏幕区域图像进行分类，以对所述终端设备的屏幕显示状态进行区分。具体地，所述第一状态检测模型可以将所述屏幕区域图像分类为终端设备的屏幕显示正常的屏幕正常状态，以及终端设备的屏幕显示异常的屏幕异常状态。若所述第一状态检测模型将所述屏幕区域图像分类为屏幕正常状态，则可以认为所述终端设备的屏幕显示正常。若所述第一状态检测模型将所述屏幕区域图像分类为屏幕异常状态，则可以认为所述终端设备的屏幕显示异常。

在具体实现中，可以采用具有第一标注信息的屏幕区域样本对预设的第一待训练模型进行训练，生成第一状态检测模型。其中，所述第一标注信息可以包括屏幕正常状态以及屏幕异常状态。所述预设的第一待训练模型可以为卷积神经网络模型、感知机模型、随机森林模型、支持向量机模型、k-近邻算法模型等，本发明对此不做限制。

步骤103，根据所述第一状态检测模型输出的第一分类信息，确定所述终端设备的运行状态；其中，所述第一分类信息包括屏幕正常状态以及屏幕异常状态。

在本发明实施例中，所述第一状态检测模型可以输出第一分类信息。所述第一分类信息可以包括屏幕正常状态以及屏幕异常状态。可以根据所述第一状态检测模型输出的第一分类信息，得知所述终端设备的屏幕显示状态是否正常，并根据所述屏幕显示状态确定所述终端设备的运行状态是否正常。

在具体实现中，在所述第一状态检测模型输出的第一分类信息为屏幕正常状态的情况下，可以认为所述终端设备的屏幕显示正常，则所述终端设备可以处于正常运行状态。

在所述第一状态检测模型输出的第一分类信息为屏幕异常状态的情况下，可以认为所述终端设备的屏幕显示异常，则所述终端设备可以处于异常运行状态。此时所述终端设备可能出现故障，导致所述屏幕无法正常显示。

通过本发明实施例的终端设备状态检测方法，通过在采集到的监控图像中，提取至少一台终端设备的屏幕区域图像，并将所述终端设备的屏幕区域图像输入预设的第一状态检测模型，根据所述第一状态检测模型输出的第一分类信息，确定所述终端设备的运行状态。从而可以采用所述第一状态检测模型，检测监控图像中的终端设备的屏幕是否正常显示，从而可以确定所述终端设备是否正常运行。实现采用监控图像，对所述终端设备进行自动监控，确保所述终端设备正常运行。

参照图2，示出了本发明的一种终端设备状态检测方法实施例的步骤流程图，具体可以包括如下步骤：

步骤201，在采集到的监控图像中，提取至少一台终端设备的屏幕区域图像；

在本发明实施例中，所述终端设备可以为设置于公共空间中，用于为人员提供业务办理功能的终端设备。所述终端设备通常可以设置有屏幕，以便为人员展示业务相关信息。一般来说，在所述终端设备出现异常的情况下，所述终端设备的屏幕通常无法正常展示信息。例如，在终端设备出现断电的情况下，所述终端设备的屏幕可以对应出现黑屏的情况。在终端设备出现系统异常的情况下，所述终端设备的屏幕可以对应展示蓝色背景的异常提示信息。

由此，可以采用预设的监控设备监控设置有终端设备的区域，且所述监控设备可以设置于可以拍摄到所述终端设备屏幕位置的方位，从而可以根据所述监控设备采集到的监控图像，确定所述终端设备是否处于正常状态。

其中，所述监控图像中可以包括至少一台终端设备，可以提取所述监控图像中所述终端设备的屏幕区域的图像，得到所述监控图像中至少一台终端设备的屏幕区域图像。

在具体实现中，可以通过目标识别的方式，采用预训练好的目标识别模型，识别所述监控图像中所述终端设备的屏幕区域，从而提取所述监控图像中的屏幕区域图像。

在具体实现中，由于所述监控设备的位置可以是不变的，则所述监控设备可以拍摄到的区域也可以是不变的，因此，也可以通过事先记录所述监控图像中所述终端设备的屏幕区域的坐标信息，在获取所述监控图像后，在所述监控图像中提取所述坐标信息处的图像，得到所述终端设备的屏幕区域图像。

在本发明的一种实施例中，所述方法还包括：

s11，采用预设的抽帧频率，在采集到的监控视频，抽取至少一帧监控图像。

在本发明实施例中，所述监控设备可以为视频采集设备。所述监控设备可以采集设备所述终端设备的区域的视频，得到监控视频。所述监控视频可以由多帧监控图像组成。

对于管理监控设备的平台来说，由于所述监控视频所包含的监控图像较多，对所有监控图像皆进行终端设备的运行状态检测需要消耗较多计算资源。且平台除了对所述终端设备进行监控之外，通常还需要处理其他监控任务，从而平台可能被其他监控任务占据了较多的较多计算资源。由此，可以基于管理监控设备的平台的处理能力以及空闲资源，确定一抽帧频率，并采用预设的抽帧频率，在采集到的监控视频中，抽取至少一帧监控图像，用作检测所述终端设备的运行状态，从而可以在一定程度上确保监控终端设备的实时性的同时，合理地控制检测所述终端设备的运行状态所消耗的计算资源。

其中，所述抽帧频率可以根据实际需要进行确定，例如，每1秒抽取4帧、每5秒抽取一帧监控图像、每1分钟抽取一帧监控图像等，本发明对此不做限制。

步骤202，将所述终端设备的屏幕区域图像输入预设的第一状态检测模型；

在本发明实施例中，可以将所述终端设备的屏幕区域图像输入预设的第一状态检测模型中，以检测所述终端设备的屏幕显示状态。

其中，所述第一状态检测模型可以为预训练的模型，用于对所述屏幕区域图像进行分类，以对所述终端设备的屏幕显示状态进行区分。具体地，所述第一状态检测模型可以将所述屏幕区域图像分类为终端设备的屏幕显示正常的屏幕正常状态，以及终端设备的屏幕显示异常的屏幕异常状态。若所述第一状态检测模型将所述屏幕区域图像分类为屏幕正常状态，则可以认为所述终端设备的屏幕显示正常。若所述第一状态检测模型将所述屏幕区域图像分类为屏幕异常状态，则可以认为所述终端设备的屏幕显示异常。

在具体实现中，可以采用具有标注信息的屏幕区域样本对预设的第一待训练模型进行训练，生成第一状态检测模型。其中，所述标注信息可以包括屏幕正常状态以及屏幕异常状态。所述预设的分类模型可以为卷积神经网络模型、感知机模型、随机森林模型、支持向量机模型、k-近邻算法模型等，本发明对此不做限制。

步骤203，在所述第一状态检测模型输出的第一分类信息为屏幕异常状态的情况下，在所述监控图像中，提取所述终端设备的设备环境图像；

在本发明实施例中，所述第一状态检测模型可以输出第一分类信息。所述第一分类信息可以包括屏幕正常状态以及屏幕异常状态。可以根据所述第一状态检测模型输出的第一分类信息，得知所述终端设备的屏幕显示状态是否正常。

在具体实现中，在所述第一状态检测模型输出的第一分类信息为屏幕正常状态的情况下，可以认为所述终端设备的屏幕显示正常，则所述终端设备可以处于正常运行状态。

在所述第一状态检测模型输出的第一分类信息为屏幕异常状态的情况下，可以认为所述终端设备的屏幕显示异常，则所述终端设备可以处于异常运行状态。此时所述终端设备可能出现故障，导致所述屏幕无法正常显示。

在本发明实施例中，在所述第一状态检测模型输出的第一分类信息为屏幕异常状态的情况下，可能存在所述终端设备的屏幕并非显示异常，而只是因为人员操作所述终端设备，导致在所述监控图像中，所述终端设备的屏幕被人员遮挡，从而导致所述第一状态检测模型输出的分类信息为屏幕异常状态。

为了避免所述第一状态检测模型错误判断所述终端设备的运行状态的情况，在所述第一状态检测模型输出的分类信信息为屏幕异常状态的情况下，可以进一步确定所述终端设备的屏幕是否确实出现显示异常。

由此，可以在所述第一状态检测模型输出的第一分类信息为屏幕异常状态的情况下，可以在所述监控图像中，提取包含所述终端设备自身、以及所述终端设备周边环境的设备环境图像，以采用所述设备环境图像确定所述终端设备是否出现被人员遮挡的情况。

在本发明的一种实施例中，所述在所述第一状态检测模型输出的第一分类信息为屏幕异常状态的情况下，在所述监控图像中，提取所述终端设备的设备环境图像的步骤，包括：

s21，在所述第一状态检测模型输出的第一分类信息为屏幕异常状态的情况下，基于预设的外扩比例以及所述屏幕区域图像的尺寸，确定设备环境图像的尺寸；

在本发明实施例中，在所述第一状态检测模型输出的第一分类信息为屏幕异常状态的情况下，可以基于预设的外扩比例以及所述屏幕区域图像的尺寸，确定可以包括终端设备本身以及终端设备周边环境的设备环境图像的尺寸。

其中，所述外扩比例可以根据实际需要，确定一可以使终端设备本身以及终端设备周边环境包括在设备环境图像中的比例，本发明对此不做限制。

s22，根据所述屏幕区域图像在所述监控图像中的位置以及所述设备环境图像的尺寸，在所述监控图像中提取所述设备环境图像。

在本发明实施例中，可以根据所述屏幕区域图像在所述监控图像中的位置，以及所设备环境图像的尺寸，在所述监控图像中提取所述终端设备的设备环境图像，以采用所述设备环境图像，进一步确定所述终端设备是否被人员遮挡。

在具体实现中，可以将所述屏幕区域图像的中心坐标作为所述设备环境图像的中心坐标，并基于所述设备环境图像尺寸，在所述监控图像中提取所述设备环境图像，从而得到的设备环境图像中可以包括终端设备本身以及终端设备周边环境。

步骤204，将所述终端设备的设备环境图像输入预设的第二状态检测模型；

在本发明实施例中，可以将所述终端设备的设备环境图像输入预设的第二状态检测模型中，以检测所述终端设备是否被人员遮挡。

其中，所述第二状态检测模型可以为预训练的模型，可以用于对所述设备环境图像进行分类，以对所述终端设备的周边环境状态进行区分。具体地，所述第二状态检测模型可以将所述设备环境图像分类为有人员遮挡终端设备的人员遮挡状态，或者无人员遮挡设备，而是终端设备环境或终端设备自身存在异常的人员未遮挡状态。若所述第二状态检测模型将所述设备环境图像分类为人员遮挡状态，则可以认为所述终端设备的屏幕被人员遮挡，所述终端设备本身显示正常。若所述第二状态检测模型将所述设备图像分类为人员未遮挡状态，则可以认为所述终端设备的屏幕并未被人员遮挡，而是所述终端设备的周边环境存在异常，或者所述终端设备的屏幕显示异常。

在具体实现中，可以采用具有第二标注信息的设备环境样本对预设的第二待训练模型进行训练，生成第二状态检测模型。其中，所述第二标注信息可以包括人员遮挡状态以及人员未遮挡状态。所述预设的第二待训练模型可以为卷积神经网络模型、感知机模型、随机森林模型、支持向量机模型、k-近邻算法模型等，本发明对此不做限制。

步骤205，根据所述第二状态检测模型输出的第二分类信息，确定所述终端设备的运行状态；其中，所述第二分类信息包括人员遮挡状态以及人员未遮挡状态。

在本发明实施例中，所述第二状态检测模型可以输出第二分类信息，所述第二分类信息可以包括人员遮挡状态以及人员未遮挡状态。可以根据所述第二状态模型输出的第二分类信息，得知所述终端设备是否被人员遮挡，从而确定所述终端设备是否确实存在运行状态异常的情况下。

在具体实现中，若所述第二状态检测模型输出的第二分类信息为人员遮挡状态的情况下，可以认为所述终端设备被人员遮挡。在此情况下，所述终端设备的屏幕可能显示正常，而只是因为所述终端设备被人员遮挡而被第一状态检测模型分类为屏幕异常状态。此时可以认为所述终端设备仍然处于正常运行状态。

若所述第二状态检测模型输出的第二分类信息为人员未遮挡状态的情况下，可以认为所述终端设备并未人员遮挡。在此情况下，所述终端设备可能由于屏幕显示异常而被第一检测分类模型分类为屏幕异常状态，此时可以认为所述终端设备由于出现故障导致屏幕无法正常显示，所述终端设备可以处于异常运行状态。

若所述第二状态检测模型输出的第二分类信息为人员未遮挡状态的情况下，所述终端设备还可能由于周边环境异常而被第一检测分类模型分类为屏幕异常状态。此时所述终端设备的屏幕可以处于屏幕正常状态，也可以处于屏幕异常状态，但由于所述终端设备的周边环境可能存在异常情况，导致人员无法正常使用所述终端设备，从而可以认为所述终端设备同样处于异常运行状态。例如，所述终端设备被非人员的其他物体遮挡，导致人员无法使用所述终端设备，则可以认为此时所述终端设备的周边环境存在异常情况，所述终端设备处于异常运行状态。

在本发明的一种实施例中，所述方法还包括：

s31，在连续的预设数量的监控图像中，确定所述终端设备的运行状态皆为异常运行状态的情况下，发出警报信息。

在本发明实施例中，所述终端设备的运行状态可以包括正常运行状态以及异常运行状态。其中，在所述终端设备的屏幕为屏幕正常状态，或者所述终端设备处于人员遮挡状态的情况下，可以认为所述终端设备处于正常运行状态。在所述终端设备的屏幕为屏幕异常状态，或者所述终端设备的屏幕为屏幕异常状态且所述终端设备处于人员未遮挡状态的情况下，可以认为所述终端设备处于异常运行状态。

在本发明实施例中，在时间顺序上连续的预设数量的监控图像中，若确定所述终端设备的运行状态皆为异常运行状态的情况下，则可以认为所述终端设备有较高的可能性确实发生了故障，从而可以向维护人员发出警报信息，提示维护人员及时对所述终端设备进行维护。

其中，所述预设数量可以根据实际需要进行确定，例如，连续3张监控图像、连续5张监控图像、连续10张监控图像等，本发明对此不做限制。

通过本发明实施例的终端设备状态检测方法，通过在采集到的监控图像中，提取至少一台终端设备的屏幕区域图像，并将所述终端设备的屏幕区域图像输入预设的第一状态检测模型，在所述第一状态检测模型输出的第一分类信息为屏幕异常状态的情况下，在所述监控图像中，提取所述终端设备的设备环境图像，将所述终端设备的设备环境图像输入预设的第二状态检测模型，根据所述第二状态检测模型输出的第二分类信息，确定所述终端设备的运行状态。从而可以采用所述第一状态检测模型，检测监控图像中的终端设备的屏幕是否正常显示，从而可以确定所述终端设备是否正常运行。在所述第一状态检测模型检测所述终端设备的屏幕为异常显示的情况下，可以进一步采用第二状态检测模型确定所述终端设备是否被人员遮挡，以进一步确定所述终端设备是否正常运行，进一步提高对终端设备异常运行状态检测的准确性。实现采用监控图像，对所述终端设备进行自动监控，确保所述终端设备正常运行。

参照图3，示出了本发明的一种终端设备状态检测模型的生成方法实施例的步骤流程图，具体可以包括如下步骤：

步骤301，获取终端设备的屏幕区域样本；其中，所述屏幕区域样本对应具有第一标注信息，所述第一标注信息包括屏幕正常状态以及屏幕异常状态；

在本发明实施例中，为了对预设的第一待训练模型进行训练，可以获取终端设备的屏幕区域的图像，作为屏幕区域样本。所述屏幕区域样本可以具有人工标注的第一标注信息。所述第一标注信息可以包括屏幕正常状态以及屏幕异常状态。

其中，第一标注信息为屏幕正常状态的屏幕区域样本，其可以为所述终端设备正常运行时，所述终端设备的屏幕区域的图像。第一标注信息为屏幕异常状态的屏幕区域样本，其可以为所述终端设备运行异常时，所述终端设备的屏幕区域的图像。

可选地，由于可能存在屏幕区域显示正常，但在所述屏幕区域样本中，所述终端设备的屏幕被人员部分遮挡的情况。由此，可以在第一标注信息为屏幕正常状态的屏幕区域样本中适当添加一定数量的屏幕区域正常但所述终端设备的屏幕被人员部分遮挡的样本。从而可以一定程度上提高分类准确度。

步骤302，采用所述屏幕区域样本以及所述屏幕区域样本对应的第一标注信息，训练预设的第一待训练模型，生成第一状态检测模型。

在本发明实施例中，可以采用所述屏幕区域样本以及所述屏幕区域样本对应的第一标注信息，对预设的第一待训练模型进行训练，生成第一状态检测模型。

其中，所述第一待训练模型可以为可以为卷积神经网络模型如efficientnet网络、感知机模型、随机森林模型、支持向量机模型、k-近邻算法模型等，本发明对此不做限制。

在具体实现中，可以收集预设数量的第一标注信息为屏幕正常状态的屏幕区域样本，以及预设数量的第一标注信息为屏幕异常状态的屏幕区域样本。并将所述屏幕区域样本归一化为尺寸相同且通道数相同的图像。例如，将所述屏幕区域样本归一化为尺寸为300×300，且通道数为3的彩色图像。

可选地，还可以对所述屏幕区域样本进行亮度调整、清晰度调整，以获取更多在不同情况下的屏幕区域样本。

其后，可以将所述屏幕区域样本作为模型的输入，将所述第一标注信息作为模型的输出，训练预设的第一待训练模型，从而生成第一状态检测模型。

作为本发明的一种示例，在所述第一待训练模型的为卷积神经网络模型的情况下，可以采用深度学习框架如tensorflow框架构建第一待训练模型，并将将所述屏幕区域样本作为模型的输入，将所述第一标注信息作为模型的输出，训练所述第一待训练模型。在训练过程中，可以设置初始学习率为0.001，每预设轮次后学习率衰减十分之一，并采用自适应矩估计(adam)优化器对模型参数进行调整，使模型收敛，最后得到训练完成的第一待训练模型，作为第一状态检测模型。

在本发明的一种实施例中，所述方法还包括：

s41，获取终端设备的设备环境样本；其中，所述设备环境样本对应具有第二标注信息，所述第二标注信息包括人员遮挡状态以及人员未遮挡状态；

在本发明实施例中，在所述第一状态检测模型输出的第一分类信息为屏幕异常状态的情况下，可能存在所述终端设备的屏幕并非显示异常，而只是因为人员操作所述终端设备，导致在所述监控图像中，所述终端设备的屏幕被人员遮挡，从而导致所述第一状态检测模型输出的分类信息为屏幕异常状态。

为了避免所述第一状态检测模型错误判断所述终端设备的运行状态的情况，可以训练一第二状态检测模型，在所述第一状态检测模型输出的第一分类信息为屏幕异常状态时，可以采用所述第二状态检测模型对所述设备环境图像进行检测，识别是否存在人员部分遮挡所述终端设备，或者人员全部遮挡所述终端设备的情况

由此，获取包含终端设备自身以及所述终端设备周边环境的图像，作为终端设备的设备环境样本，以对第二待训练模型进行训练，得到第二状态检测模型。

在本发明实施例中，所述设备环境样本可以具有人工标注的第二标注信息。所述第二标注信息可以包括人员遮挡状态以及人员未遮挡状态。

其中，第二标注信息为人员遮挡状态的设备环境样本，其可以为所述终端设备正常运行，且所述终端设备被人员部分遮挡或者被人员全部遮挡的设备环境图像。所述第二标注信息为人员未遮挡状态的设备环境样本，其可以为所述终端设备异常运行的设备环境图像，以及所述终端设备异常运行且所述终端设备被非人员的其他物体部分遮挡或者全部遮挡的设备环境图像。

s42，采用所述设备环境图像样本以及所述设备环境图像样本对应的第二标注信息，训练预设的第二待训练模型，生成第二状态检测模型。

在本发明实施例中，可以采用所述设备环境图像样本以及所述设备环境图像样本对应的第二标注信息，对预设的第二待训练模型进行训练，生成第二状态检测模型。

其中，所述第二待训练模型可以为可以为卷积神经网络模型如efficientnet网络、感知机模型、随机森林模型、支持向量机模型、k-近邻算法模型等，本发明对此不做限制。

在具体实现中，可以收集预设数量的第二标注信息为人员遮挡状态的设备环境样本，以及预设数量的第二标注信息为人员未遮挡状态的设备环境样本。并将所述设备环境样本归一化为尺寸相同且通道数相同的图像。例如，将所述设备环境样本归一化为尺寸为300×300，且通道数为3的彩色图像。

可选地，还可以对所述设备环境样本进行亮度调整、清晰度调整，以获取更多在不同情况下的设备环境样本。

其后，可以将所述设备环境样本作为模型的输入，将所述第二标注信息作为模型的输出，训练预设的第二待训练模型，从而生成第二状态检测模型。

作为本发明的一种示例，在所述第二待训练模型的为卷积神经网络模型的情况下，可以采用深度学习框架如tensorflow框架构建第二待训练模型，并将将所述设备环境样本作为模型的输入，将所述第二标注信息作为模型的输出，训练所述第二待训练模型。在训练过程中，可以设置初始学习率为0.001，每预设轮次后学习率衰减十分之一，并采用自适应矩估计(adam)优化器对模型参数进行调整，使模型收敛，最后得到训练完成的第二待训练模型，作为第二状态检测模型。

通过本发明实施例的终端设备状态检测模型的生成方法，采用所述屏幕区域样本以及所述屏幕区域样本对应的第一标注信息，训练预设的第一待训练模型，生成第一状态检测模型。从而可以采用所述第一状态检测模型检测所述终端设备的屏幕是否正常显示，并根据所述设备屏幕的显示状态确定所述终端设备是否正常运行。同时，采用所述设备环境图像样本以及所述设备环境图像样本对应的第二标注信息，训练预设的第二待训练模型，生成第二状态检测模型。从而在第一状态检测模型检测所述终端设备为屏幕异常状态的情况下，可以采用第二状态检测模型检测所述终端设备是否被人员遮挡，进一步提高检测所述终端设备是否正常运行的准确性。

需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。

参照图4，示出了本发明的一种终端设备状态检测装置实施例的结构框图，具体可以包括如下模块：

屏幕提取模块401，用于在采集到的监控图像中，提取至少一台终端设备的屏幕区域图像；

屏幕检测模块402，用于将所述终端设备的屏幕区域图像输入预设的第一状态检测模型；

状态确定模块403，用于根据所述第一状态检测模型输出的第一分类信息，确定所述终端设备的运行状态；其中，所述第一分类信息包括屏幕正常状态以及屏幕异常状态。

可选地，所述状态确定模块403包括：

环境提取子模块，用于在所述第一状态检测模型输出的第一分类信息为屏幕异常状态的情况下，在所述监控图像中，提取所述终端设备的设备环境图像；

环境检测子模块，用于将所述终端设备的设备环境图像输入预设的第二状态检测模型；

状态确定子模块，用于根据所述第二状态检测模型输出的第二分类信息，确定所述终端设备的运行状态；其中，所述第二分类信息包括人员遮挡状态以及人员未遮挡状态。

在本发明一种实施例中，所述环境提取子模块包括：

尺寸确定单元，用于在所述第一状态检测模型输出的第一分类信息为屏幕异常状态的情况下，基于预设的外扩比例以及所述屏幕区域图像的尺寸，确定设备环境图像的尺寸；

环境提取单元，用于根据所述屏幕区域图像在所述监控图像中的位置以及所述设备环境图像的尺寸，在所述监控图像中提取所述设备环境图像。

在本发明一种实施例中，所述装置还包括：

图像抽取模块，用于采用预设的抽帧频率，在采集到的监控视频，抽取至少一帧监控图像。

在本发明一种实施例中，所述终端设备的运行状态包括正常运行状态以及异常运行状态；

所述装置还包括：

警报模块，用于在连续的预设数量的监控图像中，确定所述终端设备的运行状态皆为异常运行状态的情况下，发出警报信息。

参照图5，示出了本发明的一种终端设备状态检测模型的生成装置实施例的结构框图，具体可以包括如下模块：

第一样本获取模块501，用于获取终端设备的屏幕区域样本；其中，所述屏幕区域样本对应具有第一标注信息，所述第一标注信息包括屏幕正常状态以及屏幕异常状态；

第一训练模块502，用于采用所述屏幕区域样本以及所述屏幕区域样本对应的第一标注信息，训练预设的第一待训练模型，生成第一状态检测模型。

在本发明一种实施例中，所述装置还包括：

第一样本获取模块，用于获取终端设备的设备环境样本；其中，所述设备环境样本对应具有第二标注信息，所述第二标注信息包括人员遮挡状态以及人员未遮挡状态；

第二训练模块，用于采用所述设备环境图像样本以及所述设备环境图像样本对应的第二标注信息，训练预设的第二待训练模型，生成第二状态检测模型。

对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本发明实施例还提供了一种装置，包括：

一个或多个处理器；和

其上存储有指令的一个或多个机器可读介质，当由所述一个或多个处理器执行时，使得所述装置执行本发明实施例所述的方法。

本发明实施例还提供了一个或多个机器可读介质，其上存储有指令，当由一个或多个处理器执行时，使得所述处理器执行本发明实施例所述的方法。

本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

本领域内的技术人员应明白，本发明实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。

本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。

以上对本发明所提供的一种终端设备状态检测方法、一种终端设备状态检测模型的生成方法、一种终端设备状态检测装置、以及一种终端设备状态检测模型的生成装置，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。