一种目标行为检测方法及服务器与流程

本发明涉及图像处理技术领域，具体涉及一种目标行为检测方法及服务器。

背景技术

视频监控系统可以用来采集信息和数据。传统技术中，一般采用人工观测的方式发现图像或视频中的不合规行为。在公共场合或工作场地，视频监控系统的部署十分广泛，数量众多，这就使得通过视频监控系统采集得到的图像或视频数据越来越多。传统的人工监控方式已远远无法满足日常监控及目标行为监测的需要。计算机视觉技术可以在一定程度上代替人眼，实现对监控图像或视频的智能化自动监控。但现有的计算机视觉技术在目标行为检测方面存在算法复杂、计算速度较慢以及算法准确度较低等问题，很难满足复杂背景下对目标行为进行实时检测的需要。

技术实现要素：

有鉴于此，本发明实施例提供了一种目标行为检测方法及服务器，以解决现有技术在目标行为检测方面存在的算法复杂、计算速度较慢以及算法准确度较低的问题。

根据第一方面，本发明实施例提供了一种目标行为检测方法，包括：获取场景图像，并识别所述场景图像中的第一目标和第二目标；获取所述第一目标的第一位置数据以及所述第二目标的第二位置数据；根据所述第一位置数据以及所述第二位置数据，计算所述第一目标与所述第二目标之间的关联度值；根据所述关联度值确定关联目标对；所述关联目标对包括一所述第一目标和一所述第二目标；在所述场景图像中提取包括所述关联目标对在内的目标图像。

本发明实施例提供的目标行为检测方法，首先识别视频监控系统采集的场景图像中的多个监控目标，包括第一目标和第二目标，将所有监控目标作为备选目标集；然后再根据第一目标和第二目标之间的相对位置信息计算目标的关联度值；最后根据关联目标对在场景图像中的位置输出目标行为检测结果，即目标图像。经实验证实，本发明实施例提供的目标行为检测方法能够适用于复杂背景环境下，如营业厅等公共场合的多目标行为检测，检测结构具有较为优异的鲁棒性，对外界环境及场景图像的拍摄角度等约束较少，取得了较高的目标行为检测准确度。本发明实施例提供的目标行为检测方法，将目标行为检测简化为目标识别和目标关联两个问题，降低了算法复杂度，从而提高了计算速度，使得本发明实施例提供的目标行为检测方法能够满足实时检测的需要。

结合第一方面，在第一方面第一实施方式中，获取所述第一目标的第一位置数据以及所述第二目标的第二位置数据，包括：确定所述第一目标的第一特征点在所述场景图像中的第一像素位置，以及所述第二目标的第二特征点在所述场景图像中的第二像素位置；根据所述第一像素位置的坐标确定所述第一目标的第一位置数据，根据所述第二像素位置的坐标确定所述第二目标的第二位置数据。

本发明实施例提供的目标行为检测方法，通过分别在第一目标和第二目标中设置特征点的方式，确定第一目标和第二目标的位置数据，保证了位置数据的可靠性。

结合第一方面第一实施方式，在第一方面第二实施方式中，所述第一目标的第一特征点包括所述第一目标的左上顶点、中心点和右下顶点，所述第二目标的第二特征点包括所述第二目标的中心点；根据以下公式计算所述第一目标与所述第二目标之间的关联度值：

其中，pi表示第i个第一目标，i＝1，2，…，n，n表示第一目标的数量；oj表示第j个第二目标，j＝1，2，…，m，m表示第二目标的数量；表示第一目标pi和第二目标oj之间的关联度值；(pi^xl，pi^yl)表示第一目标pi的左上顶点坐标；(pi^xc，pi^yc)表示第一目标pi的中心点坐标；(pi^xr，pi^yr)表示第一目标pi的右下顶点坐标；表示第二目标oj的中心点坐标。

本发明实施例提供的目标行为检测方法，通过第一目标的左上顶点坐标、中心点坐标和右下顶点坐标，以及第二目标的中心点坐标，计算得到第一目标与第二目标之间的关联度值，计算公式较为简洁，从而提高了计算速度。

结合第一方面第二实施方式，在第一方面第三实施方式中，根据所述关联度值确定关联目标对，包括：统计计算得到的同一所述第二目标与各所述第一目标之间的关联度值；对各所述关联度值进行排序，得到各所述关联度值中的最小值；确定所述最小值对应的所述第二目标与所述第一目标为关联目标对。

本发明实施例提供的目标行为检测方法，由于对同一第二目标对应的各个关联度值进行排序，进而根据排序结果确定与该第二目标关联的第一目标，将该第二目标和与其关联的第一目标作为一对关联目标对，从而保证每一个第二目标都能组建形成一对关联目标对，以避免关联目标对的漏检，从而提高目标行为检测的准确度。

结合第一方面，在第一方面第四实施方式中，在所述场景图像中提取包括所述关联目标对在内的目标图像，包括：将包含同一所述第一目标的各个关联目标对合并，形成融合目标对组；根据所述融合目标对组在所述场景图像中确定目标图像的范围；根据所述目标图像的范围在所述场景图像中提取目标图像。

本发明实施例提供的目标行为检测方法，通过将关联目标对合并，减少了多目标检测下获得的目标图像的数量，使得目标行为的检测结果能够方便地呈现给用户。

结合第一方面第四实施方式，在第一方面第五实施方式中，所述第一目标的第一特征点包括所述第一目标的左上顶点和右下顶点，所述第二目标的第二特征点包括所述第二目标的左上顶点和右下顶点；根据以下公式在所述场景图像中确定目标图像的范围：

其中，(out^xl，out^yl)表示所述目标图像的左上顶点坐标，(out^xr，out^yr)表示所述目标图像的右下顶点坐标；(pi^xl，pi^yl)表示所述融合目标对组中第一目标pi的左上顶点坐标，(pi^xr，pi^yr)表示所述融合目标对组中第一目标pi的右下顶点坐标；表示所述融合目标对组中第二目标ok的左上顶点坐标，表示所述融合目标对组中第二目标ok的右下顶点坐标，k＝1，2，…，k，k表示构成所述融合目标对组的各个第二目标的数量。

本发明实施例提供的目标行为检测方法，通过融合目标对组中第一目标的左上顶点坐标和融合目标对组中各个第二目标的左上顶点坐标，计算得到目标图像的左上顶点坐标；通过融合目标对组中第一目标的右下顶点坐标和融合目标对组中各个第二目标的右下顶点坐标，计算得到目标图像的右下顶点坐标，计算公式较为简洁，从而提高了计算速度。

结合第一方面或第一方面第一至第五实施方式中的任一项实施方式，在第一方面第六实施方式中，在所述场景图像中提取包括所述关联目标对在内的目标图像的步骤之后，所述目标行为检测方法还包括：输出所述目标图像。

本发明实施例提供的目标行为检测方法，通过输出目标行为检测结果，即输出目标图像，帮助用户直接掌握目标行为，对于违规行为可以及时进行核实和纠正。

结合第一方面或第一方面任一实施方式，在第一方面第七实施方式中，识别所场景图像中的第一目标和第二目标，包括：根据预设的目标识别模型识别所述场景图像中的第一目标和第二目标。

本发明实施例提供的目标行为检测方法，由于使用预设的目标识别模型对场景图像进行目标识别，使得每一次目标识别的准确度能够保持大致相同的水平，避免因目标识别的失误造成对目标行为的漏检。

结合第一方面第七实施方式，在第一方面第八实施方式中，构建所述预设的目标识别模型，包括：采集分别包含所述第一目标和所述第二目标的图像样本；根据所述图像样本构建预设的目标识别模型。

本发明实施例提供的目标行为检测方法，由于使用包含第一目标或第二目标的图像样本对目标识别模型进行训练和优化，使得目标识别模型的识别准确度可控，从而避免目标行为检测的准确度出现较大波动，有利于提高目标行为检测的可靠性。

根据第二方面，本发明实施例提供了一种服务器，包括：目标识别单元，用于获取场景图像并识别所述场景图像中的第一目标和第二目标；位置数据获取单元，用于获取所述第一目标的第一位置数据以及所述第二目标的第二位置数据；关联度计算单元，用于根据所述第一位置数据以及所述第二位置数据，计算所述第一目标与所述第二目标之间的关联度值；目标对确定单元，用于根据所述关联度值确定关联目标对；所述关联目标对包括一所述第一目标和一所述第二目标；目标图像提取单元，用于在所述场景图像中提取包括所述关联目标对在内的目标图像。

根据第三方面，本发明实施例提供了一种服务器，包括：存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行第一方面或者第一方面的任意一种实施方式中所述的目标行为检测方法。

根据第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行第一方面或者第一方面的任意一种实施方式中所述的目标行为检测方法。

附图说明

通过参考附图会更加清楚的理解本发明的特征和优点，附图是示意性的而不应理解为对本发明进行任何限制，在附图中：

图1示出了本发明实施例中的一种目标行为检测方法的一个具体示例的流程图；

图2示出了构建预设的目标识别模型的一个具体示例的流程图；

图3示出了本发明实施例中一种目标行为检测方法中实现步骤s102获取第一目标的第一位置数据以及第二目标的第二位置数据的一个具体示例的流程图；

图4示出了本发明实施例中一种目标行为检测方法中实现步骤s104根据关联度值确定关联目标对的一个具体示例的流程图；

图5示出了本发明实施例中一种目标行为检测方法中实现步骤s105在场景图像中提取包括所关联目标对在内的目标图像的一个具体示例的流程图；

图6示出了本发明实施例中的另一种目标行为检测方法的一个具体示例的流程图；

图7示出了本发明实施例中的一种服务器的一个具体示例的流程图；

图8示出了本发明实施例中的另一种服务器的一个具体示例的流程图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例还提供一种目标行为检测方法，如图1所示，该目标行为检测方法可以包括以下步骤：

步骤s101：获取场景图像并识别场景图像中的第一目标和第二目标。在一具体实施方式中，可以根据预设的目标识别模型识别场景图像中的第一目标和第二目标。具体的，如图2所示，可以通过以下几个步骤构建预设的目标识别模型：

步骤s201：采集分别包含第一目标和第二目标的图像样本。在实际应用中，第一目标可以是人员目标，例如身着统一制服的营业厅柜员，或身着工作服的生产车间工人；对应的，包含第一目标的图像样本即人员照片。第二目标可以是与人员违规行为相对应的各种违规物品，例如手机或点燃的香烟等；对应的，包含第二目标的图像样本即上述各种违规物品的照片。

步骤s202：根据图像样本构建预设的目标识别模型。具体的，可以使用图像样本对目标识别模型进行训练，以不断优化目标识别模型。在一具体实施方式中，可以使用yolo(youonlylookonce，简称yolo)模型作为预设的目标识别模型。

步骤s102：获取第一目标的第一位置数据以及第二目标的第二位置数据。在一具体实施方式中，如图3所示，可以通过以下几个子步骤实现步骤s102获取第一目标的第一位置数据以及第二目标的第二位置数据：

步骤s1021：确定第一目标的第一特征点在场景图像中的第一像素位置，以及第二目标的第二特征点在场景图像中的第二像素位置。第一特征点在场景图像中的第一像素位置能够表征第一目标的位置，第二特征点在场景图像中的第二像素位置能够表征第二目标的位置。具体的，第一目标的第一特征点可以包括第一目标的左上顶点、中心点和右下顶点，第二目标的第二特征点可以包括第二目标的左上顶点、中心点和右下顶点。

步骤s1022：根据第一像素位置的坐标确定第一目标的第一位置数据，根据第二像素位置的坐标确定第二目标的第二位置数据。为了获取各个像素的坐标信息，可以在场景图像上构建坐标系，这样场景图像上每个像素的坐标均能够很方便的被采集上来。在一具体实施方式中，第一目标的左上顶点、中心点和右下顶点对应的三个像素的坐标，构成了第一位置数据；同样的，第二目标的左上顶点、中心点和右下顶点对应的三个像素的坐标，构成了第二位置数据。

步骤s103：根据第一位置数据以及第二位置数据计算第一目标与第二目标之间的关联度值。可以根据以下公式(1)计算第一目标与第二目标之间的关联度值：

其中，pi表示第i个第一目标，i＝1，2，…，n，n表示第一目标的数量；oj表示第j个第二目标，j＝1，2，…，m，m表示第二目标的数量；表示第一目标pi和第二目标oj之间的关联度值；(pi^xl，pi^yl)表示第一目标pi的左上顶点坐标；(pi^xc，pi^yc)表示第一目标pi的中心点坐标；(pi^xr，pi^yr)表示第一目标pi的右下顶点坐标；表示第二目标oj的中心点坐标。

步骤s104：根据关联度值确定关联目标对。关联目标对包括一第一目标和一第二目标。当场景图像中包含多个目标时，具体的，当场景图像中包含多个第二目标时，为保证每一个第二目标都能组建形成一对关联目标对，从而避免关联目标对的漏检，如图4所示，可以通过以下几个子步骤实现步骤s104根据关联度值确定关联目标对：

步骤s1041：统计计算得到的同一第二目标与各第一目标之间的关联度值。在一幅实际场景图像中，包含三个人员目标和两个手机目标，即包含三个第一目标p1、p2和p3，以及两个第二目标o1和o2。可以分别计算第二目标o1与第一目标p1、p2和p3之间的关联度值和将关联度值和编为一组。同样的，还可以分别计算第二目标o2与第一目标p1、p2和p3之间的关联度值和将关联度值和编为另一组。

步骤s1042：对各关联度值进行排序，得到各关联度值中的最小值。可以对关联度值和构成的一组关联度进行冒泡排序，以确定其中的最小值。同样的，对关联度值和构成的另一组关联度进行冒泡排序，以确定其中的最小值。

步骤s1043：确定最小值对应的第二目标与第一目标为关联目标对。当关联度值和中的最小值为时，可以确定第一目标p2和第二目标o1为一对关联目标对<p2，o1>。同样的，当关联度值和中的最小值为时，可以确定第一目标p2和第二目标o2为一对关联目标对<p2，o2>。通过上述步骤s1041至步骤s1043，可以为每一个第二目标筛选出与其关联的第一目标，即为每一个违规物品找到与其关联的人员。

步骤s105：在场景图像中提取包括关联目标对在内的目标图像。场景图像一般尺寸较大，除了各个第一目标和第二目标以外，还会包含大量无关内容，例如等候办理业务的群众、办公桌椅和墙面装饰等。为了使用户能够快速掌握目标行为检测的结果，需要在场景图像中提取包括关联目标对在内的目标图像，以目标图像作为目标行为检测的结果。在一具体实施方式中，如图5所示，可以通过以下几个子步骤实现步骤s105在场景图像中提取包括所关联目标对在内的目标图像：

步骤s1051：将包含同一第一目标的各个关联目标对合并，形成融合目标对组。对于上述包含三个第一目标p1、p2和p3，以及两个第二目标o1和o2的实际场景图像，由于关联目标对<p2，o1>和<p2，o2>中均包含同一第一目标p2，可以将关联目标对<p2，o1>和<p2，o2>合并以形成融合目标对组<p2，o1，o2>。

步骤s1052：根据融合目标对组在场景图像中确定目标图像的范围。具体的，可以根据以下公式(2)和公式(3)在场景图像中确定目标图像的范围：

其中，(out^xl，out^yl)表示目标图像的左上顶点坐标，(out^xr，out^yr表示目标图像的右下顶点坐标；(pi^xl，pi^yl)表示融合目标对组中第一目标pi的左上顶点坐标，(pi^xr，pi^yr)表示融合目标对组中第一目标pi的右下顶点坐标；表示融合目标对组中第二目标ok的左上顶点坐标，表示融合目标对组中第二目标ok的右下顶点坐标，k＝1，2，…，k，k表示构成融合目标对组的各个第二目标的数量。

将融合目标对组<p2，o1，o2>代入公式(2)和公式(3)，可以得到目标图像的左上顶点坐标以及目标图像的右下顶点坐标

步骤s1053：根据目标图像的范围在场景图像中提取目标图像。将目标图像的左上顶点坐标(out^xl，out^yl)和右下顶点坐标(out^xr，out^yr)为对角线，该对角线限定的矩形范围即目标图像的范围，在场景图像中提取该矩形，得到的图像即目标图像。目标图像可以作为目标行为检测的结果。由于场景图像中常常包含多个第一目标，使得目标图像的数量不一定为一，可以根据实际目标行为检测的结果提取多个目标图像。

可选的，如图6所示，在步骤s105之后，还可以增设以下步骤：

步骤s106：输出目标图像。

本发明实施例提供的目标行为检测方法，首先识别视频监控系统采集的场景图像中的多个监控目标，包括第一目标和第二目标，将所有监控目标作为备选目标集；然后再根据第一目标和第二目标之间的相对位置信息计算目标的关联度值；最后根据关联目标对在场景图像中的位置输出目标行为检测结果，即目标图像。经实验证实，本发明实施例提供的目标行为检测方法能够适用于复杂背景环境下，如营业厅等公共场合的多目标行为检测，检测结构具有较为优异的鲁棒性，对外界环境及场景图像的拍摄角度等约束较少，取得了较高的目标行为检测准确度。本发明实施例提供的目标行为检测方法，将目标行为检测简化为目标识别和目标关联两个问题，降低了算法复杂度，从而提高了计算速度，使得本发明实施例提供的目标行为检测方法能够满足实时检测的需要。

本发明实施例还提供了一种服务器，如图7所示，该服务器可以包括：目标识别单元701、位置数据获取单元702、关联度计算单元703、目标对确定单元704和目标图像提取单元705。

其中，目标识别单元701用于获取场景图像并识别场景图像中的第一目标和第二目标；详细内容参考步骤s101所述。

位置数据获取单元702用于获取第一目标的第一位置数据以及第二目标的第二位置数据；详细内容参考步骤s102所述。

关联度计算单元703用于根据第一位置数据以及第二位置数据，计算第一目标与第二目标之间的关联度值；详细内容参考步骤s103所述。

目标对确定单元704用于根据关联度值确定关联目标对；关联目标对包括一所述第一目标和一所述第二目标；详细内容参考步骤s104所述。

目标图像提取单元705用于在场景图像中提取包括关联目标对在内的目标图像；详细内容参考步骤s105所述。

本发明实施例还提供了一种服务器，如图8所示，该服务器可以包括处理器801和存储器802，其中处理器801和存储器802可以通过总线或者其他方式连接，图8中以通过总线连接为例。

处理器801可以为中央处理器(centralprocessingunit，cpu)。处理器801还可以为其他通用处理器、数字信号处理器(digitalsignalprocessor，dsp)、专用集成电路(applicationspecificintegratedcircuit，asic)、现场可编程门阵列(field-programmablegatearray，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。

存储器802作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块，如本发明实施例中的目标行为检测方法对应的程序指令/模块(例如，图7所示的目标识别单元701、位置数据获取单元702、关联度计算单元703、目标对确定单元704和目标图像提取单元705)。处理器801通过运行存储在存储器802中的非暂态软件程序、指令以及模块，从而执行处理器的各种功能应用以及数据处理，即实现上述方法实施例中的目标行为检测方法。

存储器802可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储处理器801所创建的数据等。此外，存储器802可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器802可选包括相对于处理器801远程设置的存储器，这些远程存储器可以通过网络连接至处理器801。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

所述一个或者多个模块存储在所述存储器802中，当被所述处理器801执行时，执行如图1-6所示实施例中的目标行为检测方法。

上述服务器具体细节可以对应参阅图1至图6所示的实施例中对应的相关描述和效果进行理解，此处不再赘述。

本领域技术人员可以理解，实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述存储介质可为磁碟、光盘、只读存储记忆体(read-onlymemory，rom)、随机存储记忆体(randomaccessmemory，ram)、快闪存储器(flashmemory)、硬盘(harddiskdrive，缩写：hdd)或固态硬盘(solid-statedrive，ssd)等；所述存储介质还可以包括上述种类的存储器的组合。

虽然结合附图描述了本发明的实施例，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下作出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。