货位状态检测方法、装置、设备以及介质与流程

1.本技术涉及人工智能技术领域，尤其涉及一种货位状态检测方法、装置、设备以及介质。


背景技术：

2.在工厂的信息化管理过程中，检测工厂中的货位存放状态是必不可少的一个环节。目前的货位检测技术可以使用射频识别(radio frequency identification，rfid)技术，通过射频识别技术可以识别货位上配有射频卡的物品，如通过射频识别技术识别出某货位上存在配有射频卡的物品时，表明该货位上已经放置有物品。然而，当工厂中的部分货位放置了未配有射频卡的物品，还有部分货位没有放置任何物品时，使用射频识别技术是无法检测出上述货位的存放状态的，这就需要采用其余的方式对上述货位进行检测，或者采用人工方式获取货位的存放状态，造成货位检测效率过低。
3.此外，目前的货位检测技术还可以使用视觉传感器，通过在工厂中的每个货位上安装视觉传感器，一个视觉传感器对应一个对应的货位，冗余的视频传感器增加了货位检测的成本；并且，当工厂中的任意一个货位位置发生变化时，该货位所对应的视觉传感器也需要重新部署，操作繁琐，导致或未检测的效率过低。


技术实现要素：

4.本技术实施例提供一种货位状态检测方法、装置、设备以及介质，可以减少货位状态检测成本，并提高货位状态检测效率。
5.本技术实施例一方面提供了一种货位状态检测方法，包括：
6.从监控设备所拍摄的监控视频中获取目标视频帧，获取与监控设备相关联的货位标识信息；货位标识信息包括m个货位分别在监控视频中的顶点像素坐标，m为正整数；
7.根据货位标识信息所包含的m个货位分别对应的顶点像素坐标，从目标视频帧中获取m个货位剪裁图像，对m个货位剪裁图像所包含的货位进行位置矫正，得到m个货位区域图像；
8.获取m个货位区域图像分别对应的货位区域特征，根据货位区域特征确定目标视频帧中的m个货位分别对应的目标货位状态；目标货位状态用于指示m个货位的物品占用情况。
9.本技术实施例一方面提供了一种货位状态检测装置，包括：
10.第一获取模块，用于从监控设备所拍摄的监控视频中获取目标视频帧，获取与监控设备相关联的货位标识信息；货位标识信息包括m个货位分别在监控视频中的顶点像素坐标，m为正整数；
11.货位剪裁模块，用于根据货位标识信息所包含的m个货位分别对应的顶点像素坐标，从目标视频帧中获取m个货位剪裁图像，对m个货位剪裁图像所包含的货位进行位置矫正，得到m个货位区域图像；
12.货位检测模块，用于获取m个货位区域图像分别对应的货位区域特征，根据货位区域特征确定目标视频帧中的m个货位分别对应的目标货位状态；目标货位状态用于指示m个货位的物品占用情况。
13.其中，目标货位状态包括占用状态；
14.该装置还包括：
15.货位对确定模块，用于若m个货位中存在具有相邻位置关系的两个货位的目标货位状态均为占用状态，则将两个货位确定为目标货位对；
16.物品检测模块，用于在目标视频帧中获取包含目标货位对的待检测区域图像，对待检测区域图像进行物品检测，得到待检测区域图像对应的物品检测结果；
17.异常提示模块，用于当物品检测结果为物品重叠结果时，生成针对目标货位对的异常提示信息；物品重叠结果用于表征目标货位对被同一个物品所占用。
18.其中，物品检测模块包括：
19.区域剪裁单元，用于根据目标货位对所对应的顶点像素坐标，在目标视频帧中确定目标货位对关联的剪裁区域，将剪裁区域所覆盖的像素点确定为待检测区域图像；
20.物体形状确定单元，用于获取待检测区域图像中的物品边缘特征，根据物品边缘特征确定待检测区域图像中的物品边缘形状；
21.货位形状确定单元，用于根据目标货位对中的每个货位分别对应的顶点像素坐标，确定目标货位对中的每个货位分别对应的货位边缘形状；
22.物品检测结果确定单元，用于当物品边缘形状与目标货位对中的每个货位所对应的货位边缘形状均存在重叠区域时，确定待检测区域图像对应的物品检测结果为物品重叠结果。
23.其中，第一获取模块包括：
24.分帧处理单元，用于获取监控设备所拍摄的监控视频，对监控视频进行分帧处理，得到监控视频对应的视频帧序列；
25.背景模板获取单元，用于获取监控设备对应的n个背景模板，以及n个背景模板分别对应的适用时间范围；n个背景模板是对监控设备在不同时间段内所拍摄的图像的背景进行建模得到的，n为正整数；
26.视频帧抽取单元，用于当第i个视频帧的拍摄时间属于第j个背景模板对应的适用时间范围，且第i个视频帧与第j个背景模板不一致时，将第i个视频帧确定为目标视频帧；第i个视频帧属于视频帧序列，第j个背景模板属于n个背景模板，i为小于或等于视频帧序列中的视频帧数量的正整数，j为小于或等于n的正整数。
27.其中，货位剪裁模块包括：
28.矩形区域确定单元，用于在货位标识信息中，获取m个货位中的第k个货位对应的顶点像素坐标，根据第k个货位的顶点像素坐标，在目标视频帧中确定目标矩形区域；k为小于或等于m的正整数；
29.视频帧分割单元，用于根据目标矩形区域对目标视频帧进行分割，得到包含目标矩形区域所覆盖的像素点的第k个货位剪裁图像；第k个货位剪裁图像属于m个货位剪裁图像；
30.位置矫正单元，用于根据第k个货位对应的顶点像素坐标，确定第k个货位剪裁图
像对应的位置变换矩阵，基于位置变换矩阵对第k个货位剪裁图像进行位置矫正，得到第k个货位对应的货位区域图像。
31.其中，该装置还包括：
32.第二获取模块，用于获取第k个货位对应的物理空间坐标信息，以及获取监控设备对应的设备外参和设备内参；设备外参用于表征监控设备在物理空间中的位置，设备内参由光学中心和监控设备的焦距所确定；
33.顶点坐标确定模块，用于根据物理空间坐标信息、设备外参以及设备内参，确定第k个货位对应的顶点像素坐标；
34.货位标识生成模块，用于根据第k个货位所对应的顶点像素坐标与第k个货位之间的对应关系，生成监控设备对应的货位标识信息。
35.其中，货位检测模块包括：
36.第一特征提取单元，用于将m个货位区域图像中的第k个货位区域图像划分为l个图像块，获取l个图像块分别对应的局部区域特征；k为小于或等于m的正整数，l为正整数；
37.特征串联单元，用于将l个图像块分别对应的局部区域特征进行串联，得到第k个货位区域图像对应的货位区域特征；
38.第一分类单元，用于将第k个货位区域图像对应的货位区域特征输入至第一分类器，在第一分类器中对第k个货位区域图像的货位区域特征进行识别，得到第k个货位区域图像中的货位所对应的目标货位状态。
39.其中，第一特征提取单元包括：
40.图像划分子单元，用于对m个货位区域图像中的第k个货位区域图像所包含的像素点进行划分，得到图像单元集合；图像单元集合中的每个图像单元所包含的像素点数量是相同的；
41.梯度直方图统计子单元，用于根据每个图像单元中所包含的像素点的梯度，统计图像单元集合中的每个图像单元分别对应的梯度直方图；
42.局部特征获取子单元，用于对图像单元集合中的图像单元进行图像块组合，得到l个图像块，将第d个图像块中的图像单元所对应的梯度直方图进行串联，得到第d个图像块对应的局部区域特征；第d个图像块属于l个图像块，d为小于或等于l的正整数。
43.其中，第一分类单元包括：
44.预测距离确定子单元，用于将第k个货位区域图像对应的货位区域特征输入至第一分类器，在第一分类器中确定分类超平面与第k个货位区域图像对应的货位区域特征之间的预测距离；
45.货位状态确定子单元，用于若预测距离大于分类阈值，则确定第k个货位区域图像中的货位所对应的目标货位状态为占用状态；
46.上述货位状态确定子单元，还用于若预测距离小于分类阈值，则确定第k个货位区域图像中的货位所对应的目标货位状态为空闲状态。
47.其中，货位检测模块包括：
48.第二特征提取单元，用于将m个货位区域图像中的第k个货位区域图像输入至图像识别模型，在图像识别模型中获取第k个货位区域图像对应的货位区域特征；
49.匹配度获取单元，用于通过图像识别模型中的第二分类器，获取占用属性特征和
第k个货位区域图像所对应的货位区域特征之间的第一匹配度，以及空闲属性特征和第k个货位区域图像所对应的货位区域特征之间的第二匹配度；
50.第二分类单元，用于若第一匹配度大于第二匹配度，则确定第k个货位区域图像中的货位所对应的目标货位状态为占用状态；
51.上述第二分类单元，还用于若第一匹配度小于第二匹配度，则确定第k个货位区域图像中的货位所对应的目标货位状态为空闲状态。
52.其中，第二特征提取单元包括：
53.卷积子单元，用于将m个货位区域图像中的第k个货位区域图像输入至图像识别模型，根据图像识别模型中的卷积层，对第k个货位区域图像进行卷积处理，得到货位卷积特征；
54.残差子单元，用于根据图像识别模型中的残差层，对货位卷积特征进行残差卷积处理，得到货位残差特征；
55.货位特征获取单元，用于根据货位卷积特征和货位残差特征，生成第k个货位区域图像对应的货位区域特征。
56.其中，该装置还包括：
57.货位状态更新模块，用于当m个货位中的第k个货位所对应的目标货位状态与管理系统中的第k个货位所对应的历史货位状态不一致时，在管理系统中将历史货位状态更新为第k个货位所对应的目标货位状态；历史货位状态是指基于历史视频帧所确定的货位状态，历史视频帧的拍摄时间早于目标视频帧的拍摄时间，k为小于或等于m的正整数。
58.其中，该装置还包括：
59.训练样本获取模块，用于从监控设备所拍摄的历史监控视频中获取正样本区域图像和负样本区域图像；正样本区域图像包括占用标签，负样本区域图像包括空闲标签；
60.负样本特征提取模块，用于获取正样本区域图像对应的正样本区域特征，以及获取负样本区域图像对应的负样本区域特征；
61.正样本特征提取模块，用于根据正样本区域特征和占用标签，确定第一分类器中的第一超平面，根据负样本区域特征和空闲标签，确定第一分类器中的第二超平面；第一超平面平行于第二超平面；
62.超平面优化模块，用于当第一超平面与第二超平面之间的间隔距离优化至最大值时，根据第一超平面和第二超平面，确定第一分类器中的分类超平面；分类超平面与第一超平面之间的距离等于分类超平面与第二超平面之间的距离。
63.本技术实施例一方面提供了一种计算机设备，包括存储器和处理器，存储器与处理器相连，存储器用于存储计算机程序，处理器用于调用计算机程序，以使得该计算机设备执行本技术实施例中上述一方面提供的方法。
64.本技术实施例一方面提供了一种计算机可读存储介质，计算机可读存储介质中存储有计算机程序，计算机程序适于由处理器加载并执行，以使得具有处理器的计算机设备执行本技术实施例中上述一方面提供的方法。
65.根据本技术的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使
得该计算机设备执行上述一方面提供的方法。
66.本技术实施例可以通过监控设备拍摄监控视频，并从监控视频中获取用于检测货位状态的目标视频帧，基于每个货位在监控视频中的顶点像素坐标，可以从目标视频帧中剪裁出m个货位剪裁图像，通过对m个货位剪裁图像进行位置矫正得到m个货位区域图像；进而可以分别对每个货位区域图像进行特征提取，得到每个货位区域图像分别对应的货位区域特征，通过对货位区域特征进行分类，可以确定目标视频帧中的m个货位分别对应的目标货位状态。可见，通过监控设备可以实时采集整个空间区域的监控视频，根据预先设定的货位标识信息，从监控视频的视频帧中提取每个货位分别对应的货位剪裁图像，通过对货位剪裁图像执行位置矫正、特征提取、特征分类一系列操作，得到每个货位分别对应的货位状态，即通过监控设备即可实现对整个空间区域内的货位监控，可以减少货位状态检测成本，通过监控设备所拍摄的监控视频可以实时检测该空间区域内的每个货位的货位状态，可以提高货位状态检测效率。
附图说明
67.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
68.图1是本技术实施例提供的一种货位状态检测系统的结构示意图；
69.图2是本技术实施例提供的一种货位状态检测场景示意图；
70.图3是本技术实施例提供的一种货位状态检测方法的流程示意图；
71.图4是本技术实施例提供的一种整合多个监控设备的目标货位状态的示意图；
72.图5是本技术实施例提供的一种更新货位状态的示意图；
73.图6是本技术实施例提供的一种货位状态检测方法的流程示意图；
74.图7是本技术实施例提供的一种货位剪裁图像的货位位置矫正示意图；
75.图8是本技术实施例提供的一种分类器的训练流程图；
76.图9是本技术实施例提供的一种货位状态检测的流程示意图；
77.图10是本技术实施例提供的一种物品检测的示意图；
78.图11是本技术实施例提供的一种货位状态检测装置的结构示意图；
79.图12是本技术实施例提供的一种计算机设备的结构示意图。
具体实施方式
80.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
81.本技术涉及计算机视觉技术(computer vision，cv)。计算机视觉是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄像机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做退选哪个处理，使电脑处理成为更适合人眼观察或传送给
仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。本技术具体涉及计算机视觉技术下属的图像识别技术，可以使用摄像机俯拍工厂的监控视频，从监控视频的视频帧中提取出货位区域图像，通过对货位区域图像进行图像识别，可以识别得到货位区域图像中的货位所对应的货位状态，货位状态可以包括占用状态和空闲状态，其中占用状态用于表示货位区域图像中的货位已被物品(或者货物)所占用，空闲状态用于表示货位区域图像中的货位未被物品(或者货位)所占用。
82.请参见图1，图1是本技术实施例提供的一种货位状态检测系统的结构示意图。如图1所示，该货位状态检测系统可以包括监控设备10a、服务器10c以及用户终端10d，监控设备10a可以是指用于拍摄监控区域10b的设备，该监控设备10a可以包括普通摄像头、高杆式摄像头、液晶挂式摄像头等，监控区域10b可以包括工厂厂区、物料仓库、工厂车间等；货位状态检测系统中监控设备的数量可以为一个或多个，这些监控设备被部署在现实空间区域(例如，监控区域10b)中的一些特定位置以同时拍摄该空间区域内不同角度的视频内容，通过监控设备采集到的视频内容称为与监控区域10b相关联的监控视频。监控设备所拍摄的监控视频可以传输至服务器10c，该服务器10c可以对监控设备10a所拍摄的监控视频进行图像处理，识别监控视频的单个视频帧中的每个货位分别对应的货位状态，即识别单个视频帧中的每个货位是否被物品所占用，如识别到某货位被物品占用时，表明该货位的货位状态为占用状态；如识别到某货位未放置物品(即该货位为空)，表明该货位的货位状态为空闲状态。服务器10c可以对每个货位及其对应的货位状态进行关联存储，当监控区域10b的管理者可以通过用户终端10d查询该监控区域10b中所有货位对应的货位状态，实时掌握该监控区域10b的货位占用情况，即通过图1所示的货位状态检测系统可以实现对监控区域10b的远程监控，可以提高货位状态的获取速度；货位状态检测系统中的用户终端的数量可以为一个或多个，这里不对用户终端的数量进行限制。
83.其中，服务器10c可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、cdn、以及大数据和人工智能平台等基础云计算服务的云服务器。用户终端10d可以包括：智能手机、平板电脑、笔记本电脑、掌上电脑、移动互联网设备(mobile internet device，mid)、可穿戴设备(例如智能手表、智能手环等)以及智能电视等具有数据查询功能的智能终端。如图1所示，监控设备10a与服务器10c之间可以进行数据交互，服务器10c与用户终端10d之间同样可以进行数据交互。可选的，当货位状态检测系统中的用户终端10d集成有图像处理功能时，监控设备10a也可以将拍摄的监控视频直接传输至用户终端10d，由用户终端10d对监控视频进行图像处理，以得到监控视频的视频帧中所有货位分别对应的货位状态。
84.请参见图2，图2是本技术实施例提供的一种货位状态检测场景示意图。本技术实施例以工厂为例，对工厂区域中的货位状态检测过程进行描述；为了对工厂进行实时监控，实施远程控制、并结合信息管理，全面掌握制造过程中的数据，可以在工厂区域中配置一个或多个摄像头，这些摄像头可以分别从不同方向对工厂区域中的货位状态进行监控。需要说明的是，在工厂区域中可以预先设置一些用于摆放物品的位置，在此处可以将其称为货位，该工厂区域中的部分货位已被货位所占用，部分货位则空缺。
85.如图2所示的工厂区域20c中，可以包括工人、生产设备20j以及一些预先设置的货位(例如，可以包括货位1，货位2，货位3，
……
，货位13等)；该工厂区域20c中还可以配置摄像头20a和摄像头20b，通过摄像头20a和摄像头20b可以分别从两个方向对工厂区域20c中所包含的货位对应的货位状态进行监控；其中，采用上述两个摄像头同时采集工厂区域20c中的货位状态，可以解决该工厂区域20c中货位相互遮挡的情况；每个摄像头可以负责工厂区域20c中的一个子区域，一个子区域可以包括一个或多个货位。摄像头20a和摄像头20b拍摄到所负责子区域的监控视频后，可以将其拍摄到的监控视频传输至服务器(如上述图1所示的服务器10c)，即服务器可以通过摄像头20a和摄像头20b采集工厂区域20c的监控视频，如摄像头20a拍摄的所负责子区域的监控视频20d，以及摄像头20b拍摄的所负责子区域的监控视频20e，监控视频20d和监控视频20e为具有相同时长的视频。
86.服务器在获取到监控视频20d和监控视频20e后，需要对监控视频20d和监控视频20e进行同步处理，以确保工厂区域20c中所包含的所有货位的货位状态都是在同一时间检测得到的，有利于工厂货位的管理有效性。服务器可以采用相同的方式对监控视频20d和监控视频20e进行分帧处理，得到监控视频20d对应的视频帧序列a，以及监控视频20e对应的视频帧序列b；其中，视频帧序列a和视频帧序列b中所包含的视频帧的数量是相同的，视频帧序列a中的视频帧与视频帧序列中的视频帧在时间顺序上一一对应。当视频帧序列a中的第2个视频帧被选中用于检测货位状态时，视频帧序列b中的第2个视频帧同样会被选中用于检测货位状态，将上述两个视频帧序列中的第2个视频帧的货位状态检测结果进行组合，可以得到工厂区域20c中所有货位在同一时间(上述摄像头20a和摄像头20b分别拍摄第2个视频帧的时间)的货位状态。
87.需要说明的是，对于视频帧序列a和视频帧序列b中的任意一个视频帧，其货位状态检测过程都是相同的，下面以监控视频20e中的任意一个视频帧20f为例，对该视频帧20f的货位状态检测过程进行描述。由于摄像头20b可能只负责监控工厂区域20c中的一个子区域，因此该摄像头20b所拍摄的监控视频20e中的视频帧20f只包含工厂区域20c中的部分货位，如视频帧20f中可以包括货位5、货位6、货位7、货位11至货位13。服务器可以根据配置的货位标识信息从视频帧20f中提取出单个货位所对应的货位区域图像，该货位标识信息可以是指在摄像头20b所拍摄的监控视频中，各个货位分别对应的顶点像素坐标。由于摄像头20b在工厂区域20c中的位置是固定不变的，因此各个货位在监控视频20e的各个视频帧中的位置同样也是保持不变的，即对于摄像头20b来说仅需配置一次货位标识信息，而无需针对监控视频中的每一个视频帧分别配置货位标识信息；当然，若摄像头20b在工厂区域20c中调整了位置，则该摄像头所负责拍摄的子区域发生了变更，那么需要重新为该摄像头20b配置货位标识信息。
88.如图2所示，服务器可以从摄像头20b所对应的货位标识信息中获取货位10的顶点像素坐标，根据货位10对应的顶点像素坐标，可以从视频帧20f中提取包含货位10的区域图像20g；进而可以对区域图像20g进行特征提取，得到该区域图像20g中的特征1，通过对特征1进行分类，得到该区域图像20g的货位状态检测结果为：货位为空，即区域图像20g的货位状态为空闲状态。同理，服务器可以从摄像头20b所对应的货位标识信息中获取货位6的顶点像素坐标，根据货位6对应的顶点像素坐标，可以从视频帧20f中提取包含货位10的区域图像20h；进而可以对区域图像20h进行特征提取，得到该区域图像20h中的特征2，通过对特
征2进行分类，得到该区域图像20h的货位状态检测结果为：货位被占用，即区域图像20h的货位状态为占用状态；基于上述相同的操作，服务器可以获取视频帧20f中的每个货位分别对应的货位状态检测结果。与此同时，服务器还可以从监控视频20d中获取与视频帧20f具有相同拍摄时间的关联视频帧，并基于上述视频帧20f相同的操作，获取关联视频帧中的各个货位分别对应的货位状态检测结果。将视频帧20f中的各个货位所对应的货位状态检测结果，以及关联视频帧中的各个货位所对应的货位状态检测结果进行组合，可以得到工厂区域20c中的全局货位状态检测结果，该全局货位状态检测结果如区域20i所示，该工厂区域20c中的货位1、货位2、货位5、货位8、货位10、货位11、货位13的货位状态检测结果均为空，货位3、货位4、货位6、货位7、货位9、货位12的货位状态检测结果均为被占用。
89.可选的，服务器可以对工厂区域20c中各个货位的货位状态检测结果进行存储，当监控视频20d和监控视频20e中的后续视频帧的货位状态检测结果与存储的货位状态检测结果不一样时，可以对所存储的货位状态检测结果进行更新。采用上述两个摄像头就可以对工厂区域进行实时监控，通过对监控视频中的视频帧进行图像处理，可以实时获取工厂区域中的货位状态，不仅可以减少货位状态的检测成本，还可以提升货位状态的检测效率。
90.请参见图3，图3是本技术实施例提供的一种货位状态检测方法的流程示意图。可以理解地，该货位状态检测方法可以由计算机设备执行，该计算机设备可以为服务器(例如，上述图1所示的服务器10c)、或者为用户终端(例如，上述图1所示的用户终端10d)、或者为一个计算程序应用(包括程序代码)，这里不作具体限定。如图3所示，该货位状态检测方法可以包括以下步骤s101-步骤s103：
91.步骤s101，从监控设备所拍摄的监控视频中获取目标视频帧，获取与监控设备相关联的货位标识信息；货位标识信息包括m个货位分别在监控视频中的顶点像素坐标，m为正整数。
92.具体的，当用户想要实时掌握某空间区域内的货位状态时，可以在该空间区域中配置一个或多个监控设备(例如，上述图2所对应实施例中的摄像头20a和摄像头20b等)，通过所配置的一个或多个监控设备可以实时监控该空间区域。若采用一个监控设备就可以实现对整个空间区域中所有货位的监控，且不存在货位被遮挡的情形，则整个空间区域只需配置一个监控设备即可；若采用一个监控设备监控上述空间区域存在部分货位被遮挡，则可以配置多个监控设备同时从不同方向对空间区域中的货位进行监控，一个监控设备可以负责监控空间区域中的一个子区域，并且可以确保子区域中的货位不被遮挡；其中，上述空间区域可以为工厂厂区、储存仓库、工厂生产区间等。
93.计算机设备可以通过一个或多个监控设备采集空间区域对应的监控视频，获取一个或多个监控设备分别拍摄的监控视频(例如，上述图2所对应实施例中的监控视频20e和监控视频20d)；或者，空间区域中所配置的一个或多个监控视频可以将各自所负责子区域的监控视频传输至计算机设备，计算机设备可以由此获取一个或多个监控设备分别传输的监控视频。当监控设备的数量为一个时，计算机设备可以获取一个监控设备所拍摄的监控视频，并对该监控视频中的视频帧进行货位状态检测；当监控设备的数量为多个时，计算机设备可以获取多个监控设备分别拍摄的监控视频，可以从多个监控设备分别拍摄的监控视频中的视频帧同步进行货位状态检测，如分别从多个监控设备所拍摄的监控视频中获取具有相同拍摄时间的视频帧，并对具有相同拍摄时间的多个视频帧进行同样的货位状态检
测，即计算机设备对每个监控设备所拍摄的监控视频的处理过程是相同的。为便于理解，下面均以一个监控设备所拍摄的监控视频为例进行描述。
94.其中，计算机设备在获取到监控设备所拍摄的监控视频后，可以对监控视频进行分帧处理，得到该监控视频对应的视频帧序列。换言之，可以将监控视频划分为一帧一帧的图像(即视频帧)，按照每个视频帧在监控视频中的时间排列顺序，生成该监控视频对应的视频帧序列。计算机设备可以按照固定的采集频率从监控视频中选取用于执行货位状态检测的目标视频帧，如在视频帧序列中每6个视频帧就可以执行一次货位状态检测，即每隔5个视频帧就选取一个视频帧作为目标视频帧；或者，可以在视频帧序列中每隔1秒钟就抽取一个视频帧作为用于执行货位状态检测的目标视频帧等。
95.可选的，计算机设备还可以获取监控设备对应的n个背景模板，以及n个背景模板分别对应的适用时间范围，该n个背景模板是对监控设备在不同时间段内所拍摄的图像的背景进行建模得到的，n为正整数，如n可以取值为1，2，
……
；当第i个视频帧的拍摄时间属于第j个背景模板对应的适用时间范围，且第i个视频帧与第j个背景模板不一致时，将第i个视频帧确定为目标视频帧；第i个视频帧属于视频帧序列，第j个背景模板属于n个背景模板，i为小于或等于视频帧序列中的视频帧数量的正整数，j为小于或等于n的正整数。计算机设备可以使用背景建模算法等复杂度较低的算法作为预判断，从视频帧序列中选择目标视频帧。计算机设备可以采用背景建模算法对监控设备所拍摄的视频进行背景建模，由于一天24小时内存在光照变化，所以可以在不同的时间段内构建不同的背景模板，如每小时构建一个背景模板，此时的背景模板的数量n取值为24，也可以每两个小时构建一个背景模板，此时背景模板的数量n取值为12；计算机设备可以按照时间顺序依次检测视频帧序列中的每个视频帧与对应的背景模板之间是否存在差异，如对于视频帧序列中的任意一个视频帧(如第i个视频帧)，可以获取第i个视频帧的拍摄时间，当第i个视频帧的拍摄时间属于第j个背景模板的适用时间范围时，如第i个视频帧的拍摄时间为20xx年9月1日13时23分20秒，第j个背景模板的适用时间范围为13点00分00秒至15点59分59秒，可以将第i个视频帧与第j个背景模板进行比较，当第i个视频帧与第j个背景模板存在差异时，可以将第i个视频帧确定为目标视频帧；当第i个视频帧与第j个背景模板一致时，可以继续判断下一个视频帧(如第(i+1)个视频帧)，视频帧序列中的任意一个视频帧与其对应的背景模板存在差异时，都可以将其确定为目标视频帧。其中，本技术所使用的背景建模算法可以包括但不限于：平均背景建模算法、高斯背景建模算法、非参数化背景，本技术对所使用的背景建模算法不做限定。
96.需要说明的是，上述按照采集频率，或者使用背景模板等方法从视频帧序列中选择目标视频帧，仅仅只是举例，还可以采用其余方式从视频帧序列中选取目标视频帧，如视频帧序列中的每个视频帧均可以执行货位状态检测，即每个视频帧均可以作为目标视频帧，本技术对目标视频帧的选取过程不做限定。
97.为了确定目标视频帧中所包含的货位所在的位置，可以获取与监控设备相关联的货位标识信息，该货位标识信息可以包括该监控设备所负责监控的子区域中的m个货位分别在监控视频中的顶点像素坐标，m可以为正整数，如m可以取值为1，2，
……
。空间区域中货位的位置和监控设备的位置通常情况下是固定不变的，因此可以通过对监控设备所拍摄的图片中货位的像素位置(如货位顶点)进行标注，标注的位置即为货位的顶点像素坐标，基
于m个货位的顶点像素坐标可以组合上述货位标识信息，也就是说，货位标识信息可以是预先配置的用于标记货位位置的顶点坐标，如货位为四边形时，货位标识信息可以包括该货位对应的4个顶点像素坐标；货位为三边形时，货位标识信息可以包括该货位对应的3个顶点坐标信息等，本技术对货位的形状不做限定。需要说明的是，在实际应用中监控设备所对应的货位标识信息中所包含的货位数量可以小于或等于该监控设备实际拍摄的目标视频帧中的货位数量，如目标视频帧中的某个货位为新增的货位，还没来得及为其标注顶点像素坐标，或者目标视频帧的某个货位可以被其余监控设备拍摄，在其余监控设备所对应的货位标识信息已对该货位进行了标注，那么在该监控设备所对应的货位标识信息中无需对其进行重复标注，后续也无需对其进行重复的货位状态检测。
98.可选的，还可以通过输入m个货位在真实物理空间中的坐标信息，通过监控设备标定信息，计算出m个货位在监控视频中的顶点像素坐标；例如，获取m个货位在真实物理空间中的坐标信息，即物理空间坐标信息，将m个货位的物理空间坐标信息转换为像素坐标。对于上述m个货位中的任一个货位(如第k个货位，k为小于m的正整数)，计算机设备可以获取第k个货位对应的物理空间坐标信息，以及获取该监控设备对应的设备外参和设备内参，其中设备外参用于表征监控设备在物理空间中的位置，设备内参可以由光学中心和监控设备的焦距(光学中心到图像平面的距离)所确定；进而可以根据物理空间坐标信息、设备外参以及设备内参，确定第k个货位对应的顶点像素坐标，根据第k个货位所对应的顶点像素坐标与该第k个货位之间的对应关系，生成该监控设备对应的货位标识信息。
99.在一个或多个实施例中，m个货位中的第k个货位所对应的物理空间坐标信息可以是指第k个货位在世界坐标系(world coordinate，也可以称为测量坐标系)中的坐标，该世界坐标系是一个三维直角坐标系，以其为基准可以描述监控设备和第k个货位的空间位置，世界坐标系的位置可以根据实际需求自由确定；在坐标转换过程中还可能涉及监控设备对应的相机坐标系(camera coordinate)、图像坐标系以及像素坐标系，其中相机坐标系也是一个三维直角坐标系，原点位于监控设备的镜头光心处，横轴和纵轴分别与相面的两边平行，竖轴为镜头光轴，以像平面垂直；图像坐标系可以为平面二维坐标系，与成像平面平行，原点在图像中心(如在监控视频的视频帧中心)；像素坐标系以像素为单位，原点在图像左上角(如在监控视频的视频帧左上角)。
100.计算机设备在获取到第k个货位对应的物理空间坐标信息后，以第k个货位的任意一个顶点p的物理空间坐标信息为例，对其坐标转换过程进行描述；假设顶点p在世界坐标系中的物理空间坐标信息为pc，坐标pc可以表示为一个列向量[xc,yc,zc]
t
，[]
t
表示为向量的转置，顶点p在相机坐标系中的坐标为pw，坐标pw可以表示为一个列向量[xw,yw,zw]
t
，坐标pc和坐标pw之间的坐标变换可以通过一个旋转矩阵r和一个平移向量t来实现，其中旋转矩阵r可以是一个3*3的矩阵，平移向量t可以是一个3*1的矩阵，分别表示在横轴、纵轴以及竖轴三个方向上的旋转平移，该坐标pc可以表示为pc＝pwr+t，具体如下述公式(1)所示：
[0101]
[0102]
其中，表示为旋转矩阵r，表示为平移向量t。为了计算方便，可以将上述公式(1)更改为齐次坐标形式，如下述公式(2)所示：
[0103][0104]
其中，可以称为监控设备的设备外参。假设顶点p在图像坐标系(如成像平面)中的坐标为[x,y]
t
，那么坐标[x,y]
t
与坐标[xc,yc,zc]
t
之间可以如下述公式(3)所示：
[0105][0106]
其中，f为监控设备的焦距。假设上述顶点p在像素坐标系中的坐标为[u,v]
t
，像素坐标系的原点在视频帧左上角，u轴水平向左，v轴竖直向下。图像坐标系的原点在图像中心点，图像坐标系与像素坐标系之间存在一个平移(c
x
,cy)，假设视频帧中的像素在图像坐标系的横轴(如x轴)方向上的长度为α，在纵轴(如y轴)方向上的长度为β，那么顶点p从图像坐标系转换为像素坐标系时，横轴方向缩放α倍并平移c
x
，横轴方向缩放β倍并平移cy，其转换过程可以如下述公式(4)所示：
[0107][0108]
其中，f
x
＝αf，fy＝βf，f
x
可以称为像素坐标系的u轴上的归一化焦距，fy可以称为像素坐标系的v轴上的归一化焦距，可以称为监控设备的设备内参。根据上述公式(2)至公式(4)，可以确定顶点p从世界坐标系转换到像素坐标系的过程如下述公式(5)所示：
[0109][0110]
其中，上述顶点p在像素坐标系中的坐标为[u,v]
t
，即第k个货位的顶点p在监控视频中的顶点像素坐标。同理，通过上述公式(5)可以计算m个货位的所有顶点在监控视频中的顶点像素坐标，根据m个货位分别对应的顶点像素坐标可以生成针对该监控视频的货位标识信息。
[0111]
可以理解的是，本技术中的货位标识信息可以通过对货位在监控视频中的位置进
行标注来实现，也可以通过对货位的物理空间坐标信息进行坐标转换来实现，亦或可以通过其余方式来实现，本技术对货位标识信息的确定方式不做限定。上述描述的坐标转换过程仅为本技术实施例中的一个举例，本技术还应当可以包含除上述坐标转换形式之外的其余转换形式。
[0112]
步骤s102，根据货位标识信息所包含的m个货位分别对应的顶点像素坐标，从目标视频帧中获取m个货位剪裁图像，对m个货位剪裁图像所包含的货位进行位置矫正，得到m个货位区域图像。
[0113]
具体的，计算机设备可以根据货位标识信息中所包含的m个货位分别对应的顶点像素坐标，基于每个货位所对应的顶点像素坐标，可以在目标视频帧中确定每个货位所处的位置，即在目标视频帧中定位每个货位的位置，根据每个货位分别在目标视频帧中的位置，可以对目标视频帧进行剪裁，得到m个货位分别对应的货位剪裁图像。由于监控设备的拍摄角度可能会造成货位剪裁图像中的货位存在倾斜、变形等问题，因此计算机设备可以对区域检测图像中的货位进行位置矫正，并将位置矫正后的区域剪裁图像调整至目标尺寸，得到每个货位分别对应的货位区域图像，即m个货位区域图像，一个货位对应一个货位剪裁图像，一个货位剪裁图像对应一个货位区域图像。其中，对货位剪裁图像进行位置矫正的方法可以包括但不限于：基于投影的倾斜矫正、基于hough(霍夫)变换的图像矫正、基于线性拟合的图像矫正、透视变换，本技术对位置矫正的方法不做限定。
[0114]
举例来说，假设货位标识信息包括3个货位(此处的m可以取值为3)分别在监控视频中的顶点像素坐标，分别表示为货位a、货位b以及货位c。货位a所对应的顶点像素坐标包括顶点1的像素坐标、顶点2的像素坐标、顶点3的像素坐标以及顶点4的像素坐标，根据上述4个顶点的像素坐标可以确定一个矩形区域，基于该矩形区域对目标视频帧进行剪裁，可以得到货位a对应的货位剪裁图像，并对货位剪裁图像中的货位a进行位置矫正，可以得到货位a对应的货位区域图像。货位b所对应的顶点像素坐标包括顶点5的像素坐标、顶点6的像素坐标、顶点7的像素坐标以及顶点8的像素坐标，货位c所对应的顶点像素坐标包括顶点9的像素坐标、顶点10的像素坐标、顶点11的像素坐标以及顶点12的像素坐标，基于上述相同的处理过程，可以获取货位b对应的货位区域图像，以及货位c对应的货位区域图像。
[0115]
步骤s103，获取m个货位区域图像分别对应的货位区域特征，根据货位区域特征确定目标视频帧中的m个货位分别对应的目标货位状态；目标货位状态用于指示m个货位的物品占用情况。
[0116]
具体的，计算机设备可以获取m个货位区域图像分别进行特征提取，得到m个货位区域图像分别对应的货位区域特征，进而可以对货位区域特征进行特征分类，得到目标视频帧中的m个货位分别对应的目标货位状态，此处的目标货位状态可以用于指示目标视频帧中m个货位的物品占用情况。其中，目标货位状态包括占用状态和空闲状态，占用状态表示监控设备在拍摄到目标视频帧的时候货位被物品所占用，空闲状态表示监控设备在拍摄到目标视频帧的时候货位为空。其中，本技术所采用的特征提取方法可以包括但不限于：尺度不变特征变换(scale-invariant features transform，sift)算法、加速稳健特征(speeded up robust features，surf)算法、方向梯度直方图(histogram of oriented gradient)算法、高斯函数的差分(difference of gaussian)，还可以采用深度学习算法，如卷积神经网络模型(例如lenet网络模型、alexnet网络模型等)，当然本技术还可以根据
货位状态检测场景的实际需求设计深度学习模型；本技术所采用的特征分类方法可以包括但不限于：adaboost算法(一种迭代算法)，支持向量机(support vector machine，svm)，神经网络算法、感知器算法、softmax分类器、logistic(逻辑)分类器；本技术对所采用的特征提取方法和分类方法都不限定。
[0117]
在一个或多个实施例中，以卷积神经网络模型和softmax分类器为例，对货位区域图像的特征提取过程以及特征分类过程进行描述。对于m个货位区域图像中的任一个货位区域图像(如第k个货位区域图像)，计算机设备可以将第k个货位区域图像输入至图像识别模型，通过该图像识别模型可以获取第k个货位区域图像对应的货位区域特征；该图像识别模型可以为预先训练好的卷积神经网络模型，该图像识别模型可以用于提取货位区域图像中的货位区域特征。可选的，当上述图像识别模型包括卷积层和残差层(如图像识别模型可以为残差卷积网络)时，计算机设备将第k个货位区域图像输入至图像识别模型，根据该图像识别模型中的卷积层，对第k个货位区域图像进行卷积处理，可以得到第k个货位区域图像对应的货位卷积特征；进而可以根据图像识别模型中的残差层，对上述货位卷积特征机型残差卷积处理，得到货位残差特征，根据上述货位卷积特征和货位残差特征，可以生成第k个货位区域图像对应的货位区域特征。其中，上述图像识别模型中所包含的卷积层的数量可以为一个或多个，在一个或多个卷积层的后面可以接一个或多个残差层，上述货位卷积特征可以是指图像识别模型的一个或多个卷积层中的最后一个卷积层所输出的图像特征，货位残差特征可以是指图像识别模型的一个或多个残差层中的最后一个残差层所输出的图像特征，通过将货位卷积特征和货位残差特征进行特征融合(例如，特征拼接、特征合并等)，得到融合后的货位特征，此处融合后的货位特征可以称为第k个货位区域图像对应的货位区域特征。
[0118]
在提取到第k个货位区域图像对应的货位区域特征后，可以通过图像识别模型中的第二分类器(例如，上述softmax分类器)，获取占用属性特征和第k个货位区域图像所对应的货位区域特征之间的第一匹配度，以及空闲属性特征和第k个货位区域图像所对应的货位区域特征之间的第二匹配度；若第一匹配度大于第二匹配度，则确定第k个货位区域图像中的货位所对应的目标货位状态为占用状态；若第一匹配度小于第二匹配度，则确定第k个货位区域图像中的货位所对应的目标货位状态为空闲状态。其中，上述占用属性特征可以是指具有占用状态的货位区域图像所独有的属性特征，空闲属性特征可以是指具有空闲状态的货位区域图像所独有的属性特征；上述第一匹配度和第二匹配度可以是指第二分类器所输出的针对不同货位状态的概率值，即第一匹配度是指第k个货位区域图像对应的货位区域特征属于占用状态的概率，第二匹配度是指第k个货位区域图像对应的货位区域特征属于空闲状态的概率。在第二分类器中，可以识别第k个货位区域图像所对应的货位区域特征分别与两个属性特征(占用属性特征和空闲属性特征)之间的匹配度，通过对第一匹配度和第二匹配度进行比较，可以确定第k个货位区域图像所对应的货位区域特征与两个属性特征中的哪一个属性特征较为相似，匹配度越大，表明第k个货位区域图像所对应的货位区域特征与该属性特征越相似；如第一匹配度大于第二匹配度时，表示第k个货位区域图像所对应的货位区域特征与占用属性特征之间更为相似，因此可以确定第k个货位区域图像中的货位(即第k个货位)所对应的目标货位状态为占用状态；第一匹配度小于第二匹配度时，表示第k个货位区域图像所对应的货位区域特征与空闲属性特征之间更为相似，因此可
以确定第k个货位所对应的目标货位状态为空闲状态。基于上述相同的执行操作，可以得到m个货位区域图像中的货位分别对应的目标货位状态。
[0119]
需要说明的是，若同时采用多个监控设备进行实时监控，则计算机设备需要对多个监控设备所拍摄的监控视频进行同步处理，如采用监控设备1、监控设备2以及监控设备3同时对某个空间区域进行监控时，监控设备1、监控设备2以及监控设备3所拍摄的监控视频具有相同的视频时长，计算机设备可以上述三个监控设备所拍摄的监控视频进行相同的处理，如视频分帧、货位区域剪裁、货位位置矫正以及货位状态检测等，当监控设备所拍摄的监控视频中的第一个视频帧被选中为目标视频帧时，监控设备2所拍摄的监控视频中的第一个视频帧，以及监控设备3所拍摄的监控视频中的第一个视频帧均可以作为目标视频帧，通过对各个监控视频中的目标视频帧中所检测的目标货位状态进行整合，可以获取空间区域中的所有货位在相同时刻的目标货位状态。可选的，计算机设备可以并行处理多个监控设备所拍摄的监控视频，还可以并行处理从同一个目标视频帧中提取出的m个货位区域图像，通过采用并行处理的方式可以提高针对监控视频的货位状态检测速度。
[0120]
请参见图4，图4是本技术实施例提供的一种整合多个监控设备的目标货位状态的示意图。如图4所示，以被监控的空间区域是工厂生产车间为例，该工厂生产车间中可以配置两个监控设备从两个不同的角度同时拍摄，该两个监控设备分别为监控设备30a、监控设备30c；为了更清楚地拍摄到工厂生产区间中的各个货位，可以预先设置上述两个监控设备分别负责监控的货位，如对于具有相邻位置关系的两个货位(如货位12和货位13)，当货位12倍物品占用，且货位12中的物品高度较高时，货位13可能会被货位12上的物品遮挡，因此可以采用不同的监控设备来监控具有相邻位置关系的货位，即上述两个监控设备可以对具有相邻位置关系的货位进行交叉监控。因此，一个监控设备所拍摄的监控视频中可能包含了该工厂生产车间中的全部或部分货位，而对该监控设备所拍摄的监控视频中的目标视频帧进行货位状态检测时，只需检测该目标视频帧所包含货位中的部分货位，当然，该监控设备所对应的货位标识信息中也可以仅包含这部分货位的顶点像素坐标。
[0121]
如图4所示，计算机设备从监控设备30a所拍摄的监控视频中抽取了视频帧1，并对视频帧1进行货位状态检测得到了输出结果30b，其中监控设备30a拍摄视频帧1的时间为a时刻，该视频帧1中包含了该工厂生产车间中的全部货位，根据监控设备30a所对应的货位标识信息，对该视频帧1进行货位状态检测可以得到货位1至货位7、货位8、货位10、货位12、货位14、货位16、货位17、货位19、货位21、货位23分别对应的目标货位状态，上述这些货位所对应的目标货位状态如输出结果30b所示，该输出结果30b为上述货位在a时刻的货位状态。同理，计算机设备可以从监控设备30c的监控视频中抽取a时刻拍摄的视频帧2，根据监控设备30c所对应的货位标识信息，对该视频帧2进行货位状态检测可以得到货位9、货位11、货位13、货位15、货位18、货位20、货位22、货位24分别对应的目标货位状态分别对应的目标货位状态，这些货位所对应的目标货位状态如输出结果30d所示。
[0122]
进一步地，计算机设备在获取到各个监控设备在a时刻的货位状态输出结果(即输出结果30b和输出结果30d)后，可以对输出结果30b和输出结果30d进行整合，得到整个工厂生产车间的货位检测结果30e，该货位检测结果30e包括工厂生产车间中所有货位分别对应的目标货位状态。
[0123]
可选的，在货位检测结果30e中还可以使用不同的标识信息来表示不同的目标货
位状态，如图4所示，使用文字作为标识信息用于区分空闲状态和占用状态；或者可以采用实心圆点表示占用状态，采用空心圆圈表示空闲状态；或者还可以采用正方形表示占用状态，采用三角形表示空闲状态等；本技术对货位状态的标识信息不做限定。
[0124]
可选的，计算机设备在获取到空间区域中的所有货位在相同时刻(目标视频帧的拍摄时间)的目标货位状态(此处的目标货位状态可以是指货位在当前目标视频帧中的货位状态)后，可以将目标货位状态与管理系统中所存储的历史货位状态进行比较，对历史货位状态与目标货位状态不一致的货位均进行货位状态更新，将其历史货位状态更新为目标货位状态；若某个货位在管理系统中所存储的历史货位状态为空闲状态，在当前的目标视频帧中的目标货位状态为占用状态，则需要在管理系统中对该货位的历史货位状态进行更新，将其更新为占用状态。其中，上述管理系统可以是指用于管理上述空间区域中的货位状态、设备使用情况、工人操作设备等信息的系统，该管理系统中所存储的信息可以进行实时更新，有利于管理人员实时掌握该空间区域中的情况。例如，当上述m个货位中的第k个货位所对应的目标货位状态与管理系统中的第k个货位所对应的历史货位状态不一致时，在该管理系统中可以将历史货位状态更新为第k个货位所对应的目标货位状态，其中历史货位状态是指基于历史视频帧所确定的货位状态，历史视频帧的拍摄时间早于目标视频帧的拍摄时间，第k个货位的目标货位状态与历史货位状态不一致时，表示在历史视频帧的拍摄时间至目标视频帧的拍摄时间之间，第k个货位的货位状态发生了变更。
[0125]
请参见图5，图5是本技术实施例提供的一种更新货位状态的示意图。如图5所示，计算机设备对目标视频帧进行货位状态检测后所得到的目标货位状态如货位状态检测结果40a所示，目标视频帧所包含的9个货位中，货位3至货位5、货位9所对应的目标货位状态为占用状态，剩余货位的目标货位状态为空闲状态。而管理系统中的货位状态存储信息40b中，9个货位中的货位4和货位5的历史货位状态为占用状态，剩余货位的历史货位状态为空闲状态。很显然，货位3在货位状态检测结果40a中的目标货位状态(占用状态)与货位3在货位状态存储信息40b中的历史货位状态(空闲状态)不一致，因此需要对货位状态存储信息40b中货位3的历史货位状态进行更新；另外，货位9在货位状态检测结果40a中的目标货位状态(占用状态)与货位9在货位状态存储信息40b中的历史货位状态(空闲状态)不一致，因此需要对货位状态存储信息40b中货位9的历史货位状态进行更新，以此得到更新后的货位状态存储信息40c。
[0126]
本技术实施例中，通过监控设备可以实时采集空间区域的监控视频，根据预先设定的货位标识信息，从监控视频的视频帧中提取每个货位分别对应的货位剪裁图像，通过对货位剪裁图像执行位置矫正、特征提取、特征分类一系列操作，得到每个货位分别对应的目标货位状态，即通过监控设备即可实现对整个空间区域内的货位监控，可以减少货位状态检测成本，通过监控设备所拍摄的监控视频可以实时检测该空间区域内的每个货位的货位状态，可以提高货位状态检测效率；在对空间区域进行管理的过程中，可以实时检测每个货位分别对应的货位状态，并提高货位状态的货位速度和准确性。
[0127]
请参见图6，图6是本技术实施例提供的一种货位状态检测方法的流程示意图。可以理解地，该货位状态检测方法可以由计算机设备执行，该计算机设备可以为服务器、或者为用户终端、或者为一个计算程序应用(包括程序代码)，这里不作具体限定。如图6所示，该货位状态检测方法可以包括以下步骤s201-步骤s210：
[0128]
步骤s201，从监控设备所拍摄的监控视频中获取目标视频帧，获取与监控设备相关联的货位标识信息；货位标识信息包括m个货位分别在监控视频中的顶点像素坐标，m为正整数。
[0129]
其中，步骤s201的具体实现过程可以参见上述图3所对应实施例中的步骤s101，这里不再进行赘述。
[0130]
步骤s202，在货位标识信息中，获取m个货位中的第k个货位对应的顶点像素坐标，根据第k个货位的顶点像素坐标，在目标视频帧中确定目标矩形区域；k为小于或等于m的正整数。
[0131]
具体的，计算机设备可以在监控设备所对应的货位标识信息中，获取m个货位中的第k个货位对应的顶点像素坐标，根据第k个货位的顶点像素坐标，在目标视频帧中确定目标矩形区域，其中m可以为目标视频帧中所包含的货位的数量，如m可以取值为1，2，
……
，k可以为小于或等于m的正整数。计算机设备根据第k个货位对应的顶点像素坐标，确定第k个货位在目标视频帧中的区域位置；由于第k个货位在目标视频帧中的区域位置可能为不规则的多边形，为了方便后续对目标视频帧进行剪裁，可以基于第k个货位对应的顶点像素坐标，确定包含第k个货位的目标矩形区域。例如，当第k个货位包括4个顶点时，该第k个货位可以对应4个顶点像素坐标，该4个顶点像素坐标分别为(u1，v1)、(u2，v2)、(u3，v3)以及(u4，v4)，计算机设备可以根据上述4个顶点像素坐标中的u1、u2、u3以及u4中确定最大横坐标值和最小横坐标值，从4个顶点像素坐标中的v1、v2、v3以及v4中确定最大纵坐标值和最小纵坐标值，进而可以根据最大横坐标值、最小横坐标值、最大纵坐标值以及最小纵坐标值，确定目标矩形区域，该目标矩形区域的4个顶点坐标可以表示为(最大横坐标值，最大纵坐标值)、(最大横坐标值，最小纵坐标值)、(最小横坐标值，最小纵坐标值)以及(最小横坐标值，最大纵坐标值)。
[0132]
步骤s203，根据目标矩形区域对目标视频帧进行分割，得到包含目标矩形区域所覆盖的像素点的第k个货位剪裁图像；第k个货位剪裁图像属于m个货位剪裁图像。
[0133]
具体的，计算机设备可以根据目标矩形区域对目标视频帧进行分割，从该目标视频帧中剪裁得到第k个货位对应的货位剪裁图像，此时的货位剪裁图像可以称为第k个货位剪裁图像，该第k个货位剪裁图像可以包含目标矩形区域在目标视频帧中所覆盖的像素点。
[0134]
步骤s204，根据第k个货位对应的顶点像素坐标，确定第k个货位剪裁图像对应的位置变换矩阵，基于位置变换矩阵对第k个货位剪裁图像进行位置矫正，得到第k个货位对应的货位区域图像。
[0135]
具体的，计算机设备根据第k个货位对应的顶点像素坐标，可以确定第k个货位在目标视频帧中的多边形区域，监控设备的拍摄角度可能会造成第k个货位的多边形区域是不规则的(如存在倾斜、变形等)，因此计算机设备可以对第k个货位剪裁图像中的第k个货位进行位置矫正，得到第k个货位对应的货位区域图像。
[0136]
计算机设备可以根据第k个货位对应的顶点像素坐标，以及预先设定的固定多边形尺寸的顶点坐标，计算该第k个货位对应的位置变换矩阵，进而可以采用透视变换方法，基于上述位置变换矩阵将第k个货位剪裁图像中第k个货位的不规则多边形拉伸至规则多边形，得到该第k个货位对应的货位区域图像。其中，此处的规则多边形可以为矩形、正方形等，基于上述相同的处理过程可以得到m个货位分别对应的货位区域图像，每个货位所对应
的货位区域图像都可以是具有固定尺寸的图像，且货位区域图像所包含的货位都被拉伸为规则多边形，上述位置变换矩阵可以是指用于对第k个货位剪裁图像中的货位进行位置矫正，如可以用于将第k个货位剪裁图像中的不规则四边形拉伸至矩形等。
[0137]
请参见图7，图7是本技术实施例提供的一种货位剪裁图像的货位位置矫正示意图。如图7所示，计算机设备获取到目标视频帧50a后，以目标视频帧50a中的货位1为例，计算机设备可以从货位标识信息中获取货位1对应的4个顶点像素坐标，如顶点a的像素坐标、顶点b的像素坐标、顶点c的像素坐标以及顶点d的像素坐标，根据顶点a、顶点b、顶点c以及顶点d分别对应的像素坐标，可以在目标视频帧50a中确定目标矩形区域50b。根据目标矩形区域50b对目标视频帧50a进行分割，可以得到货位1对应的货位剪裁区域50c，进而可以根据上述4个顶点的像素坐标计算得到针对货位剪裁区域50c的位置变换矩阵，基于该位置变换矩阵对货位剪裁区域50c中的货位1进行拉伸，得到货位1对应的货位区域图像50d。
[0138]
步骤s205，将m个货位区域图像中的第k个货位区域图像划分为l个图像块，获取l个图像块分别对应的局部区域特征；k为小于或等于m的正整数，l为正整数。
[0139]
具体的，本技术实施例以方向梯度直方图(hog)算法为例，对m个货位区域图像的特征提取过程进行描述。对于m个货位区域图像中的任意一个货位区域图像(如第k个货位区域图像)，计算机设备可以将第k个货位区域图像划分为l个图像块，根据每个图像块中所包含的像素点的梯度，获取l个图像块分别对应的局部区域特征，l为第k个货位区域图像被划分的图像块数量，l为正整数。
[0140]
进一步地，计算机设备可以对第k个货位区域图像所包含的像素点进行划分，得到图像单元集合，该图像单元集合中的每个图像单元所包含的像素点数量是相同的，如图像单元集合中的每个图像单元的尺寸可以为8*8，或者可以为4*4等；根据每个图像单元中所包含的像素点的梯度，统计图像单元集合中的每个图像单元分别对应的梯度直方图；对图像单元集合中的图像单元进行图像块组合，得到l个图像块，如将第k个货位区域图像中每相邻的“田”字形结构的4个图像单元组成一个图像块，基于图像单元集合中的所有图像单元，可以组合得到l个图像块；进而可以将第d个图像块中的图像单元所对应的梯度直方图进行串联，得到第d个图像块对应的局部区域特征；其中，第d个图像块属于l个图像块，d为小于或等于l的正整数。
[0141]
举例来说，对第k个货位区域图像进行特征提取的过程中，假设第k个货位区域图像的尺寸为64*128，将第k个货位区域图像中的8*8个像素点划分为一个图像单元(cell)，即可以将第k个货位区域图像划分为8*16＝128个图像单元，即上述图像单元集合中可以包括128个图像单元；进行可以将相邻的“田”字形结构的4个图像单元组成一个图像块(block)，可以得到7*15＝105个图像块(此处l可以取值为105)。计算机设备可以通过对单个图像单元中的所有像素点的梯度方向进行投影，形成每个图像单元分别对应的梯度直方图，如可以预先设定9个方向位，每20度可以对应一个方向位，0度至180度以及180度至360度的方向可以采用对等角相等的方法归类划分，以生成每个图像单元分别对应的梯度直方图；通过将每个图像块中所包含的4个图像单元的梯度直方图的数据串联起来，可以得到每个图像块分别对应的局部区域特征。例如，单个图像单元的梯度直方图为一个9维的向量，那么每个图像块都可以提取一个36维的向量，此时的36维向量可称为该图像块的局部区域特征。需要说明的是，上述图像单元以及图像块的尺寸仅为举例，本技术对图像单元和图像
块的尺寸不做限定。
[0142]
步骤s206，将l个图像块分别对应的局部区域特征进行串联，得到第k个货位区域图像对应的货位区域特征。
[0143]
具体的，计算机设备可以按照目标视频帧中的像素点顺序，将l个图像块分别对应的局部区域特征进行串联，可以得到第k个货位区域图像对应的货位区域特征。如前述举例，若每个图像块的局部区域特征为36维特征向量，则可以确定第k个货位区域图像对应的货位区域特征为36*105＝2780维特征。
[0144]
步骤s207，将第k个货位区域图像对应的货位区域特征输入至第一分类器，在第一分类器中对第k个货位区域图像的货位区域特征进行识别，得到第k个货位区域图像中的货位所对应的目标货位状态。
[0145]
具体的，本技术实施例以支持向量机(svm)为例，对m个货位区域图像所对应的货位区域特征的分类过程进行描述。对于m个货位区域图像中的任意一个货位区域图像(如第k个货位区域图像)的货位区域特征，计算机设备可以将第k个货位区域图像对应的货位区域特征输入至第一分类器(如支持向量机)，在第一分类器中可以确定分类超平面与第k个货位区域图像对应的货位区域特征之间的预测距离；若预测距离大于分类阈值，则确定第k个货位区域图像中的货位所对应的目标货位状态为占用状态；若预测距离小于分类阈值，则确定第k个货位区域图像中的货位所对应的目标货位状态为空闲状态；其中分类阈值可以取值为0，第一分类器中的分类超平面是通过训练得到的。
[0146]
其中，在使用支持向量机对上述货位区域特征进行分类之前，需要对支持向量机进行训练，该支持向量机可以是指基于最大边界的学习方法。最大边界的学习策略是间隔最大化，可以通过求解凸二次规划的最优华算法对支持向量机进行求解。计算机设备可以从监控设备所拍摄的历史监控视频中获取正样本区域图像和负样本区域图像，其中正样本区域图像可以包括占用标签，负样本区域图像可以包括空闲标签；进而可以获取正样本区域图像对应的正样本区域特征，以及获取负样本区域图像对应的负样本区域特征；根据正样本区域特征和占用标签，确定第一分类器中的第一超平面，根据负样本区域特征和空闲标签，确定第一分类器中的第二超平面；第一超平面平行于第二超平面；当第一超平面与第二超平面之间的间隔距离优化至最大值时，根据第一超平面和第二超平面，确定第一分类器中的分类超平面；分类超平面与第一超平面之间的距离等于分类超平面与第二超平面之间的距离。换言之，支持向量机是用于分开正样本区域图像和负样本区域图像，找到最优的分割平面，此时最优的分割平面可以称为分类超平面。
[0147]
请参见图8，图8是本技术实施例提供的一种分类器的训练流程图。如图8所示，分类器的训练流程可以通过步骤s11至步骤s14来实现。步骤s11，计算机设备可以获取监控设备所拍摄的历史监控视频，并从历史监控视频中提取正样本区域图像和负样本区域图像，该正样本区域图像可以携带占用标签，表示这些正样本区域图像中的货位被占用，如正样本区域图像60a、正样本区域图像60b以及正样本区域图像60c等；负样本区域图像可以携带空闲标签，表示这些负样本区域图像中的货位未被占用，如负样本区域图像60d、负样本区域图像60e以及负样本区域图像60f等。
[0148]
步骤s12，计算机设备可以对各个正样本区域图像和各个负样本区域图像中的货位进行位置矫正，得到位置矫正后的正样本区域图像和位置校正后的负样本区域图像，进
而可以继续执行步骤s13，分别对位置矫正后的正样本区域图像和位置校正后的负样本区域图像进行特征提取，获取位置矫正后的正样本区域图像的正样本区域特征，以及位置校正后的负样本区域图像的负样本区域特征。根据负样本区域特征和正样本区域特征，继续执行步骤s14，即对分类器进行训练，此处的分类器可以为支持向量机，如上述第一分类器。
[0149]
训练支持向量机的目的是分开负样本区域特征和正样本区域特征，找到最优的分割平面，即上述分类超平面。该分割平面不仅要分开负样本区域特征和正样本区域特征，同时还要使得两类样本区域特征之间的间隔最大化。将负样本区域特征和正样本区域特征统称为样本区域特征，假设样本区域特征表示为{xi，yi}，i＝1，2，3，.....，s；其中xi是第i个样本区域特征，yi＝{+1，-1}是二分类的类别标签，+1表示为占用标签，-1表示为空闲标签。假设支持向量机的超平面如下述公式(6)所示：
[0150]
g(x)＝w
t
·
xi+b
ꢀꢀꢀꢀ
(6)
[0151]
其中，w可以是指超平面的法向量，b是超平面的偏移量。
[0152]
对于线性可分的情况，可以求得两个超平面使得对正样本区域特征有g1(x)＝w
t
·
xi+b≥1，对负样本区域特征有g2(x)＝w
t
·
xi+b≤1，其中两个平行超平面之间的间隔为2/||w||2，此处的两个平行超平面即为上述第一分类器中的第一超平面和第二超平面。如果想获得间隔最大化，需要使||w||2最小。因此，优化模型可以如下述公式(7)所示：
[0153][0154]
可选的，对于线性不可分的情况，则无法求得其法向量w和偏移量b的解析式。因此需要在上述公式(7)的基础上，对其进行改进，改进后的优化模型如下述公式(8)所示：
[0155][0156]
其中，对于任意一个样本区域特征，δi总是为大于或等于0的数值，c为参数。针对线性可分或不可分的情形，可以通过上述公式(7)或者公式(8)来求解得到支持向量机的最优超平面。
[0157]
请参见图9，图9是本技术实施例提供的一种货位状态检测的流程示意图。如图9所示，该货位状态检测过程可以通过步骤s21至步骤s25来实现。步骤s21，计算机设备获取到监控设备所拍摄的监控视频后，可以从监控视频中抽取目标视频帧，并从目标视频帧中提取单个货位分别对应的区域剪裁图像；由于区域剪裁图像中的货位可以为不规则多边形，因此可以执行步骤s22，对每个区域剪裁图像进行图像位置矫正，得到目标视频帧中每个货位分别对应的货位区域图像。进而可以继续执行步骤s23，对货位区域图像进行特征提取，以获取每个货位区域图像分别对应的货位区域特征，通过上述训练完成的第一分类器对货位区域特征进行识别，即计算货位区域特征与第一分类器中的最优超平面之间的预测距离，基于预测距离输出目标视频帧中每个货位分别对应的目标货位状态。
[0158]
步骤s208，若m个货位中存在具有相邻位置关系的两个货位的目标货位状态均为占用状态，则将两个货位确定为目标货位对。
[0159]
具体的，在实际应用中，某个物品明明可以存放在一个货位上，但是由于人为失误
将该物品随意放在两个相邻货位的中间，造成该物品占用了两个货位，进而造成了货位的浪费。因此，计算机设备可以在检测得到m个货位的目标货位状态后，对同为占用状态的相邻货位进行进一步检测，以确保目标货位状态的准确性。换言之，若m个货位中存在具有相邻位置关系的两个货位的目标货位状态均为占用状态，则可以将具有相邻位置关系的两个货位称为目标货位对，即将同为占用状态的两个具有相邻位置关系的货位作为需要进行后续检测的目标货位对。
[0160]
步骤s209，在目标视频帧中获取包含目标货位对的待检测区域图像，对待检测区域图像进行物品检测，得到待检测区域图像对应的物品检测结果。
[0161]
具体的，计算机设备可以从目标视频帧中提取出目标货位对所处的待检测区域图像，通过对待检测区域图像进行物品检测，可以得到目标货位对中的物品边缘形状，根据该物品边缘形状可以确定待检测区域图像对应的物品检测结果，该物品检测结果可以包括物品重叠结果和物品不重叠结果，物品重叠结果用于表示目标货位对被同一个物品所占用，物品不重叠结果用于表示目标货位对被不同的物品所占用。
[0162]
其中，计算机设备可以根据目标货位对所对应的顶点像素坐标，在目标视频帧中确定目标货位对关联的剪裁区域，将剪裁区域所覆盖的像素点确定为待检测区域图像；进而可以获取待检测区域图像中的物品边缘特征，根据物品边缘特征确定待检测区域图像中的物品边缘形状；根据目标货位对中的每个货位分别对应的顶点像素坐标，确定目标货位对中的每个货位分别对应的货位边缘形状；当物品边缘形状与目标货位对中的每个货位所对应的货位边缘形状均存在重叠区域时，确定待检测区域图像对应的物品检测结果为物品重叠结果；当物品边缘形状仅与目标货位对中的一个货位所对应的货位边缘形状存在重叠区域时，可以确定待检测区域图像对应的物品检测结果为物品不重叠结果，即物品仅放置在一个货位上，未占用额外的货位。
[0163]
步骤s210，当物品检测结果为物品重叠结果时，生成针对目标货位对的异常提示信息；物品重叠结果用于表征目标货位对被同一个物品所占用。
[0164]
具体的，当物品检测结果为物品重叠结果时，可以生成针对目标货位对的异常提示信息，该异常提示信息用于提醒用户及时查看目标货位对中的物品存放情况，以及时调整货位上所存放的物品，提高货位的利用率。当物品检测结果为物品不重叠结果时，可以确定该目标货位对上的物品是正常放置的，不存在异常情况。
[0165]
请参见图10，图10是本技术实施例提供的一种物品检测的示意图。如图10所示，若通过货位状态检测得到目标视频帧中的货位1和货位2的目标货位状态均为占用状态，且货位1和货位2具有相邻位置关系，则可以将货位1和货位2称为目标货位对，并从目标视频帧中剪裁得到包含货位1和货位2的待检测区域图像70a，通过对待检测区域图像70a进行物品检测，得到待检测区域图像70a中的物品边缘形状为：边缘形状70b；由于该边缘形状70b同时与货位1的货位边缘形状、货位2的边缘形状存在重叠区域，可以确定货位1和货位2中所放置的物品为同一个，即待检测区域图像70a的物品检测结果为物品重叠结果，并生成针对货位1和货位2的异常提示信息。
[0166]
可选的，若目标视频帧中具有相邻位置关系的货位3和货位4所对应的目标货位状态均为占用状态，则同样可以将货位3和货位3称为目标货位对，并从目标视频帧中剪裁得到包含货位3和货位4的待检测区域图像70c，通过对待检测区域图像70c进行物品检测，得
到待检测区域图像70c中的物品边缘形状为：边缘形状70d和边缘形状70e；由于该边缘形状70d只与货位3的货位边缘形状存在重叠区域，边缘形状70e只与货位4的边缘形状存在重叠区域，可以确定货位3和货位4中所放置的物品不相同，即待检测区域图像70c的物品检测结果为物品不重叠结果。
[0167]
需要说明的是，上述步骤s208至步骤s210仅为本技术提供的一种可选的实施例，计算机设备可以在获取到m个货位分别对应的目标货位状态之后，不再继续执行步骤208至步骤s210，直接将目标货位状态与管理系统中所存储的历史货位状态进行比较，以实现对货位状态的更新过程；或者，可以在获取到m个货位分别对应的目标货位状态之后，继续执行上述步骤s208至步骤s210，暂停对异常提示信息所对应的目标货位对的历史货位状态进行更新，并对剩余货位的历史货位状态进行更新。
[0168]
本技术实施例中，通过监控设备可以实时采集空间区域的监控视频，根据预先设定的货位标识信息，从监控视频的视频帧中提取每个货位分别对应的货位剪裁图像，通过对货位剪裁图像执行位置矫正、特征提取、特征分类一系列操作，得到每个货位分别对应的目标货位状态，即通过监控设备即可实现对整个空间区域内的货位监控，可以减少货位状态检测成本，通过监控设备所拍摄的监控视频可以实时检测该空间区域内的每个货位的货位状态，可以提高货位状态检测效率；在对空间区域进行管理的过程中，可以实时检测每个货位分别对应的货位状态，并提高货位状态的货位速度和准确性。
[0169]
请参见图11，图11是本技术实施例提供的一种货位状态检测装置的结构示意图。如图11所示，该货位状态检测装置1可以包括：第一获取模块11，货位剪裁模块12，货位检测模块13；
[0170]
第一获取模块11，用于从监控设备所拍摄的监控视频中获取目标视频帧，获取与监控设备相关联的货位标识信息；货位标识信息包括m个货位分别在监控视频中的顶点像素坐标，m为正整数；
[0171]
货位剪裁模块12，用于根据货位标识信息所包含的m个货位分别对应的顶点像素坐标，从目标视频帧中获取m个货位剪裁图像，对m个货位剪裁图像所包含的货位进行位置矫正，得到m个货位区域图像；
[0172]
货位检测模块13，用于获取m个货位区域图像分别对应的货位区域特征，根据货位区域特征确定目标视频帧中的m个货位分别对应的目标货位状态；目标货位状态用于指示m个货位的物品占用情况。
[0173]
其中，第一获取模块11，货位剪裁模块12，货位检测模块13的具体功能实现方式可以参见上述图3所对应实施例中的步骤s101-步骤s103，这里不再进行赘述。
[0174]
在一个或多个实施例中，目标货位状态包括占用状态；
[0175]
该货位状态检测装置1还可以包括：货位对确定模块14，物品检测模块15，异常提示模块16；
[0176]
货位对确定模块14，用于若m个货位中存在具有相邻位置关系的两个货位的目标货位状态均为占用状态，则将两个货位确定为目标货位对；
[0177]
物品检测模块15，用于在目标视频帧中获取包含目标货位对的待检测区域图像，对待检测区域图像进行物品检测，得到待检测区域图像对应的物品检测结果；
[0178]
异常提示模块16，用于当物品检测结果为物品重叠结果时，生成针对目标货位对
的异常提示信息；物品重叠结果用于表征目标货位对被同一个物品所占用。
[0179]
其中，货位对确定模块14，物品检测模块15，异常提示模块16的具体功能实现方式可以参见上述图6所对应实施例中的步骤s208-步骤s210，这里不再进行赘述。
[0180]
在一个或多个实施例中，物品检测模块15可以包括：区域剪裁单元151，物体形状确定单元152，货位形状确定单元153，物品检测结果确定单元154；
[0181]
区域剪裁单元151，用于根据目标货位对所对应的顶点像素坐标，在目标视频帧中确定目标货位对关联的剪裁区域，将剪裁区域所覆盖的像素点确定为待检测区域图像；
[0182]
物体形状确定单元152，用于获取待检测区域图像中的物品边缘特征，根据物品边缘特征确定待检测区域图像中的物品边缘形状；
[0183]
货位形状确定单元153，用于根据目标货位对中的每个货位分别对应的顶点像素坐标，确定目标货位对中的每个货位分别对应的货位边缘形状；
[0184]
物品检测结果确定单元154，用于当物品边缘形状与目标货位对中的每个货位所对应的货位边缘形状均存在重叠区域时，确定待检测区域图像对应的物品检测结果为物品重叠结果。
[0185]
其中，区域剪裁单元151，物体形状确定单元152，货位形状确定单元153，物品检测结果确定单元154的具体功能实现方式可以参见上述图6所对应实施例中的步骤s209，这里不再进行赘述。
[0186]
在一个或多个实施例中，第一获取模块11可以包括：分帧处理单元111，背景模板获取单元112，视频帧抽取单元113；
[0187]
分帧处理单元111，用于获取监控设备所拍摄的监控视频，对监控视频进行分帧处理，得到监控视频对应的视频帧序列；
[0188]
背景模板获取单元112，用于获取监控设备对应的n个背景模板，以及n个背景模板分别对应的适用时间范围；n个背景模板是对监控设备在不同时间段内所拍摄的图像的背景进行建模得到的，n为正整数；
[0189]
视频帧抽取单元113，用于当第i个视频帧的拍摄时间属于第j个背景模板对应的适用时间范围，且第i个视频帧与第j个背景模板不一致时，将第i个视频帧确定为目标视频帧；第i个视频帧属于视频帧序列，第j个背景模板属于n个背景模板，i为小于或等于视频帧序列中的视频帧数量的正整数，j为小于或等于n的正整数。
[0190]
其中，分帧处理单元111，背景模板获取单元112，视频帧抽取单元113的具体功能实现方式可以参见上述图3所对应实施例中的步骤s101，这里不再进行赘述。
[0191]
在一个或多个实施例中，货位剪裁模块12可以包括：矩形区域确定单元121，视频帧分割单元122，位置矫正单元123；
[0192]
矩形区域确定单元121，用于在货位标识信息中，获取m个货位中的第k个货位对应的顶点像素坐标，根据第k个货位的顶点像素坐标，在目标视频帧中确定目标矩形区域；k为小于或等于m的正整数；
[0193]
视频帧分割单元122，用于根据目标矩形区域对目标视频帧进行分割，得到包含目标矩形区域所覆盖的像素点的第k个货位剪裁图像；第k个货位剪裁图像属于m个货位剪裁图像；
[0194]
位置矫正单元123，用于根据第k个货位对应的顶点像素坐标，确定第k个货位剪裁
图像对应的位置变换矩阵，基于位置变换矩阵对第k个货位剪裁图像进行位置矫正，得到第k个货位对应的货位区域图像。
[0195]
其中，矩形区域确定单元121，视频帧分割单元122，位置矫正单元123的具体功能实现方式可以参见上述图6所对应实施例中的步骤s202-步骤s204，这里不再进行赘述。
[0196]
在一个或多个实施例中，该货位状态检测装置1还可以包括：第二获取模块17，顶点坐标确定模块18，货位标识生成模块19；
[0197]
第二获取模块17，用于获取第k个货位对应的物理空间坐标信息，以及获取监控设备对应的设备外参和设备内参；设备外参用于表征监控设备在物理空间中的位置，设备内参由光学中心和监控设备的焦距所确定；
[0198]
顶点坐标确定模块18，用于根据物理空间坐标信息、设备外参以及设备内参，确定第k个货位对应的顶点像素坐标；
[0199]
货位标识生成模块19，用于根据第k个货位所对应的顶点像素坐标与第k个货位之间的对应关系，生成监控设备对应的货位标识信息。
[0200]
其中，第二获取模块17，顶点坐标确定模块18，货位标识生成模块19的具体功能实现方式可以参见上述图3所对应实施例中的步骤s101，这里不再进行赘述。
[0201]
在一个或多个实施例中，货位检测模块13可以包括：第一特征提取单元131，特征串联单元132，第一分类单元133；
[0202]
第一特征提取单元131，用于将m个货位区域图像中的第k个货位区域图像划分为l个图像块，获取l个图像块分别对应的局部区域特征；k为小于或等于m的正整数，l为正整数；
[0203]
特征串联单元132，用于将l个图像块分别对应的局部区域特征进行串联，得到第k个货位区域图像对应的货位区域特征；
[0204]
第一分类单元133，用于将第k个货位区域图像对应的货位区域特征输入至第一分类器，在第一分类器中对第k个货位区域图像的货位区域特征进行识别，得到第k个货位区域图像中的货位所对应的目标货位状态。
[0205]
其中，第一特征提取单元131可以包括：图像划分子单元1311，梯度直方图统计子单元1312，局部特征获取子单元1313；
[0206]
图像划分子单元1311，用于对m个货位区域图像中的第k个货位区域图像所包含的像素点进行划分，得到图像单元集合；图像单元集合中的每个图像单元所包含的像素点数量是相同的；
[0207]
梯度直方图统计子单元1312，用于根据每个图像单元中所包含的像素点的梯度，统计图像单元集合中的每个图像单元分别对应的梯度直方图；
[0208]
局部特征获取子单元1313，用于对图像单元集合中的图像单元进行图像块组合，得到l个图像块，将第d个图像块中的图像单元所对应的梯度直方图进行串联，得到第d个图像块对应的局部区域特征；第d个图像块属于l个图像块，d为小于或等于l的正整数。
[0209]
其中，第一分类单元133可以包括：预测距离确定子单元1331，货位状态确定子单元1332；
[0210]
预测距离确定子单元1331，用于将第k个货位区域图像对应的货位区域特征输入至第一分类器，在第一分类器中确定分类超平面与第k个货位区域图像对应的货位区域特
征之间的预测距离；
[0211]
货位状态确定子单元1332，用于若预测距离大于分类阈值，则确定第k个货位区域图像中的货位所对应的目标货位状态为占用状态；
[0212]
上述货位状态确定子单元1332，还用于若预测距离小于分类阈值，则确定第k个货位区域图像中的货位所对应的目标货位状态为空闲状态。
[0213]
可选的，货位检测模块13还可以包括：第二特征提取单元134，匹配度获取单元135，第二分类单元136；
[0214]
第二特征提取单元134，用于将m个货位区域图像中的第k个货位区域图像输入至图像识别模型，在图像识别模型中获取第k个货位区域图像对应的货位区域特征；
[0215]
匹配度获取单元135，用于通过图像识别模型中的第二分类器，获取占用属性特征和第k个货位区域图像所对应的货位区域特征之间的第一匹配度，以及空闲属性特征和第k个货位区域图像所对应的货位区域特征之间的第二匹配度；
[0216]
第二分类单元136，用于若第一匹配度大于第二匹配度，则确定第k个货位区域图像中的货位所对应的目标货位状态为占用状态；
[0217]
上述第二分类单元，还用于若第一匹配度小于第二匹配度，则确定第k个货位区域图像中的货位所对应的目标货位状态为空闲状态。
[0218]
其中，第二特征提取单元134可以包括：卷积子单元1341，残差子单元1342，货位特征获取单元1343；
[0219]
卷积子单元1341，用于将m个货位区域图像中的第k个货位区域图像输入至图像识别模型，根据图像识别模型中的卷积层，对第k个货位区域图像进行卷积处理，得到货位卷积特征；
[0220]
残差子单元1342，用于根据图像识别模型中的残差层，对货位卷积特征进行残差卷积处理，得到货位残差特征；
[0221]
货位特征获取单元1343，用于根据货位卷积特征和货位残差特征，生成第k个货位区域图像对应的货位区域特征。
[0222]
其中，第一特征提取单元131，特征串联单元132，第一分类单元133的具体功能实现方式可以参见上述图6所对应实施例中的步骤s205-步骤s207，第二特征提取单元134，匹配度获取单元135，第二分类单元136，以及各个单元所包含的子单元的具体功能实现方式可以参见上述图3所对应实施例中的步骤s103，这里不再进行赘述。其中，当第一特征提取单元131，特征串联单元132，第一分类单元133在执行相应的操作时，第二特征提取单元134，匹配度获取单元135，第二分类单元136均暂停执行操作；当第二特征提取单元134，匹配度获取单元135，第二分类单元136在执行相应的操作时，第一特征提取单元131，特征串联单元132，第一分类单元133均暂停执行操作。
[0223]
在一个或多个实施例中，该货位状态检测装置1还可以包括：货位状态更新模块20。
[0224]
货位状态更新模块20，用于当m个货位中的第k个货位所对应的目标货位状态与管理系统中的第k个货位所对应的历史货位状态不一致时，在管理系统中将历史货位状态更新为第k个货位所对应的目标货位状态；历史货位状态是指基于历史视频帧所确定的货位状态，历史视频帧的拍摄时间早于目标视频帧的拍摄时间，k为小于或等于m的正整数。
[0225]
其中，货位状态更新模块20的具体功能实现方式可以参见上述图3所对应实施例中的步骤s103，这里不再进行赘述。
[0226]
在一个或多个实施例中，该货位状态检测装置1还可以包括：训练样本获取模块21，负样本特征提取模块22，正样本特征提取模块23，超平面优化模块24；
[0227]
训练样本获取模块21，用于从监控设备所拍摄的历史监控视频中获取正样本区域图像和负样本区域图像；正样本区域图像包括占用标签，负样本区域图像包括空闲标签；
[0228]
负样本特征提取模块22，用于获取正样本区域图像对应的正样本区域特征，以及获取负样本区域图像对应的负样本区域特征；
[0229]
正样本特征提取模块23，用于根据正样本区域特征和占用标签，确定第一分类器中的第一超平面，根据负样本区域特征和空闲标签，确定第一分类器中的第二超平面；第一超平面平行于第二超平面；
[0230]
超平面优化模块24，用于当第一超平面与第二超平面之间的间隔距离优化至最大值时，根据第一超平面和第二超平面，确定第一分类器中的分类超平面；分类超平面与第一超平面之间的距离等于分类超平面与第二超平面之间的距离。
[0231]
其中，训练样本获取模块21，负样本特征提取模块22，正样本特征提取模块23，超平面优化模块24的具体功能实现方式可以参见上述图6所对应实施例中的步骤s207，这里不再进行赘述。
[0232]
本技术实施例中，通过监控设备可以实时采集空间区域的监控视频，根据预先设定的货位标识信息，从监控视频的视频帧中提取每个货位分别对应的货位剪裁图像，通过对货位剪裁图像执行位置矫正、特征提取、特征分类一系列操作，得到每个货位分别对应的目标货位状态，即通过监控设备即可实现对整个空间区域内的货位监控，可以减少货位状态检测成本，通过监控设备所拍摄的监控视频可以实时检测该空间区域内的每个货位的货位状态，可以提高货位状态检测效率；在对空间区域进行管理的过程中，可以实时检测每个货位分别对应的货位状态，并提高货位状态的货位速度和准确性。
[0233]
进一步地，请参见图12，图12是本技术实施例提供的一种计算机设备的结构示意图。如图12所示，该计算机设备1000可以为用户终端，例如，上述图1所对应实施例中的用户终端10d，还可以为服务器，例如，上述图1所对应实施例中的服务器10c，这里将不对其进行限制。为便于理解，本技术以计算机设备为用户终端为例，该计算机设备1000可以包括：处理器1001，网络接口1004和存储器1005，此外，该计算机设备1000还可以包括：用户接口1003，和至少一个通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。其中，用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如wi-fi接口)。存储器1004可以是高速ram存储器，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。存储器1005可选的还可以是至少一个位于远离前述处理器1001的存储装置。如图12所示，作为一种计算机可读存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及设备控制应用程序。
[0234]
其中，该计算机设备1000中的网络接口1004还可以提供网络通讯功能，且可选用户接口1003还可以包括显示屏(display)、键盘(keyboard)。在图12所示的计算机设备1000中，网络接口1004可提供网络通讯功能；而用户接口1003主要用于为用户提供输入的接口；
而处理器1001可以用于调用存储器1005中存储的设备控制应用程序，以实现：
[0235]
从监控设备所拍摄的监控视频中获取目标视频帧，获取与监控设备相关联的货位标识信息；货位标识信息包括m个货位分别在监控视频中的顶点像素坐标，m为正整数；
[0236]
根据货位标识信息所包含的m个货位分别对应的顶点像素坐标，从目标视频帧中获取m个货位剪裁图像，对m个货位剪裁图像所包含的货位进行位置矫正，得到m个货位区域图像；
[0237]
获取m个货位区域图像分别对应的货位区域特征，根据货位区域特征确定目标视频帧中的m个货位分别对应的目标货位状态；目标货位状态用于指示m个货位的物品占用情况。
[0238]
应当理解，本技术实施例中所描述的计算机设备1000可执行前文图3和图6任一个所对应实施例中对货位状态检测方法的描述，也可执行前文图7所对应实施例中对货位状态检测装置1的描述，在此不再赘述。另外，对采用相同方法的有益效果描述，也不再进行赘述。
[0239]
此外，这里需要指出的是：本技术实施例还提供了一种计算机可读存储介质，且计算机可读存储介质中存储有前文提及的货位状态检测装置1所执行的计算机程序，且计算机程序包括程序指令，当处理器执行程序指令时，能够执行前文图3和图6任一个所对应实施例中对货位状态检测方法的描述，因此，这里将不再进行赘述。另外，对采用相同方法的有益效果描述，也不再进行赘述。对于本技术所涉及的计算机可读存储介质实施例中未披露的技术细节，请参照本技术方法实施例的描述。作为示例，程序指令可被部署在一个计算设备上执行，或者在位于一个地点的多个计算设备上执行，又或者，在分布在多个地点且通过通信网络互连的多个计算设备上执行，分布在多个地点且通过通信网络互连的多个计算设备可以组成区块链系统。
[0240]
此外，需要说明的是：本技术实施例还提供了一种计算机程序产品或计算机程序，该计算机程序产品或者计算机程序可以包括计算机指令，该计算机指令可以存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器可以执行该计算机指令，使得该计算机设备执行前文图3和图6任一个所对应实施例中对货位状态检测方法的描述，因此，这里将不再进行赘述。另外，对采用相同方法的有益效果描述，也不再进行赘述。对于本技术所涉及的计算机程序产品或者计算机程序实施例中未披露的技术细节，请参照本技术方法实施例的描述。
[0241]
需要说明的是，对于前述的各个方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本技术并不受所描述的动作顺序的限制，因为依据本技术，某一些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本技术所必须的。
[0242]
本技术实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。
[0243]
本技术实施例装置中的模块可以根据实际需要进行合并、划分和删减。
[0244]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，计算机程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，存储介质可为磁碟、光
盘、只读存储器(read-only memory，rom)或随机存储器(random access memory，ram)等。
[0245]
以上所揭露的仅为本技术较佳实施例而已，当然不能以此来限定本技术之权利范围，因此依本技术权利要求所作的等同变化，仍属本技术所涵盖的范围。