行人驻留时长确定方法、装置以及计算机可读存储介质与流程

1.本发明涉及图像处理技术领域，具体提供一种行人驻留时长确定方法、装置以及计算机可读存储介质。


背景技术：

2.为了满足区域安防和管理等需求，通常需要对出入这些区域的行人驻留时长进行确定，进而再根据确定出的行人驻留时长采用相应等级的安防措施或管理措施等。目前常规的行人驻留时长确定方法主要是先获取进入这些区域的行人的人脸图像，然后根据人脸图像对行人进行身份识别，最后根据身份识别的结果确定进入这些区域的行人的驻留时长。但是，在无法获取行人的人脸图像的情况下，将不能继续使用上述方法对行人驻留时长进行确定。
3.相应地，本领域需要一种新的行人驻留时长确定方案来解决上述问题。


技术实现要素：

4.本发明旨在解决上述技术问题，即，解决在无法获取行人的人脸图像的情况下，如何准确地对行人驻留时长进行确定的问题。
5.在第一方面，本发明提供一种行人驻留时长确定方法，所述方法包括：
6.对目标区域的区域监控视频中的每帧监控图像分别进行行人检测，得到行人检测框；
7.对所述行人检测框与预设的所述目标区域的轨迹池中的行人轨迹进行轨迹匹配，根据轨迹匹配的结果对所述轨迹池进行行人轨迹更新；其中，所述轨迹池中当前存储的行人轨迹是根据所述目标区域的历史行人检测框确定的；
8.针对更新后的轨迹池中的每个行人轨迹，根据所述行人轨迹中的首个行人检测框和最后一个行人检测框各自对应的监控图像，确定所述行人轨迹所表示的行人在所述目标区域内的驻留时长。
9.在上述行人驻留时长确定方法的一个技术方案中，“对所述行人检测框与预设的所述目标区域的轨迹池中的行人轨迹进行轨迹匹配”的步骤具体包括：
10.采用预设的行人重识别模型分别提取在所述监控图像中每个行人检测框各自对应的行人图像的行人图像特征；
11.针对每个行人检测框，分别计算所述行人检测框对应的行人图像特征与每个所述行人轨迹的轨迹特征之间的相似度代价值；其中，所述行人图像特征与所述轨迹特征之间的特征相似程度与所述相似度代价值成负相关关系；
12.根据所述相似度代价值对所述行人检测框与所述行人轨迹进行轨迹匹配：
13.并且/或者，“确定所述行人轨迹所表示的行人在所述目标区域内的驻留时长”的步骤具体包括：
14.根据所述行人轨迹中的首个行人检测框和最后一个行人检测框各自对应的监控
图像，并按照下式所示的方法计算所述行人轨迹所表示的行人在所述目标区域内的驻留时长：
[0015][0016]
其中，所述t
duration
表示驻留时长，所述frame_leave表示所述最后一个行人检测框对应的监控图像的帧号，所述frame_enter表示所述首个行人检测框对应的监控图像的帧号，所述fps表示所述区域监控视频的视频帧率。
[0017]
在上述行人驻留时长确定方法的一个技术方案中，“根据所述相似度代价值对所述行人检测框与所述行人轨迹进行轨迹匹配”的步骤具体包括：
[0018]
选取所述行人检测框中相似度代价值小于第一预设阈值的行人检测框，采用匈牙利算法并且根据选取到的每个所述行人检测框各自对应的相似度代价值对所述行人检测框与所述行人轨迹进行轨迹匹配，以确定匹配成功的行人检测框和匹配失败的行人轨迹；
[0019]
选取除所述匹配成功的行人检测框以外剩余的行人检测框中相似度代价值小于第二预设阈值的行人检测框，采用匈牙利算法并且根据选取到的每个所述行人检测框各自对应的相似度代价值对所述行人检测框与所述行人轨迹进行轨迹匹配，以确定匹配失败的行人检测框；
[0020]
其中，所述第一预设阈值小于所述第二预设阈值。
[0021]
在上述行人驻留时长确定方法的一个技术方案中，“根据轨迹匹配的结果对所述轨迹池进行行人轨迹更新”的步骤具体包括：
[0022]
针对每个匹配成功的行人检测框，获取与所述行人检测框匹配成功的行人轨迹，根据所述行人检测框对所述行人轨迹包含的行人检测框进行检测框更新，根据所述行人检测框对应的行人图像特征对所述行人轨迹的轨迹特征进行特征更新；
[0023]
针对每个匹配失败的行人检测框，根据所述行人检测框在所述轨迹池中创建新的行人轨迹，根据所述行人检测框对应的行人图像特征确定所述新的行人轨迹的初始轨迹特征；
[0024]
针对每个匹配失败的行人轨迹，判断在根据连续的多帧监控图像进行行人驻留时长确定时得到的所有轨迹匹配的结果中所述行人轨迹是否均为匹配失败的行人轨迹；若是，则从所述轨迹池中删除所述行人轨迹。
[0025]
第二方面，提供一种行人驻留时长确定装置，所述装置包括：
[0026]
行人检测框获取模块，其被配置成对目标区域的区域监控视频中的每帧监控图像分别进行行人检测，得到行人检测框；
[0027]
行人轨迹更新模块，其被配置成对所述行人检测框与预设的所述目标区域的轨迹池中的行人轨迹进行轨迹匹配，根据轨迹匹配的结果对所述轨迹池进行行人轨迹更新；其中，所述轨迹池中当前存储的行人轨迹是根据所述目标区域的历史行人检测框确定的；
[0028]
驻留时长确定模块，其被配置成针对更新后的轨迹池中的每个行人轨迹，根据所述行人轨迹中的首个行人检测框和最后一个行人检测框各自对应的监控图像，确定所述行人轨迹所表示的行人在所述目标区域内的驻留时长。
[0029]
在上述行人驻留时长确定装置的一个技术方案中，所述行人轨迹更新模块包括行人轨迹匹配子模块，所述行人轨迹匹配子模块包括：
[0030]
行人图像特征提取单元，其被配置成采用预设的行人重识别模型分别提取在所述监控图像中每个行人检测框各自对应的行人图像的行人图像特征；
[0031]
相似度代价值计算单元，其被配置成针对每个行人检测框，分别计算所述行人检测框对应的行人图像特征与每个所述行人轨迹的轨迹特征之间的相似度代价值；其中，所述行人图像特征与所述轨迹特征之间的特征相似程度与所述相似度代价值成负相关关系；
[0032]
行人轨迹匹配单元，其被配置成根据所述相似度代价值对所述行人检测框与所述行人轨迹进行轨迹匹配；
[0033]
并且/或者，所述驻留时长确定模块被进一步配置成根据所述起始帧号与所述终止帧号，并按照下式所示的方法计算所述行人轨迹所表示的行人在所述目标区域内的驻留时长：
[0034][0035]
其中，所述t
duration
表示驻留时长，所述frame_leave表示终止帧号，所述frame_enter表示起始帧号，所述fps表示所述区域监控视频的视频帧率。
[0036]
在上述行人驻留时长确定装置的一个技术方案中，所述行人轨迹匹配单元被进一步配置成执行下列操作：
[0037]
选取所述行人检测框中相似度代价值小于第一预设阈值的行人检测框，采用匈牙利算法并且根据选取到的每个所述行人检测框各自对应的相似度代价值对所述行人检测框与所述行人轨迹进行轨迹匹配，以确定匹配成功的行人检测框和匹配失败的行人轨迹；
[0038]
选取除所述匹配成功的行人检测框以外剩余的行人检测框中相似度代价值小于第二预设阈值的行人检测框，采用匈牙利算法并且根据选取到的每个所述行人检测框各自对应的相似度代价值对所述行人检测框与所述行人轨迹进行轨迹匹配，以确定匹配失败的行人检测框；
[0039]
其中，所述第一预设阈值小于所述第二预设阈值。
[0040]
在上述行人驻留时长确定装置的一个技术方案中，所述行人轨迹更新模块还包括行人轨迹更新子模块，所述行人轨迹更新子模块包括：
[0041]
第一轨迹更新单元，其被配置成针对每个匹配成功的行人检测框，获取与所述行人检测框匹配成功的行人轨迹，根据所述行人检测框对所述行人轨迹包含的行人检测框进行检测框更新，根据所述行人检测框对应的行人图像特征对所述行人轨迹的轨迹特征进行特征更新；
[0042]
第二轨迹更新单元，其被配置成针对每个匹配失败的行人检测框，根据所述行人检测框在所述轨迹池中创建新的行人轨迹，根据所述行人检测框对应的行人图像特征确定所述新的行人轨迹的初始轨迹特征；
[0043]
第三轨迹更新单元，其被配置成针对每个匹配失败的行人轨迹，判断在根据连续的多帧监控图像进行行人驻留时长确定时得到的所有轨迹匹配的结果中所述行人轨迹是否均为匹配失败的行人轨迹；若是，则从所述轨迹池中删除所述行人轨迹。
[0044]
在第三方面，提供一种控制装置，该控制装置包括处理器和存储装置，所述存储装置适于存储多条程序代码，所述程序代码适于由所述处理器加载并运行以执行上述行人驻留时长确定方法的技术方案中任一项技术方案所述的行人驻留时长确定方法。
[0045]
在第四方面，提供一种计算机可读存储介质，该计算机可读存储介质其中存储有多条程序代码，所述程序代码适于由处理器加载并运行以执行上述行人驻留时长确定方法的技术方案中任一项技术方案所述的行人驻留时长确定方法。
[0046]
在采用上述技术方案的情况下，本发明能够对目标区域的区域监控视频中的每帧监控图像分别进行行人检测，得到行人检测框；对行人检测框与预设的目标区域的轨迹池中的行人轨迹进行轨迹匹配，根据轨迹匹配的结果对轨迹池进行行人轨迹更新；针对更新后的轨迹池中的每个行人轨迹，根据行人轨迹中的首个行人检测框和最后一个行人检测框各自对应的监控图像，确定行人轨迹所表示的行人在目标区域内的驻留时长。
[0047]
基于上述实施方式，对行人检测框与行人轨迹进行轨迹匹配，实现行人轨迹的匹配与更新，从而能够根据行人轨迹进行行人驻留时长确定。进一步，在通过轨迹匹配与更新(跟踪)后根据行人轨迹分别确定行人进入与离开目标区域的监控图像(行人轨迹中的首个行人检测框和最后一个行人检测框各自对应的监控图像)，能够根据行人进入与离开目标区域的监控图像准确地计算出行人在目标区域的驻留时长，从而即使在无法获取行人的人脸图像的情况下，也能够准确地进行行人驻留时长确定。
[0048]
此外，由于可能存在行人多次出入目标区域的情况，相较于直接记录行人最初进入目标区域的时间和行人最终离开目标区域的时间，根据这两个时间计算驻留时长的方式，本发明实施例所述的方法能够准确计算出行人每次出入目标区域的驻留时长，根据每次出入目标区域的驻留时长的时长之和，就可以得到行人在目标区域内总的驻留时长。
附图说明
[0049]
参照附图，本发明的公开内容将变得更易理解。本领域技术人员容易理解的是：这些附图仅仅用于说明的目的，而并非意在对本发明的保护范围组成限制。此外，图中类似的数字用以表示类似的部件，其中：
[0050]
图1是根据本发明的一个实施例的行人驻留时长确定方法的主要步骤流程示意图；
[0051]
图2是根据本发明的一个实施例的轨迹匹配的方法的主要步骤流程示意图；
[0052]
图3是根据本发明的另一个实施例的行人驻留时长确定方法的主要步骤流程示意图；
[0053]
图4是根据本发明的一个实施例的行人驻留时长确定的主要结构框图示意图；
[0054]
图5是根据本发明的一个实施例的提取行人图像特征的流程示意图；
[0055]
图6是根据本发明的一个实施例的提取行人图像特征与更新轨迹特征的流程示意图；
[0056]
图7是根据本发明的一个实施例的行人多次出入目标区域的起始帧号与终止帧号的序列示意图。
[0057]
附图标记列表：
[0058]
11：行人检测框获取模块；12：行人轨迹更新模块；13驻留时长确定模块。
具体实施方式
[0059]
下面参照附图来描述本发明的一些实施方式。本领域技术人员应当理解的是，这
些实施方式仅仅用于解释本发明的技术原理，并非旨在限制本发明的保护范围。
[0060]
在本发明的描述中，“模块”、“处理器”可以包括硬件、软件或者两者的组合。一个模块可以包括硬件电路，各种合适的感应器，通信端口，存储器，也可以包括软件部分，比如程序代码，也可以是软件和硬件的组合。处理器可以是中央处理器、微处理器、图像处理器、数字信号处理器或者其他任何合适的处理器。处理器具有数据和/或信号处理功能。处理器可以以软件方式实现、硬件方式实现或者二者结合方式实现。非暂时性的计算机可读存储介质包括任何合适的可存储程序代码的介质，比如磁碟、硬盘、光碟、闪存、只读存储器、随机存取存储器等等。术语“a和/或b”表示所有可能的a与b的组合，比如只是a、只是b或者a和b。术语“至少一个a或b”或者“a和b中的至少一个”含义与“a和/或b”类似，可以包括只是a、只是b或者a和b。单数形式的术语“一个”、“这个”也可以包含复数形式。
[0061]
这里先解释本发明涉及到的一些术语。
[0062]
行人重识别模型指的是利用行人重识别(person re
‑
identification，re
‑
id)技术构建卷积神经网络模型，其能够提取人体图像的人体特征，即re
‑
id特征。在本发明实施例中采用行人重识别模型能够提取在监控图像中行人检测框对应的行人图像的行人图像特征，该行人图像特征也就是说上述re
‑
id特征。
[0063]
匈牙利算法(hungary)是一种在多项式时间内求解任务分配问题的组合优化算法，该算法是美国数学家哈罗德
·
库恩提出的。为了描述简洁，在此不再对匈牙利算法的具体算法原理进行赘述。
[0064]
下面结合附图对本发明实施例中的行人驻留时长确定方法进行说明。
[0065]
参阅附图1，图1是根据本发明的一个实施例的行人驻留时长确定方法的主要步骤流程示意图。如图1所示，本发明实施例中的行人驻留时长确定方法主要包括下列步骤s101
‑
步骤s103。
[0066]
步骤s101：对目标区域的区域监控视频中的每帧监控图像分别进行行人检测，得到行人检测框。
[0067]
在本实施例中可以对区域监控视频进行解析获取区域监控视频中的每帧监控图像，再对每帧监控图像分别进行行人检测，得到行人检测框。其中，行人检测框指的是监控图像中单个行人的检测框，其能够表示单个行人在监控图像中的图像位置，根据行人检测框就可以对行人进行图像定位。在本实施例中可以采用图像处理技术领域中常规的行人检测方法对监控图像进行行人检测，并根据检测的结果获取行人检测框。
[0068]
步骤s102：对行人检测框与预设的目标区域的轨迹池中的行人轨迹进行轨迹匹配，根据轨迹匹配的结果对轨迹池进行行人轨迹更新。
[0069]
在本实施例中轨迹池指的是能够存储与目标区域相关的所有或一部分行人轨迹的区域。轨迹池中当前存储的行人轨迹是根据目标区域的历史行人检测框确定的。例如，在某日对进入目标区域的行人进行首次行人驻留时长确定时，可以在检测到行人检测框之后，为每个行人检测框分别创建一个行人轨迹如为每个行人检测框分别分配一个轨迹id，同时设置每个轨迹id所表示的行人轨迹包含的行人检测框的检测框信息。随后，当再次检测到行人检测框之后，就可以对这些行人检测框与轨迹池中的行人轨迹进行轨迹匹配，根据轨迹匹配的结果对轨迹池进行行人轨迹更新，如对当前存储的行人轨迹进行更新或创建新的行人轨迹或删除当前存储的行人轨迹等等。此外，在本实施例中也可以将行人检测框
存储在预设的目标区域的检测池内，该检测池同样是能够存储与目标区域相关的所有或一部分行人检测框的区域。
[0070]
在本实施例的一个实施方式中，如果区域监控视频是离线视频，可以在对轨迹池进行行人轨迹更新后，对轨迹池中的行人轨迹进行轨迹聚类，将属于同一个轨迹id的行人轨迹进行聚类，以便后续的步骤s103能够更加快速且准确地确定每个轨迹id对应的行人轨迹所表示的行人在目标区域内的驻留时长。在本实施方式中可以采用dbscan聚类算法或infomap聚类算法等图像处理技术领域中常规的图像数据聚类算法对所有有效的行人轨迹进行轨迹聚类。为了描述简洁，在此不再对上述聚类算法的算法原理进行赘述。
[0071]
步骤s103：针对更新后的轨迹池中的每个行人轨迹，根据行人轨迹中的首个行人检测框和最后一个行人检测框各自对应的监控图像，确定行人轨迹所表示的行人在目标区域内的驻留时长。
[0072]
在本实施例中可以根据行人轨迹中的首个行人检测框和最后一个行人检测框各自对应的监控图像的图像采集时刻计算驻留时长，也可以先确定这两个监控图像的帧号，在基于区域监控视频的视频帧率与这两个监控图像的帧号计算驻留时长。具体而言，在本实施例的一个实施方式中，可以基于区域监控视频的视频帧率，根据行人轨迹中的首个行人检测框和最后一个行人检测框各自对应的监控图像，并按照下式(1)所示的方法计算行人轨迹所表示的行人在目标区域内的驻留时长：
[0073][0074]
公式(1)中各参数含义如下：
[0075]
t
duration
表示驻留时长，frame_leave表示最后一个行人检测框对应的监控图像的帧号，frame_enter表示首个行人检测框对应的监控图像的帧号，fps表示视频帧率。
[0076]
在本实施方式中可以将行人进入目标区域后检测到的首个行人检测框作为行人轨迹中的首个行人检测框，然后将首个行人检测框各自对应的监控图像的帧号分别作为行人轨迹的起始帧号和终止帧号。同时，在行人在目标区域内活动过程中，根据经过步骤s101
‑
步骤s102持续检测与匹配到的最新的行人检测框所对应的监控图像的帧号不断更新终止帧号，直至在确定行人离开目标区域后停止更新终止帧号。
[0077]
在本实施例中在得到行人在目标区域内的驻留时长后，可以以区域监控视频的视频编号、目标区域的区域编号和行人轨迹的轨迹id为关键字建立驻留时长统计字典，采用驻留时长统计字典记录每个目标区域内每个行人的驻留时长。
[0078]
进一步，在实际应用中，可能存在行人多次出入目标区域，对此仍然可以根据上述步骤s101
‑
步骤s103所述的方法，依次获取行人每次出入目标区域的行人轨迹，进而得到每个行人轨迹的起始帧号和终止帧号，即得到行人每次进入目标区域的起始帧号和每次离开目标区域的终止帧号的帧号序列。图7示例性出了行人两次出入目标区域的起始帧号和终止帧号的帧号序列。假设，行人第1次进入的起始帧号是frame_enter1，行人第1次离开终止帧号是frame_leave1，行人第2次进入的起始帧号是frame_enter2，行人第2次离开终止帧号是frame_leave2，那么根据公式(1)所示的方法可以得到该行人在目标区域的驻留时长的计算公式如下式(2)所示：
[0079][0080]
基于上述步骤s101
‑
步骤s103，本发明实施例通过对行人检测框与行人轨迹进行轨迹匹配，实现了行人轨迹的匹配与更新，从而能够根据行人轨迹进行行人驻留时长确定。进一步，在通过轨迹匹配与更新(跟踪)后根据行人轨迹分别确定行人进入与离开目标区域的监控图像，能够根据该监控图像准确地计算出行人在目标区域的驻留时长。由于可能存在行人多次出入目标区域的情况，相较于直接记录行人最初进入目标区域的时间和行人最终离开目标区域的时间，根据这两个时间计算驻留时长的方式，本发明实施例所述的方法能够准确计算出行人每次出入目标区域的驻留时长，根据每次出入目标区域的驻留时长的时长之和，就可以得到行人在目标区域内总的驻留时长。
[0081]
下面对上述步骤s102作具体说明。
[0082]
参阅附图2，在步骤s 102的一个实施方式中，可以通过下列步骤s201
‑
步骤s203对行人检测框与预设的目标区域的轨迹池中的行人轨迹进行轨迹匹配。
[0083]
步骤s201：采用预设的行人重识别模型分别提取在监控图像中每个行人检测框各自对应的行人图像的行人图像特征。
[0084]
步骤s202：针对每个行人检测框，分别计算行人检测框对应的行人图像特征与每个行人轨迹的轨迹特征之间的相似度代价值；其中，行人图像特征与轨迹特征之间的特征相似程度与相似度代价值成负相关关系。
[0085]
在一个实施方式中，由于行人图像特征与轨迹特征的表示形式均为特征向量的形式，因此可以先计算行人图像特征与轨迹特征之间的夹角的余弦值确定行人图像特征与轨迹特征之间的相似度(余弦相似度)，再根据余弦相似度计算相似度代价值。具体而言，可以采用下式(3)所示的方法计算行人图像特征与轨迹特征之间的相似度代价值：
[0086][0087]
公式(3)中各参数含义如下：
[0088]
a表示行人图像特征，b表示轨迹特征，表示行人图像特征与轨迹特征之间的相似度，cost(a，b)表示行人图像特征与轨迹特征之间的相似度代价值。
[0089]
步骤s203：根据相似度代价值对行人检测框与行人轨迹进行轨迹匹配。
[0090]
在一个实施方式中，可以通过下列步骤11
‑
步骤12根据相似度代价值对行人检测框与行人轨迹进行轨迹匹配：
[0091]
步骤11：选取行人检测框中相似度代价值小于第一预设阈值的行人检测框，采用匈牙利算法并且根据选取到的每个行人检测框各自对应的相似度代价值对行人检测框与行人轨迹进行轨迹匹配，以确定匹配成功的行人检测框和匹配失败的行人轨迹。
[0092]
步骤12：选取除匹配成功的行人检测框以外剩余的行人检测框中相似度代价值小于第二预设阈值的行人检测框，采用匈牙利算法并且根据选取到的每个行人检测框各自对应的相似度代价值对行人检测框与行人轨迹进行轨迹匹配，以确定匹配失败的行人检测框；其中，第一预设阈值小于第二预设阈值。需要说明的是，本领域技术人员可以根据实际需求灵活地设置第一预设阈值和第二预设阈值的具体数值，例如第一预设阈值可以是0.4，第二预设阈值可以是0.65。
[0093]
由于第一预设阈值是一个较小值，如果行人检测框中相似度代价值小于第一预设阈值，则表明行人检测框对应的行人图像特征与行人轨迹的轨迹特征的特征相似程度较高，进而经过匈牙利算法确定出的匹配成功的行人检测框的可信程度也是较高的。此外，由于第二预设阈值是一个较大值，如果行人检测框中相似度代价值小于第二预设阈值，则表明至少存在一部分行人检测框对应的行人图像特征与行人轨迹的轨迹特征的特征相似程度较低，进而经过匈牙利算法确定出的匹配失败的行人检测框的可信程度也是较高的，但此时经匈牙利算法确定出的匹配成功的行人检测框的可信程度是较低的，为了降低轨迹匹配发生误匹配导致的跟串或跟丢等问题可以删除这些匹配成功的行人检测框，即可以仅根据步骤11获取匹配成功的行人检测框。其中，跟串指的是同一个行人轨迹的轨迹id被分配给了不同的行人，跟丢指的是一个行人被分配了多个不同的行人轨迹的轨迹id。
[0094]
进一步，在另一个实施方式中，为了加快轨迹匹配的处理效率，也可以不采用上述步骤11
‑
步骤12所述的双阈值匹配的方法，可以直接选取行人检测框中相似度代价值小于第三预设阈值的行人检测框，采用匈牙利算法并且根据选取到的每个行人检测框各自对应的相似度代价值对行人检测框与行人轨迹进行轨迹匹配，以确定匹配成功的行人检测框、匹配失败的行人检测框和匹配失败的行人轨迹。同样，本领域技术人员也可以根据实际需求灵活地设置第三预设阈值。
[0095]
通过上述步骤s201
‑
步骤s203，可以在无法获取行人的人脸图像的情况下，采用提取re
‑
id特征(采用预设的行人重识别模型提取到的行人图像特征)的方式获取行人特征，进而根据行人图像特征与轨迹特征之间的相似度代价值，对行人检测框与行人轨迹进行轨迹匹配，实现行人轨迹的匹配与跟踪，从而能够根据行人轨迹进行准确地行人驻留时长确定。
[0096]
在步骤s102的一个实施方式中，可以根据轨迹匹配的结果并通过下列步骤21
‑
步骤23对轨迹池进行行人轨迹更新：
[0097]
步骤21：针对每个匹配成功的行人检测框，获取与行人检测框匹配成功的行人轨迹，根据行人检测框对行人轨迹包含的行人检测框进行检测框更新，根据行人检测框对应的行人图像特征对行人轨迹的轨迹特征进行特征更新。
[0098]
根据前述实施例所述可知，轨迹池中当前存储的行人轨迹是根据目标区域的历史行人检测框确定的，行人轨迹可以包含行人检测框的检测框信息，同时行人轨迹包含的行人检测框都分配有这个行人轨迹的轨迹id。因此，在根据行人检测框对行人轨迹包含的行人检测框进行检测框更新，可以在行人轨迹的检测框信息中增加匹配成功的行人检测框，同时为匹配成功的行人检测框分配这个行人轨迹的轨迹id。
[0099]
在本实施方式中可以根据行人检测框对应的行人图像特征并通过下式(4)所示的方法对行人轨迹的轨迹特征进行特征更新：
[0100]
f
new
＝α
·
f
pre
+(1
‑
α)
·
f
cur
ꢀꢀꢀ
(4)
[0101]
公式(4)中各参数的含义如下：
[0102]
f
new
表示特征更新后行人轨迹的轨迹特征，f
pre
表示特征更新前行人轨迹的轨迹特征，f
cur
表示与行人轨迹匹配成功的行人检测框对应的行人图像特征，α表示预设的权重。
[0103]
参阅附图5，将行人检测框输入至预设的行人重识别模型，行人重识别模型提取在监控图像中行人检测框各自对应的行人图像的行人图像特征，在经过步骤s102后确定这个
行人检测框是匹配成功的行人检测框，此时可以根据这个行人检测框对应的行人图像特征对行人轨迹的轨迹特征进行更新。
[0104]
步骤22：针对每个匹配失败的行人检测框，根据行人检测框在轨迹池中创建新的行人轨迹，根据行人检测框对应的行人图像特征确定新的行人轨迹的初始轨迹特征。
[0105]
在本实施方式中，在创建新的行人轨迹时可以在新的行人轨迹的检测框信息中增加匹配失败的行人检测框，同时为匹配失败的行人检测框分配这个新的行人轨迹的轨迹id，并将匹配失败的行人检测框对应的行人图像特征作为上述新的行人轨迹的初始轨迹特征。
[0106]
步骤23：针对每个匹配失败的行人轨迹，判断在根据连续的多帧监控图像进行行人驻留时长确定时得到的所有轨迹匹配的结果中行人轨迹是否均为匹配失败的行人轨迹；若是，则从轨迹池中删除行人轨迹。
[0107]
参阅附图6，在一个例子中，轨迹池内包括六个行人轨迹，检测池内包括六个行人检测框。通过步骤11
‑
步骤12可以确定，三个行人检测框分别与行人轨迹4
‑
6匹配上，即这三个行人检测框是匹配成功的行人检测框(图6所示的匹配成功的检测框)，可以根据这三个行人检测框各自对应的行人图像特征，分别对行人轨迹4
‑
6进行轨迹特征更新(图6所示的轨迹更新)。还有三个行人检测框与任何行人轨迹都没有匹配上，即这三个行人检测框是匹配失败的行人检测框(图6所示的匹配失败的检测框)，可以为这三个行人检测框创建新的行人轨迹(图6所示的创建新的轨迹)，并将这些新创建的行人轨迹存储至轨迹池中。此外，行人轨迹1
‑
3都没有与任何的行人检测框匹配上，即行人轨迹1
‑
3是匹配失败的行人轨迹(图6所示的匹配失败的轨迹)。此时，通过步骤23判断出行人轨迹1
‑
3中的两个行人轨迹在根据连续的多帧监控图像进行行人驻留时长确定时得到的所有轨迹匹配的结果不均为匹配失败的行人轨迹，即这两个行人轨迹属于未超过等待时间的轨迹。而行人轨迹1
‑
3中的一个行人轨迹在根据连续的多帧监控图像进行行人驻留时长确定时得到的所有轨迹匹配的结果不均为匹配失败的行人轨迹，即这个行人轨迹属于超过等待时间的轨迹。因此，可以将未超过等待时间的轨迹继续存储在轨迹池内(图6所示的继续在轨迹池中存储轨迹)，将超过等待时间的轨迹从轨迹池内删除(图6所示的删除轨迹)。
[0108]
基于上述步骤21
‑
步骤23，当在根据连续的多帧监控图像进行行人驻留时长确定时得到的所有轨迹匹配的结果中行人轨迹是否均为匹配失败的行人轨迹时，表明这个行人轨迹所表示的行人可能已经离开了目标区域，后续无需再对这个行人轨迹进行轨迹匹配等操作，因此可以直接删除这个行人轨迹。通过删除这些行人轨迹不仅能够减轻轨迹池的存储压力，还能够避免由于人体图像特征相似导致的轨迹匹配错误，例如两个行人都穿黑色的衣服，可能导致这两个人的行人图像特征比较相似，在其中一人已经离开目标区域后如果不删除这个人的行人轨迹，在进行轨迹匹配时可能导致这个人的行人轨迹与另一个人的行人图像特征匹配上。
[0109]
此外，通过判断在根据连续的多帧监控图像进行行人驻留时长确定时得到的所有轨迹匹配的结果中行人轨迹是否均为匹配失败的行人轨迹的方式确定行人是否已经离开了目标区域，能够有效避免由于遮挡或行人短暂离开目标区域导致的行人轨迹误删除。
[0110]
参阅附图3，图3是根据本发明的另一个实施例的行人驻留时长确定方法的主要步骤流程示意图。如图3所示，本发明实施例中的行人驻留时长确定方法主要包括下列步骤
s301
‑
步骤s305。
[0111]
步骤s301：获取目标区域的区域监控视频。
[0112]
步骤s302：对区域监控视频中的每帧监控图像进行行人检测，得到行人检测框。
[0113]
步骤s303：提取在监控图像中每个行人检测框各自对应的行人图像的行人图像特征。
[0114]
步骤s304：对行人检测框与预设的目标区域的轨迹池中的行人轨迹进行轨迹匹配。
[0115]
步骤s305：确定行人轨迹所表示的行人在目标区域内的驻留时长。
[0116]
需要说明的是，上述步骤s301
‑
步骤s305中各步骤所述的方法，分别与前述行人驻留时长确定方法实施例中描述的相关方法相同，为了描述简洁，在此不再赘述。
[0117]
需要指出的是，尽管上述实施例中将各个步骤按照特定的先后顺序进行了描述，但是本领域技术人员可以理解，为了实现本发明的效果，不同的步骤之间并非必须按照这样的顺序执行，其可以同时(并行)执行或以其他顺序执行，这些变化都在本发明的保护范围之内。
[0118]
进一步，本发明还提供了一种行人驻留时长确定装置。
[0119]
参阅附图4，图4是根据本发明的一个实施例的行人驻留时长确定装置的主要结构框图。如图4所示，本发明实施例中的行人驻留时长确定装置主要包括行人检测框获取模块11、行人轨迹更新模块12和驻留时长确定模块13。在一些实施例中，行人检测框获取模块11、行人轨迹更新模块12和驻留时长确定模块13中的一个或多个可以合并在一起成为一个模块。在一些实施例中行人检测框获取模块11可以被配置成对目标区域的区域监控视频中的每帧监控图像分别进行行人检测，得到行人检测框；行人轨迹更新模块12可以被配置成对行人检测框与预设的目标区域的轨迹池中的行人轨迹进行轨迹匹配，根据轨迹匹配的结果对轨迹池进行行人轨迹更新；其中，轨迹池中当前存储的行人轨迹是根据目标区域的历史行人检测框确定的；驻留时长确定模块13可以被配置成针对更新后的轨迹池中的每个行人轨迹，根据行人轨迹中的首个行人检测框和最后一个行人检测框各自对应的监控图像，确定行人轨迹所表示的行人在目标区域内的驻留时长。一个实施方式中，具体实现功能的描述可以参见步骤s101
‑
步骤s103所述。
[0120]
在一个实施方式中，行人轨迹更新模块12可以包括行人轨迹匹配子模块。在本实施方式中行人轨迹匹配子模块包括行人图像特征提取单元、相似度代价值计算单元和行人轨迹匹配单元。行人图像特征提取单元可以被配置成采用预设的行人重识别模型分别提取在监控图像中每个行人检测框各自对应的行人图像的行人图像特征；相似度代价值计算单元可以被配置成针对每个行人检测框，分别计算行人检测框对应的行人图像特征与每个行人轨迹的轨迹特征之间的相似度代价值；其中，行人图像特征与轨迹特征之间的特征相似程度与相似度代价值成负相关关系；行人轨迹匹配单元可以被配置成根据相似度代价值对行人检测框与行人轨迹进行轨迹匹配。一个实施方式中，具体实现功能的描述可以参见步骤s201
‑
步骤s203所述。
[0121]
在一个实施方式中，驻留时长确定模块13可以被进一步配置成基于区域监控视频的视频帧率，根据行人轨迹中的首个行人检测框和最后一个行人检测框各自对应的监控图像，并按照公式(2)所示的方法计算行人轨迹所表示的行人在目标区域内的驻留时长。
[0122]
在一个实施方式中，行人轨迹匹配单元可以被进一步配置成执行下列操作：选取行人检测框中相似度代价值小于第一预设阈值的行人检测框，采用匈牙利算法并且根据选取到的每个行人检测框各自对应的相似度代价值对行人检测框与行人轨迹进行轨迹匹配，以确定匹配成功的行人检测框和匹配失败的行人轨迹；选取除匹配成功的行人检测框以外剩余的行人检测框中相似度代价值小于第二预设阈值的行人检测框，采用匈牙利算法并且根据选取到的每个行人检测框各自对应的相似度代价值对行人检测框与行人轨迹进行轨迹匹配，以确定匹配失败的行人检测框；其中，第一预设阈值小于第二预设阈值。一个实施方式中，具体实现功能的描述可以参见步骤11
‑
步骤12所述。
[0123]
在一个实施方式中，行人轨迹更新模块12还可以包括行人轨迹更新子模块。在本实施方式中，行人轨迹更新子模块包括第一轨迹更新单元、第二轨迹更新单元和第三轨迹更新单元。第一轨迹更新单元可以被配置成针对每个匹配成功的行人检测框，获取与行人检测框匹配成功的行人轨迹，根据行人检测框对行人轨迹包含的行人检测框进行检测框更新，根据行人检测框对应的行人图像特征对行人轨迹的轨迹特征进行特征更新；第二轨迹更新单元可以被配置成针对每个匹配失败的行人检测框，根据行人检测框在轨迹池中创建新的行人轨迹，根据行人检测框对应的行人图像特征确定新的行人轨迹的初始轨迹特征；第三轨迹更新单元可以被配置成针对每个匹配失败的行人轨迹，判断在根据连续的多帧监控图像进行行人驻留时长确定时得到的所有轨迹匹配的结果中行人轨迹是否均为匹配失败的行人轨迹；若是，则从轨迹池中删除行人轨迹。一个实施方式中，具体实现功能的描述可以参见步骤21
‑
步骤23所述。
[0124]
上述行人驻留时长确定装置以用于执行图1
‑
3所示的行人驻留时长确定方法实施例，两者的技术原理、所解决的技术问题及产生的技术效果相似，本技术领域技术人员可以清楚地了解到，为了描述的方便和简洁，行人驻留时长确定装置的具体工作过程及有关说明，可以参考行人驻留时长确定方法的实施例所描述的内容，此处不再赘述。
[0125]
本领域技术人员能够理解的是，本发明实现上述一实施例的方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器、随机存取存储器、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
[0126]
进一步，本发明还提供了一种控制装置。在根据本发明的一个控制装置实施例中，控制装置包括处理器和存储装置，存储装置可以被配置成存储执行上述方法实施例的行人驻留时长确定方法的程序，处理器可以被配置成用于执行存储装置中的程序，该程序包括但不限于执行上述方法实施例的行人驻留时长确定方法的程序。为了便于说明，仅示出了与本发明实施例相关的部分，具体技术细节未揭示的，请参照本发明实施例方法部分。该控制装置可以是包括各种电子设备形成的控制装置设备。
[0127]
进一步，本发明还提供了一种计算机可读存储介质。在根据本发明的一个计算机可读存储介质实施例中，计算机可读存储介质可以被配置成存储执行上述方法实施例的行人驻留时长确定方法的程序，该程序可以由处理器加载并运行以实现上述行人驻留时长确定方法。为了便于说明，仅示出了与本发明实施例相关的部分，具体技术细节未揭示的，请参照本发明实施例方法部分。该计算机可读存储介质可以是包括各种电子设备形成的存储装置设备，可选的，本发明实施例中计算机可读存储介质是非暂时性的计算机可读存储介质。
[0128]
进一步，应该理解的是，由于各个模块的设定仅仅是为了说明本发明的装置的功能单元，这些模块对应的物理器件可以是处理器本身，或者处理器中软件的一部分，硬件的一部分，或者软件和硬件结合的一部分。因此，图中的各个模块的数量仅仅是示意性的。
[0129]
本领域技术人员能够理解的是，可以对装置中的各个模块进行适应性地拆分或合并。对具体模块的这种拆分或合并并不会导致技术方案偏离本发明的原理，因此，拆分或合并之后的技术方案都将落入本发明的保护范围内。
[0130]
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。