行人检测方法、电子设备、计算机可读介质与流程

1.本公开涉及图像处理技术领域，特别涉及一种行人检测方法、一种电子设备、一种计算机可读介质。


背景技术：

2.在车站的进站、出站通道、检票口或者电梯等人员密集的场所，为了避免出现拥堵或发生踩踏事件、提高通行效率，一般要求行人按照指定的方向单向移动。摄像头成像质量的提升及成本的降低，为采用视频分析技术对逆行行人进行检测提供了可行条件。
3.但是，在一些相关技术中，对逆行行为进行检测，特别是对大规模人流中的逆行行人进行自动检测的准确率还有待提升。


技术实现要素：

4.本公开实施例提供一种行人检测方法、一种电子设备、一种计算机可读介质。
5.第一方面，本公开实施例提供一种行人检测方法，包括：将待处理视频帧输入目标检测模型，确定所述待处理视频帧中至少一个行人的朝向；根据所述待处理视频帧中各个行人的朝向，确定待筛选集合，所述待筛选集合中包括至少一个目标行人，所述目标行人的朝向与参考方向一致，其中，所述参考方向为表示逆行的方向；对各个所述目标行人进行跟踪，确定所述待筛选集合中是否存在逆行的行人。
6.在一些实施例中，根据所述待处理视频帧中各个行人的朝向，确定待筛选集合的步骤包括：根据所述参考方向将前向、后向、左向、右向中的一者确定为逆行朝向；将所述待处理视频帧中朝向为所述逆行朝向的行人，确定为所述目标行人。
7.在一些实施例中，对各个所述目标行人进行跟踪，确定所述待筛选集合中是否存在逆行的行人的步骤包括：对各个所述目标行人进行跟踪，分别确定各个所述目标行人的移动距离是否大于距离阈值；当至少一个所述目标行人的移动距离大于所述距离阈值时，确定所述筛选集合中存在逆行的行人，移动距离大于所述距离阈值的目标行人为逆行的行人。
8.在一些实施例中，对各个所述目标行人进行跟踪，分别确定各个所述目标行人的移动距离是否大于距离阈值的步骤包括：分别将各个所述目标行人与跟踪结果集合中的元素进行匹配，其中，所述跟踪结果集合包括多个所述元素，每一个所述元素对应一个行人，所述元素中包括对应的行人的起点坐标、终点坐标、跟踪状态标识；对于任意一个所述目标行人，当所述跟踪结果集合中存在第一目标元素时，将所
述第一目标元素的跟踪状态标识设置为第一标识，所述第一标识表征对所述目标行人跟踪成功，所述第一目标元素为所述跟踪结果集合中与所述目标行人相匹配的元素；计算所述跟踪结果集合中第二目标元素中的起点坐标和终点坐标之间的欧式距离，其中，所述第二目标元素为所述跟踪结果集合中跟踪状态标识为所述第一标识的元素；当所述第二目标元素中的起点坐标和终点坐标之间的欧式距离大于第一阈值时，表示所述第二目标元素对应的目标行人的移动距离大于所述距离阈值。
9.在一些实施例中，分别将各个所述目标行人与跟踪结果集合中的元素进行匹配的步骤包括：对于任意一个所述目标行人，计算所述目标行人与所述跟踪结果集合各个元素的交并比；当存在第三目标元素时，提取所述目标行人与所述第三目标元素的方向梯度直方图特征，进行特征匹配，其中，所述第三目标元素为所述跟踪结果集合中与所述目标行人的交并比大于第二阈值的元素；当特征匹配成功时，确定所述第三目标元素与所述目标行人相匹配。
10.在一些实施例中，所述行人检测方法还包括：当所述跟踪结果集合中不存在所述第一目标元素时，确定所述目标行人对应的待跟踪元素，其中，将所述目标行人在所述待处理视频帧中的位置坐标作为所述待跟踪元素中的起始坐标和终点坐标；将所述待跟踪元素加入所述跟踪结果集合。
11.在一些实施例中，所述元素中还包括所述元素对应的视频帧的帧号；所述行人检测方法还包括：计算所述跟踪结果集合中第四目标元素中的帧号与当前视频帧的帧号的时间差，其中，所述第四目标元素为所述跟踪结果集合中跟踪状态标识为第二标识的元素，所述第二标识表征对所述目标行人跟踪不成功；当所述时间差大于时间阈值时，将所述第四目标元素从所述跟踪结果集合中移除。
12.在一些实施例中，将待处理视频帧输入目标检测模型，确定所述待处理视频帧中至少一个行人的朝向的步骤包括：将所述待处理视频帧输入所述目标检测模型的基础网络，提取多路特征图，其中，所述基础网络包括多个特征提取块，每一个所述特征提取块用于生成一路所述特征图；根据多路所述特征图生成多路特征金字塔特征图；根据各路所述特征金字塔特征图确定所述待处理视频帧中各个行人的朝向和位置信息。
13.第二方面，本公开实施例提供一种电子设备，其包括：一个或多个处理器；存储器，其上存储有一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本公开实施例第一方面所述的行人检测方法；一个或多个i/o接口，连接在所述处理器与存储器之间，配置为实现所述处理器与
存储器的信息交互。
14.第三方面，本公开实施例提供一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现本公开实施例第一方面所述的行人检测方法。
15.在本公开实施例中，利用目标检测模型对摄像头采集的待处理视频帧进行处理，确定待处理视频帧中行人的朝向，并初步筛选待处理视频帧中疑似逆行的行人，得到待筛选集合，然后对待筛选集合中疑似逆行的行人进行跟踪，从而确定待处理视频帧中是否存在真正逆行的行人，在对逆行行人进行检测时，不易受到人流遮挡的影响，运算量小，检测精度高，能够适用于大规模人流等复杂场景，提升了逆行行人检测的性能。
附图说明
16.附图用来提供对本公开实施例的进一步理解，并且构成说明书的一部分，与本公开的实施例一起用于解释本公开，并不构成对本公开的限制。
17.图1为本公开实施例中一种行人检测方法的流程图。
18.图2为本公开实施例中另一种行人检测方法中部分步骤的流程图。
19.图3为本公开实施例中又一种行人检测方法中部分步骤的流程图。
20.图4为本公开实施例中再一种行人检测方法中部分步骤的流程图。
21.图5为本公开实施例中再一种行人检测方法中部分步骤的流程图。
22.图6为本公开实施例中一种目标检测模型的结构示意图。
23.图7为本公开实施例中一种电子设备的组成框图。
具体实施方式
24.为使本领域的技术人员更好地理解本公开的技术方案，下面结合附图对本公开提供的行人检测方法、电子设备、计算机可读介质进行详细描述。
25.在下文中将参考附图更充分地描述示例实施例，但是所述示例实施例可以以不同形式来体现且不应当被解释为限于本文阐述的实施例。反之，提供这些实施例的目的在于使本公开透彻和完整，并将使本领域技术人员充分理解本公开的范围。
26.在不冲突的情况下，本公开各实施例及实施例中的各特征可相互组合。
27.如本文所使用的，术语“和/或”包括一个或多个相关列举条目的任何和所有组合。
28.本文所使用的术语仅用于描述特定实施例，且不意欲限制本公开。如本文所使用的，单数形式“一个”和“该”也意欲包括复数形式，除非上下文另外清楚指出。还将理解的是，当本说明书中使用术语“包括”和/或“由
……
制成”时，指定存在所述特征、整体、步骤、操作、元件和/或组件，但不排除存在或添加一个或多个其它特征、整体、步骤、操作、元件、组件和/或其群组。
29.除非另外限定，否则本文所用的所有术语(包括技术和科学术语)的含义与本领域普通技术人员通常理解的含义相同。还将理解，诸如那些在常用字典中限定的那些术语应当被解释为具有与其在相关技术以及本公开的背景下的含义一致的含义，且将不解释为具有理想化或过度形式上的含义，除非本文明确如此限定。
30.在一些相关技术中，采用光流法跟踪进行逆行检测，例如，在帧差图像中取角点，在原始图像中进行角点光流跟踪，根据光流特征矢量分解运动模式判断是否有逆行发生。
本公开的发明人研究认为，采用光流法跟踪进行逆行检测，一方面光流法的运算量大，对于多路同时检测难以满足；另一方面容易受光线、场景的影响，容易跟踪失败，误报多。
31.在一些相关技术中，基于深度学习进行行人异常事件检测，例如，采用深度学习的检测与追踪算法，训练一个深度检测模型，获得行人检测模型，用行人检测模型检测图片中的行人，然后采用deepsort算法跟踪，结合警戒线检测的结果，完成具体行人异常行为的检测与判断。本公开的发明人研究认为，上述基于深度学习进行行人异常事件检测也无法避免在人员拥挤场所，因行人的身体部位遮挡严重，导致检测和跟踪的正确率都会下降的问题。
32.有鉴于此，第一方面，参照图1，本公开实施例提供一种行人检测方法，包括：s1、将待处理视频帧输入目标检测模型，确定所述待处理视频帧中至少一个行人的朝向；s2、根据所述待处理视频帧中各个行人的朝向，确定待筛选集合，所述待筛选集合中包括至少一个目标行人，所述目标行人的朝向与参考方向一致，其中，所述参考方向为表示逆行的方向；s3、对各个所述目标行人进行跟踪，确定所述待筛选集合中是否存在逆行的行人。
33.在本公开实施例中，待处理视频帧可以是由摄像头采集的图像；也可以是由摄像头采集的视频流中的一帧。本公开实施例对此不做特殊限定。
34.在本公开实施例中，行人的朝向用来表示行人可能的移动方向，是指在待处理视频帧中表现的行人的朝向，包括前向、后向、左向、右向。例如，本公开实施例通过行人的头肩部图像确定行人的朝向，如果在待处理视频帧中行人表现为具有正向人脸的头肩部图像，则该行人的朝向为前向；如果在待处理视频帧中行人表现为具有后脑的头肩部图像，则该行人的朝向为后向；如果在待处理视频帧中行人表现为朝向左侧的侧脸，即具有左侧脸的头肩图像，则该行人的朝向为左向；如果在待处理视频帧中行人表现为朝向右侧的侧脸，即具有右侧脸的头肩图像，则该行人的朝向为右向。
35.在一些实施例中，通过步骤s1确定待处理视频帧中行人的朝向的同时，用行人头肩部的外接矩形（即锚框）表示行人在待处理视频帧中的位置。
36.在本公开实施例中，参考方向是根据摄像头与通道的相对位置确定的。在本公开实施例中，行人的朝向与参考方向一致是指行人的人脸正面面向参考方向。根据摄像头与通道的相对位置确定的参考方向不同，与参考方向一致的行人的朝向也不同。例如，可以是摄像头正对通道设置，远离摄像头移动的方向为逆行的方向，则与参考方向一致的行人朝向为后向；也可以是摄像头正对通道设置，靠近摄像头移动的方向为逆行的方向，则与参考方向一致的行人朝向为前向；也可以是摄像头与通道成一定角度，向摄像头左侧移动的方向为逆行的方向，则与参考方向一致的行人朝向为左向；还可以是摄像头与通道成一定角度，向摄像头右侧移动的方向为逆行的方向，则与参考方向一致的行人朝向为右向。本公开实施例对此不做特殊限定。
37.在本公开实施例中，通过步骤s1确定的待筛选集合是疑似逆行的行人，待筛选集合中的目标行人即疑似逆行的行人。需要说明的是，疑似逆行的行人可以包括逆行的行人；也可以包括暂时朝向逆行的方向的行人，例如，因为回头、运动等姿势变化而暂时面向逆行的方向；还可以既包括逆行的行人，也包括暂时朝向逆行的方向的行人。本公开实施例对此
不做特殊限定。
38.在本公开实施例中，通过执行步骤s3对各个所述目标行人进行跟踪，就是对待筛选集合中逆行的行人和暂时朝向逆行的方向的行人，从而确定待处理视频帧中是否存在真正逆行的行人。在一些实施例中，还能进一步筛选出真正逆行的行人。
39.本公开实施例提供的行人检测方法中，利用目标检测模型对摄像头采集的待处理视频帧进行处理，确定待处理视频帧中行人的朝向，并初步筛选待处理视频帧中疑似逆行的行人，得到待筛选集合，然后对待筛选集合中疑似逆行的行人进行跟踪，从而确定待处理视频帧中是否存在真正逆行的行人，在对逆行行人进行检测时，不易受到人流遮挡的影响，运算量小，检测精度高，能够适用于大规模人流等复杂场景，提升了逆行行人检测的性能。
40.本公开实施例对于如何根据待处理视频帧中各个行人的朝向确定待筛选集合不做特殊限定。在一些实施例中，先根据参考方向确定与参考方向一致的逆行朝向，然后根据确定的逆行朝向筛选构成待筛选集合的目标行人。
41.相应地，在一些实施例中，参照图2，步骤s2包括：s21、根据所述参考方向将前向、后向、左向、右向中的一者确定为逆行朝向；s22、将所述待处理视频帧中朝向为所述逆行朝向的行人，确定为所述目标行人。
42.需要说明的是，逆行朝向是与参考方向一致的朝向。在本公开实施例中，参考方向不同，逆行朝向也不同。例如，当摄像头正对通道设置且远离摄像头移动的方向为参考方向时，逆行朝向为后向；当摄像头正对通道设置且靠近摄像头移动的方向为参考方向时，逆行朝向为前向；当摄像头与通道成一定角度且向摄像头左侧移动的方向为参考方向时，逆行朝向为左向；当摄像头与通道成一定角度且向摄像头右侧移动的方向为参考方向时，逆行朝向为右向。本公开实施例对此不做特殊限定。
43.本公开实施例对于如何对各个所述目标行人进行跟踪，确定所述待筛选集合中是否存在逆行的行人不做特殊限定。在一些实施例中，对目标行人进行跟踪，确定目标行人的移动轨迹，移动轨迹判断目标行人是否逆行。在一些实施例中，对目标行人进行跟踪，确定目标行人在一定时长内的移动距离，当移动距离大于距离阈值，则表示目标行人不是由于姿势变化而暂时朝向逆行方向，从而确定目标行人是逆行的行人。
44.相应地，在一些实施例中，参照图3，步骤s3包括：s31、对各个所述目标行人进行跟踪，分别确定各个所述目标行人的移动距离是否大于距离阈值；s32、当至少一个所述目标行人的移动距离大于所述距离阈值时，确定所述筛选集合中存在逆行的行人，移动距离大于所述距离阈值的目标行人为逆行的行人。
45.在本公开实施例中，步骤s31中目标行人的移动距离可以是向任一方向的移动距离。在一些实施例中，目标行人的移动距离是沿逆行方向的移动距离。
46.需要说明的是，当行人逆行而朝向逆行方向时，在一定时长内通常会向一个方向持续移动；而若行人是由于回头、转身等姿势变化而暂时朝向逆行方向，在一定时长内通常不会有较大的移动。因此，若行人朝向逆行方向，并且移动距离大于距离阈值，则可以确定该行人逆行；若行人朝向逆行方向，但移动距离小于距离阈值，则可以确定该行人没有真正逆行。
47.在本公开实施例中，先确定行人的朝向，进而根据行人移动距离是否大于距离阈
值筛选真正逆行的行人，能够降低人流遮挡的影响，而且运算量小，检测精度高，能够降低误检概率，有利于提升逆行行人检测的性能。
48.本公开实施例对于如何对各个所述目标行人进行跟踪，分别确定各个所述目标行人的移动距离是否大于距离阈值不做特殊限定。
49.在一些实施例中，参照图4，步骤s31包括：s311、分别将各个所述目标行人与跟踪结果集合中的元素进行匹配，其中，所述跟踪结果集合包括多个所述元素，每一个所述元素对应一个行人，所述元素中包括对应的行人的起点坐标、终点坐标、跟踪状态标识；s312、对于任意一个所述目标行人，当所述跟踪结果集合中存在第一目标元素时，将所述第一目标元素的跟踪状态标识设置为第一标识，所述第一标识表征对所述目标行人跟踪成功，所述第一目标元素为所述跟踪结果集合中与所述目标行人相匹配的元素；s313、计算所述跟踪结果集合中第二目标元素中的起点坐标和终点坐标之间的欧式距离，其中，所述第二目标元素为所述跟踪结果集合中跟踪状态标识为所述第一标识的元素；s314、当所述第二目标元素中的起点坐标和终点坐标之间的欧式距离大于第一阈值时，表示所述第二目标元素对应的目标行人的移动距离大于所述距离阈值。
50.在本公开实施例中，跟踪结果集合是对行人进行跟踪得到的，跟踪结果集合中的每一个元素表示对一个行人进行跟踪的跟踪结果。
51.在一些实施例中，跟踪结果集合b表示为： ；表示跟踪结果集合b中的一个元素，表示为： ；其中，为起点位置行人头肩部锚框两个对角顶点的坐标，用于表示行人的起点坐标；为终点位置行人头肩部锚框两个对角顶点的坐标，用于表示行人的终点坐标；表示帧号；为跟踪状态标识。
52.在一些实施例中，为第一标识，表示对行人跟踪成功；为第二标识，表示对行人跟踪不成功。
53.在一些实施例中，对于首次加入跟踪结果集合b中的元素，。
54.在一些实施例中，待筛选集合a表示为： ；
其中，表示一个目标行人，表示第帧，表示第帧检测到的疑似逆行的行人总数。
55.对待筛选集合a中的目标行人与跟踪结果集合b中的元素进行匹配，从而对目标行人进行跟踪的过程包括：从待筛选集合a中取出一个目标行人，遍历跟踪结果集合b，如果与跟踪结果集合b中的一个元素匹配成功，则更新跟踪结果集合b中的元素，将中的跟踪状态标识设置为；如果与跟踪结果集合b中元素都不匹配，将加入跟踪结果集合b。对待筛选集合a中的其他目标行人重复上述过程，完成跟踪。
56.本公开实施例对于如何执行分别将各个所述目标行人与跟踪结果集合中的元素进行匹配的步骤不做特殊限定。
57.在一些实施例中，分别将各个所述目标行人与跟踪结果集合中的元素进行匹配的步骤包括：对于任意一个所述目标行人，计算所述目标行人与所述跟踪结果集合各个元素的交并比；当存在第三目标元素时，提取所述目标行人与所述第三目标元素的方向梯度直方图特征，进行特征匹配，其中，所述第三目标元素为所述跟踪结果集合中与所述目标行人的交并比大于第二阈值的元素；当特征匹配成功时，确定所述第三目标元素与所述目标行人相匹配。
58.需要说明的是，交并比（iou，intersection over union）计算的是待筛选集合中的目标行人的锚框与跟踪结果集合中的元素的锚框的交集和并集的比值。方向梯度直方图（hog，histogram of oriented gradient）用来计算局部图像梯度的方向信息的统计值。
59.将目标行人与跟踪结果集合中的元素进行匹配的过程包括：计算目标行人与元素的iou，如果iou小于设定的阈值，匹配失败；如果iou大于设定的阈值，提取目标行人与元素的hog特征，进行特征匹配；特征匹配成功，则表示目标行人与元素匹配成功；否则，匹配失败。
60.在一些实施例中，所述行人检测方法还包括：当所述跟踪结果集合中不存在所述第一目标元素时，确定所述目标行人对应的待跟踪元素，其中，将所述目标行人在所述待处理视频帧中的位置坐标作为所述待跟踪元素中的起始坐标和终点坐标；将所述待跟踪元素加入所述跟踪结果集合。
61.在本公开实施例中，当所述跟踪结果集合中不存在所述第一目标元素时，表示对目标行人的跟踪不成功。在对该目标行人的跟踪不成功时生成该目标行人对应的待跟踪元
素，并将待跟踪元素加入跟踪结果集合，从而能够以待处理视频帧为起点，对该目标行人进行跟踪，得到对该目标行人进行跟踪的跟踪结果。从而能够在后续对逆行行人进行检测的过程中进一步确定该目标行人是否逆行。
62.在一些实施例中，所述元素中还包括所述元素对应的视频帧的帧号；所述行人检测方法还包括：计算所述跟踪结果集合中第四目标元素中的帧号与当前视频帧的帧号的时间差，其中，所述第四目标元素为所述跟踪结果集合中跟踪状态标识为第二标识的元素，所述第二标识表征对所述目标行人跟踪不成功；当所述时间差大于时间阈值时，将所述第四目标元素从所述跟踪结果集合中移除。
63.在本公开实施例中，将时间差大于时间阈值的第四目标元素从跟踪结果集合中移除，能够确保根据对行人实时的跟踪结果进行逆行行人检测，从而降低误报的概率，提高检测精度。
64.在一些实施例中，对各个所述目标行人进行跟踪，分别确定各个所述目标行人的移动距离是否大于距离阈值的过程包括：遍历跟踪结果集合中的元素，如果中的跟踪状态标识，计算中起点坐标和终点坐标之间的欧式距离，如果欧式距离大于第一阈值，判定与元素相匹配的目标行人有逆行行为；如果中的跟踪状态标识，计算当前帧号与中之间的时间差，如果时间差大于时间阈值，则将从跟踪结果集合中移除。
65.本公开实施例对于目标检测模型的结构不做特殊限定。
66.在一些实施例中，参照图5，步骤s1包括：s11、将所述待处理视频帧输入所述目标检测模型的基础网络，提取多路特征图，其中，所述基础网络包括多个特征提取块，每一个所述特征提取块用于生成一路所述特征图；s12、根据多路所述特征图生成多路特征金字塔特征图；s13、根据各路所述特征金字塔特征图确定所述待处理视频帧中各个行人的朝向和位置信息。
67.在一些实施例中，目标检测模型的结构如图6所示。
68.如图6所示的目标检测模型基于深度神经网络模型，各卷积层中扫描边界自动填充0，激活函数均采用leaky-relu函数对神经元进行激活，下采样层中均采用最大池化。
69.目标检测模型的基础网络包括4个特征提取块（block），具体用14个卷积层、4个下采样层构建自底向上的卷积神经网络。block0、block1、block2和block3在卷积和激活之间
加入了批量标准化（bn，batch normalization）层。输入图片即待处理视频帧，为640
×
512
×
3的图像。block0、block1、block2和block3的结构包括：block0：卷积层c1的卷积核大小为3
×
3，64个卷积核，步长为1，生成特征图大小为640
×
512；卷积层c2的卷积核大小为3
×
3，64个卷积核，步长为1，生成特征图大小为640
×
512；下采样层s1窗口大小为2
×
2，步长为2，生成特征图大小为320
×
256；卷积层c3的卷积核大小为3
×
3，64个卷积核，步长为1，生成特征图大小为320
×
256；卷积层c4的卷积核大小为3
×
3，64个卷积核，步长为1，生成特征图大小为320
×
256；下采样层s2窗口大小为2
×
2，步长为2，生成特征图大小为160
×
128；卷积层c5的卷积核大小为3
×
3，128个卷积核，步长为1，生成特征图大小为160
×
128；卷积层c6的卷积核大小为3
×
3，128个卷积核，步长为1，生成特征图大小为160
×
128；下采样层s3窗口大小为2
×
2，步长为2，生成特征图大小为80
×
64；block1：卷积层c7的卷积核大小为3
×
3，128个卷积核，步长为1，生成特征图大小为80
×
64；卷积层c8的卷积核大小为3
×
3，128个卷积核，步长为1，生成特征图大小为80
×
64；卷积层c9的卷积核大小为3
×
3，256个卷积核，步长为1，生成特征图大小为80
×
64；卷积层c10的卷积核大小为3
×
3，256个卷积核，步长为1，生成特征图大小为80
×
64；下采样层s4窗口大小为2
×
2，步长为2，生成特征图大小为40
×
32；block2:卷积层c11的卷积核大小为3
×
3，512个卷积核，步长为1，生成特征图大小为40
×
32；卷积层c12的卷积核大小为3
×
3，512个卷积核，步长为2，生成特征图大小为20
×
16；block3:卷积层c13的卷积核大小为3
×
3，512个卷积核，步长为1，生成特征图大小为20
×
16；卷积层c14的卷积核大小为3
×
3，512个卷积核，步长为2，生成特征图大小为10
×
8。
70.如图6所示的目标检测模型中，利用特征金字塔构建新的特征图。
71.分别抽取block0、block1、block2和block3中的最后一层的特征图构建初始特征金字塔d1、d2、d3、d4，然后以反卷积（上采样）的方式构建自顶向下的网络，将上采样的结果和初始特征金字塔内对应相同大小的特征图相加，融合成特征金字塔特征图p1、p2、p3、p4，特征金字塔特征图p1、p2、p3、p4大小分别为80
×
64、40
×
32、20
×
16、10
×
8。
72.在特征金字塔特征图p1、p2、p3、p4的每个位置，设置若干个锚点，以每个锚点为中心设置若干长宽比不同的锚框。p1每个位置设置3个锚框，p2每个位置设置4个锚框，p3每个位置设置6个锚框，p4每个位置设置6个锚框。
73.对特征金字塔特征图进行卷积，分为两个分支进行边框回归与行人朝向分类，获取锚框的坐标编码和朝向得分。
74.边框回归分支：有h
×w×c×
4个特征图，其中h为特征图的高度，w为特征图的宽度，c为每个锚点周围的锚框数目。
75.朝向得分分支：有h
×w×c×
5个特征图，其中h、w和c的含义和边框回归分支相同，4类朝向的目标加上背景，共5类。
76.总体的目标损失函数定义为位置损失（loc）和置信度损失（conf）的加权和。
77.第二方面，参照图7，本公开实施例提供一种电子设备，其包括：一个或多个处理器101；存储器102，其上存储有一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现本公开实施例第一方面所述的行人检测方法；一个或多个i/o接口103，连接在处理器与存储器之间，配置为实现处理器与存储器的信息交互。
78.其中，处理器101为具有数据处理能力的器件，其包括但不限于中央处理器（cpu）等；存储器102为具有数据存储能力的器件，其包括但不限于随机存取存储器（ram，更具体如sdram、ddr等）、只读存储器（rom）、带电可擦可编程只读存储器（eeprom）、闪存（flash）；i/o接口（读写接口）103连接在处理器101与存储器102间，能实现处理器101与存储器102的信息交互，其包括但不限于数据总线（bus）等。
79.在一些实施例中，处理器101、存储器102和i/o接口103通过总线104相互连接，进而与计算设备的其它组件连接。
80.在一些实施例中，电子设备中还包括图形处理器（gpu，graphics processing unit）。在一些实施例中，基于深度学习的目标检测模型在gpu中运行。
81.第三方面，本公开实施例提供一种计算机可读介质，其上存储有计算机程序，程序被处理器执行时实现本公开实施例第一方面所述的行人检测方法。
82.本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施方式中，在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分；例如，一个物理组件可以具有多个功能，或者一个功能或步骤可以由若干物理组件合作执行。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质（或非暂时性介质）和通信介质（或暂时性介质）。如本领域普通技术人员公知的，术语计算机存储介质包括
在用于存储信息（诸如计算机可读指令、数据结构、程序模块或其它数据）的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于ram、rom、eeprom、闪存或其它存储器技术、cd-rom、数字多功能盘（dvd）或其它光盘存储、磁盒、磁带、磁盘存储或其它磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其它的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其它传输机制之类的调制数据信号中的其它数据，并且可包括任何信息递送介质。
83.本文已经公开了示例实施例，并且虽然采用了具体术语，但它们仅用于并仅应当被解释为一般说明性含义，并且不用于限制的目的。在一些实例中，对本领域技术人员显而易见的是，除非另外明确指出，否则可单独使用与特定实施例相结合描述的特征、特性和/或元素，或可与其它实施例相结合描述的特征、特性和/或元件组合使用。因此，本领域技术人员将理解，在不脱离由所附的权利要求阐明的本公开的范围的情况下，可进行各种形式和细节上的改变。