1.本发明涉及智能交通和计算机视觉研究领域，具体涉及一种基于单目深度估计的乘客统计识别的方法及装置。
背景技术：
2.随着机器视觉技术地发展，采用相机进行物体识别，行为识别的相关应用越来越多，其中相机分为普通相机（2d）和深度相机（又称之为3d相机）。普通摄像头，当与3d相机放在一起时也称为单目摄像头，是最为常见地计算机视觉传感器。从物理原理上来讲，单目摄像头是不采集空间深度信息的。乘客统计识别是应用在公共交通领域（比如公交、客运等），用来识别统计乘客数量、特征、出行规律的一类技术。目前在乘客统计识别方面存在如下方法：（1）以红外传感器等非视觉传感器构建的乘客统计系统；（2）以单目摄像机这类视觉传感器构建乘客统计识别系统；（3）以双目或者其他3d相机这类视觉传感器构建的乘客统计识别系统。
3.在实现本发明过程中，发明人发现现有技术中至少存在如下问题：从乘客统计识别的效果来讲，双目或者3d相机类方法 》单目摄像机类 》红外等非视觉类。从成本上看，同样也是：双目或者3d相机类方法 》单目摄像机类 》红外等非视觉类。而乘客统计识别系统设计的目的是掌握乘客出行规律，从而来优化公共交通的资源配置。乘客统计识别的效果和实施成本直接决定了对出行规律采集的规模和精确性。规模化的工业运用需要设计出更有效的、更高性价比的方法，本发明从效果角度，接近于3d相机类；从成本讲，实现与单目摄像机类相当的价格。
技术实现要素：
4.为了克服现有技术的不足，本发明提供了一种基于单目深度估计的乘客统计识别的方法及装置，该方法在单目摄像机上进行深度估计，将估计的3d深度信息与原有2d信息的融合，从而提升基于单目摄像机的乘客统计识别系统的效果。技术方案如下：本发明提供了一种基于单目深度估计的乘客统计识别的方法，该方法主要包括以下步骤：第一步，在单目摄像机上采集rgb图像帧，对于采集的每一帧图像进行实时处理。
5.第二步，目标检测；对于每一帧rgb图像进行乘客目标检测：对每一帧rgb图像帧从原始分辨率缩放到合适分辨率后输入到乘客目标检测器，乘客目标检测器输出在该缩放帧上的每个乘客的目标位置以及非乘客的目标位置，并根据与原始分辨率的比率，把该位置还原成相对于原始分辨率的乘客目标位置和非乘客的目标位置r2。
6.对于每一帧rgb图像进行深度估计，并在深度估计基础上进行目标检测：将rgb图像帧缩放到合适分辨率输入到深度估计模型，深度估计模型输出该缩放
帧对应的深度图，在每一帧的深度估计图上进行乘客目标检测，根据场景设定的深度阈值，对深度估计图进行过滤，去除无效内容，通过识别灰度值极大区域来识别乘客目标位置，然后根据与原始分辨率的比率，把识别到的乘客目标位置还原成相对于原始分辨率的目标位置r3。
7.第三步，对每帧的检测结果进行融合计算，得到每帧的最终目标检测结果；将第二步中的乘客目标位置r2和乘客目标位置r3进行合并，若满足设定的重合比率，则这些位置相互重合，记为一个目标位置，最后得到合并后的乘客目标位置r23；将乘客目标位置r23中的每一个目标位置与第二步中的非乘客目标位置的每一个目标位置进行重合比率，若满足设定的重合比率，则把r23中的该目标位置从r23中剔除掉，最后得到最终的乘客目标检测位置结果r23’。
8.第四步，构建乘客目标运动轨迹，同时进行乘客运动方向和数量统计；若第三步中检测到n个目标结果，当前存在m个运动轨迹。
9.对于n个目标结果中的每一个目标结果，与m个运动轨迹的尾部目标结果，构建m*n个匹配节点，每个匹配节点记录了对应目标结果的索引和运动轨迹的索引，以及目标结果与尾部目标结果的overlap值。
10.将m*n个匹配节点以降序的方式插入到列表中，对列表中的每个匹配节点，如果该匹配节点的overlap值大于预设的阈值，则该匹配节点对应的目标结果和运动轨迹就匹配成功，并将列表中与该匹配节点有相同索引的节点删除；如果小于预设的阈值，则删除；循环直到列表为空。
11.对于没有匹配上的目标结果，建立新运动轨迹，对于没有匹配上的运动轨迹，检查是否触发结束条件。
12.第五步，对乘客提取轨迹特征，并进行进出门或上下车匹配，得到识别结果；对于乘客目标运动轨迹中的目标结果通过特征提取模型提取特征值，计算该轨迹中所有特征值的均值，作为该运动轨迹的轨迹特征值，如果该运动轨迹为进门或上车方向，则将该轨迹特征值加入到匹配队列中，如果该运动轨迹为出门或下车方向，则将用该轨迹特征值与匹配队列中的每一个进门或上车方向的轨迹特征值计算距离，当距离值大于设定的阈值时，则匹配成功，把匹配到的进门或上车方向的特征均值从队列中移除。
13.优选的，第一步中单目摄像机采集rgb图像帧时的视角设计为俯视垂直向下的视角。
14.优选的，该方法还包括：第六步，对统计识别结果进行存储和上报；对于每一个乘客目标，统计识别结果关联进门或上车的时间以及与之匹配的出门或下车的时间，通过系统已有的存储和通信机制，进行统计识别结果的存储和上报。
15.与现有技术相比，上述技术方案中的一个技术方案具有如下有益效果：本发明提供一种基于单目深度估计的乘客统计识别的方法，该方法在单目摄像机上进行深度估计，采用深度估计结果与rgb检测结果的融合，即将估计的3d深度信息与原有2d信息的融合，通过深度估计结果补充了rgb检测容易出行的目标漏检问题，通过rgb非目标类检测，有效排除了深度估计结果对非目标类不区分的弊端。同时进行了乘客目标的运动方向和进出门或上下车的匹配，不仅统计了乘客数量也同时识别了出行规律。在乘客识别场景下效果达到接近于3d相机的方案，从而获得了更高的性价比，使得这类系统的大规模部署成为可能。
具体实施方式
16.为了阐明本发明的技术方案和工作原理，下面将对本公开实施方式做进一步的详细描述。上述所有可选技术方案，可以采用任意结合形成本公开的可选实施例，在此不再一一赘述。
17.本技术的说明书和权利要求书中的术语“第一步”、“第二步”、“第三步”等类似描述是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本技术的实施例能够以除了在这里描述的那些以外的顺序实施。
18.本发明中的单目就是指普通的rgb摄像机（相机、摄像头），这类摄像机可以以一定帧率采集rgb彩色图像。
19.第一方面：本公开实施例提供了一种基于单目深度估计的乘客统计识别的方法，该方法主要包括以下步骤：第一步，在单目摄像机上采集rgb图像帧，对于采集的每一帧图像进行实时处理；优选的，为了避免采集到的信息受乘客目标相互遮挡的影响以及避免采集乘客目标的人脸等隐私信息，单目摄像机设计为俯视垂直向下的视角，来采集rgb图像帧。
20.第二步，目标检测；对于每一帧rgb图像进行乘客目标检测：对每一帧rgb图像帧从原始分辨率缩放到合适分辨率后输入到乘客目标检测器。乘客目标检测器输出在该缩放帧上的每个乘客的目标位置以及非乘客的目标位置，并根据与原始分辨率的比率，把该位置还原成相对于原始分辨率的乘客目标位置和非乘客的目标位置r2。
21.对于每一帧rgb图像进行深度估计，并在深度估计基础上进行目标检测：将rgb图像帧缩放到合适分辨率输入到深度估计模型，深度估计模型输出该缩放帧对应的深度图。在每一帧的深度估计图上进行乘客目标检测。首先，根据场景设定的深度阈值，对深度估计图进行过滤，去除无效内容。通过识别灰度值极大区域来识别乘客目标位置。然后根据与原始分辨率的比率，把识别到的乘客目标位置还原成相对于原始分辨率的目标位置r3。
22.第三步，对每帧的检测结果进行融合计算，得到每帧的最终目标检测结果；将第二步中的乘客目标位置r2和乘客目标位置r3进行合并，若满足设定的重合比率，则这些位置相互重合，记为一个目标位置，最后得到合并后的乘客目标位置r23。将乘客目标位置r23中的每一个目标位置与第二步中的非乘客目标位置的每一个目标位置进行重合比率，若满足设定的重合比率，则把r23中的该目标位置从r23中剔除掉，最后得到最终的乘客目标检测位置结果r23’。
23.第四步，构建乘客目标运动轨迹，同时进行乘客运动方向和数量统计；若第三步中检测到n个目标结果，当前存在m个运动轨迹。
24.对于n个目标结果中的每一个目标结果，与m个运动轨迹的尾部目标结果，构建m*n个匹配节点。每个匹配节点记录了对应目标结果的索引和运动轨迹的索引，以及目标结果与尾部目标结果的overlap值。
25.将m*n个匹配节点以降序的方式插入到列表中，对列表中的每个匹配节点，如果该
匹配节点的overlap值大于预设的阈值，则该匹配节点对应的目标结果和运动轨迹就匹配成功，并将列表中与该匹配节点有相同索引的节点删除。如果小于预设的阈值，则删除。循环直到列表为空。
26.对于没有匹配上的目标结果，建立新运动轨迹，对于没有匹配上的运动轨迹，检查是否触发结束条件。
27.第五步，对乘客提取轨迹特征，并进行进出门或上下车匹配，得到识别结果；对于乘客目标运动轨迹中的目标结果通过特征提取模型提取特征值，计算该轨迹中所有特征值的均值，作为该运动轨迹的轨迹特征值。如果该运动轨迹为进门或上车方向，则将该轨迹特征值加入到匹配队列中。如果该运动轨迹为出门或下车方向，则将用该轨迹特征值与匹配队列中的每一个进门或上车方向的轨迹特征值计算距离，当距离值大于设定的阈值时，则匹配成功，把匹配到的进门或上车方向的特征均值从队列中移除。
28.优选的，还包括：第六步，对统计识别结果进行存储和上报；对于每一个乘客目标，统计识别结果关联进门或上车的时间以及与之匹配的出门或下车的时间，通过系统已有的存储和通信机制，进行统计识别结果的存储和上报。当然，也存在进出或上下无法匹配的情况，此时统计结果中与之对应的项为空。
29.第二方面，本公开实施例提供了一种基于单目深度估计的乘客统计识别的装置基于相同的技术构思，该装置可以实现或执行所有可能的实现方式中任一项所述的一种基于单目深度估计的乘客统计识别的方法。
30.优选的，该装置包括采集单元、检测单元、融合单元、第一统计单元、第二统计单元；所述采集单元，用于执行所有可能的实现方式中任一项所述的一种基于单目深度估计的乘客统计识别的方法的第一步的步骤；所述检测单元，用于执行所有可能的实现方式中任一项所述的一种基于单目深度估计的乘客统计识别的方法的第二步的步骤；所述融合单元，用于执行所有可能的实现方式中任一项所述的一种基于单目深度估计的乘客统计识别的方法的第三步的步骤；所述第一统计单元，用于执行所有可能的实现方式中任一项所述的一种基于单目深度估计的乘客统计识别的方法的第四步的步骤；所述第二统计单元，用于执行所有可能的实现方式中任一项所述的一种基于单目深度估计的乘客统计识别的方法的第五步的步骤。
31.优选的，该装置还包括上报单元，所述上报单元，用于执行所有可能的实现方式中任一项所述的一种基于单目深度估计的乘客统计识别的方法的第六步的步骤。
32.需要说明的是，上述实施例提供的一种基于单目深度估计的乘客统计识别的装置在执行一种基于单目深度估计的乘客统计识别的方法时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外上述实施例提供的一种基于单目深度估计的乘客统计识别的装置与一种基于单目深度估计的乘客统计识别的方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
33.以上对本发明进行了示例性描述，显然，本发明具体实现并不受上述方式的限制，
凡是采用了本发明的方法构思和技术方案进行的各种非实质性的改进；或者未经改进、等同替换，将本发明的上述构思和技术方案直接应用于其他场合的，均在本发明的保护范围之内。