技术特征：
1.一种基于单目深度估计的乘客统计识别的方法，其特征在于，该方法主要包括以下步骤：第一步，在单目摄像机上采集rgb图像帧，对于采集的每一帧图像进行实时处理；第二步，目标检测；对于每一帧rgb图像进行乘客目标检测：对每一帧rgb图像帧从原始分辨率缩放到合适分辨率后输入到乘客目标检测器，乘客目标检测器输出在该缩放帧上的每个乘客的目标位置以及非乘客的目标位置，并根据与原始分辨率的比率，把该位置还原成相对于原始分辨率的乘客目标位置和非乘客的目标位置r2；对于每一帧rgb图像进行深度估计，并在深度估计基础上进行目标检测：将rgb图像帧缩放到合适分辨率输入到深度估计模型，深度估计模型输出该缩放帧对应的深度图，在每一帧的深度估计图上进行乘客目标检测，根据场景设定的深度阈值，对深度估计图进行过滤，去除无效内容，通过识别灰度值极大区域来识别乘客目标位置，然后根据与原始分辨率的比率，把识别到的乘客目标位置还原成相对于原始分辨率的目标位置r3；第三步，对每帧的检测结果进行融合计算，得到每帧的最终目标检测结果；将第二步中的乘客目标位置r2和乘客目标位置r3进行合并，若满足设定的重合比率，则这些位置相互重合，记为一个目标位置，最后得到合并后的乘客目标位置r23；将乘客目标位置r23中的每一个目标位置与第二步中的非乘客目标位置的每一个目标位置进行重合比率，若满足设定的重合比率，则把r23中的该目标位置从r23中剔除掉，最后得到最终的乘客目标检测位置结果r23’；第四步，构建乘客目标运动轨迹，同时进行乘客运动方向和数量统计；若第三步中检测到n个目标结果，当前存在m个运动轨迹；对于n个目标结果中的每一个目标结果，与m个运动轨迹的尾部目标结果，构建m*n个匹配节点，每个匹配节点记录了对应目标结果的索引和运动轨迹的索引，以及目标结果与尾部目标结果的overlap值；将m*n个匹配节点以降序的方式插入到列表中，对列表中的每个匹配节点，如果该匹配节点的overlap值大于预设的阈值，则该匹配节点对应的目标结果和运动轨迹就匹配成功，并将列表中与该匹配节点有相同索引的节点删除；如果小于预设的阈值，则删除；循环直到列表为空；对于没有匹配上的目标结果，建立新运动轨迹，对于没有匹配上的运动轨迹，检查是否触发结束条件；第五步，对乘客提取轨迹特征，并进行进出门或上下车匹配，得到识别结果；对于乘客目标运动轨迹中的目标结果通过特征提取模型提取特征值，计算该轨迹中所有特征值的均值，作为该运动轨迹的轨迹特征值，如果该运动轨迹为进门或上车方向，则将该轨迹特征值加入到匹配队列中，如果该运动轨迹为出门或下车方向，则将用该轨迹特征值与匹配队列中的每一个进门或上车方向的轨迹特征值计算距离，当距离值大于设定的阈值时，则匹配成功，把匹配到的进门或上车方向的特征均值从队列中移除。2.根据权利要求1所述的一种基于单目深度估计的乘客统计识别的方法，其特征在于，
第一步中单目摄像机采集rgb图像帧时的视角设计为俯视垂直向下的视角。3.根据权利要求1或2任一项所述的一种基于单目深度估计的乘客统计识别的方法，其特征在于，该方法还包括：第六步，对统计识别结果进行存储和上报；对于每一个乘客目标，统计识别结果关联进门或上车的时间以及与之匹配的出门或下车的时间，通过系统已有的存储和通信机制，进行统计识别结果的存储和上报。4.一种基于单目深度估计的乘客统计识别的装置，其特征在于，该装置可以实现或执行权利要求1-3任一项所述的一种基于单目深度估计的乘客统计识别的方法。5.根据权利要求4所述的一种基于单目深度估计的乘客统计识别的装置，其特征在于，该装置包括采集单元、检测单元、融合单元、第一统计单元、第二统计单元；所述采集单元，用于执行权利要求1-3任一项所述的一种基于单目深度估计的乘客统计识别的方法的第一步的步骤；所述检测单元，用于执行权利要求1-3任一项所述的一种基于单目深度估计的乘客统计识别的方法的第二步的步骤；所述融合单元，用于执行权利要求1-3任一项所述的一种基于单目深度估计的乘客统计识别的方法的第三步的步骤；所述第一统计单元，用于执行权利要求1-3任一项所述的一种基于单目深度估计的乘客统计识别的方法的第四步的步骤；所述第二统计单元，用于执行权利要求1-3任一项所述的一种基于单目深度估计的乘客统计识别的方法的第五步的步骤。6.根据权利要求5所述的一种基于单目深度估计的乘客统计识别的装置，其特征在于，该装置还包括上报单元，所述上报单元，用于执行权利要求3所述的一种基于单目深度估计的乘客统计识别的方法的第六步的步骤。
技术总结
本发明公开了一种基于单目深度估计的乘客统计识别的方法及装置，该方法包括第一步，在单目摄像机上采集RGB图像帧，对于采集的每一帧图像进行实时处理；第二步，对于每一帧RGB图像进行乘客目标检测：对于每一帧RGB图像进行深度估计，并在深度估计基础上进行目标检测：第三步，对每帧的检测结果进行融合计算，得到每帧的最终目标检测结果；第四步，构建乘客目标运动轨迹，同时进行乘客运动方向和数量统计；第五步，对乘客提取轨迹特征，并进行进出门或上下车匹配，得到识别结果。该方法在单目摄像机上进行深度估计，将估计的3D深度信息与原有2D信息的融合，从而提升基于单目摄像机的乘客统计识别系统的效果。客统计识别系统的效果。
技术研发人员：朱旭光 周金明 赵丽
受保护的技术使用者：南京行者易智能交通科技有限公司
技术研发日：2021.11.30
技术公布日：2022/4/12