一种船舶驾驶舱的人员定位方法、系统和存储介质与流程

本发明涉及船舶监控技术领域，尤其是一种船舶驾驶舱的人员定位方法、系统和存储介质。

背景技术：

术语解释：

relu函数：修正线性单元，是一种人工神经网络中常用的激活函数，通常知道以斜坡及其变种为代表的非线性函数。

随着航运事业的发展，在航运事业中的船舶安全事故造成的危害也不能忽视。由于船舶驾驶舱中关键岗位人员未到岗产生的缺乏瞭望和应急处置不及时等问题极易导致船舶事故。因此，对船舶驾驶舱内的人员进行定位是一项对保障船舶航行安全很有意义的研究。

现有的定位技术很多，包括gps定位、北斗卫星定位和射频识别定位等技术，但是这些定位技术存在各自的局限性并不适合用于驾驶舱内的人员定位，比如，民用gps和北斗卫星定位系统在室内信号弱，精度不够，特别是在海上区域内，其信号更加弱；而射频识别定位设备部署成本高。因此，上述现有的定位识别技术，相对于船舶领域来说，存在因信号弱导致无法及时确定岗位人员的到岗情况，或者因成本高限制在船舶业的应用范围等问题。

技术实现要素：

为至少一定程度上解决上述技术问题之一，本发明的目的在于：提供一种船舶驾驶舱的人员定位方法、系统和存储介质，其能降低设备成本，及时监控岗位人员的到岗情况。

本发明实施例的第一方面提供了：

一种船舶驾驶舱的人员定位方法，其包括以下步骤：

接收多个摄像头上传的视频图像，所述多个摄像头分别用于监控驾驶舱内的预设区域；

提取所述视频图像内人员的第一位置信息，所述第一位置信息包括含有人员特征的图像区域和所述图像区域的位置数据；

根据所述第一位置信息计算人员的第二位置信息；

根据所述第二位置信息预测人员在驾驶舱内的目标位置。

进一步，所述提取所述视频图像内人员的第一位置信息，其具体为：

通过预先训练的目标识别网络提取所述视频图像内人员的第一位置信息；

所述目标识别网络的训练过程，包括：

初始化所述目标检测网络的网络权重；

获取预先标注人体位置信息的第一图像；

通过所述第一图像采用随机梯度下降法对所述目标检测网络进行训练；

根据所述训练结果调整所述网络权重。

进一步，所述目标识别网络包括深度神经网络、区域特征聚集网络和全连接层，所述通过预先训练的目标识别网络提取所述视频图像内人员的第一位置信息，包括：

通过所述深度神经网络提取所述视频图像内人员的特征图像；

对所述特征图像分别进行上采样和下采样；

对采样结果进行融合处理；

通过所述区域特征聚集网络对融合处理结果进行尺寸固定；

通过所述全连接层对尺寸固定后的图像进行处理，得到人员的第一位置信息，所述第一位置信息包括含有人员特征的图像区域和所述图像区域的位置数据。

进一步，所述根据所述第二位置信息预测人员在驾驶舱内的目标位置，其具体为：

通过预先训练的分类器根据所述第二位置信息预测人员在驾驶舱内的目标位置；

在所述分类器执行训练步骤之前，包括以下步骤：

构建所述预先标注的人体位置信息与驾驶舱内预设区域的映射关系。

进一步，所述构建所述预先标注的人体位置信息与驾驶舱内预设区域的映射关系，其具体包括：

将驾驶舱划分为若干个预设区域，并对所述若干个预设区域进行位置编号；

获取所述若干预设区域的摄像头的拍摄位置；

将所述拍摄位置的预设位置作为当前区域的参考点信息；

根据所述预先标注的人体位置信息和参考点信息计算样本特征；

构建所述样本特征与所述位置编号的映射关系。

进一步，所述分类器的训练步骤包括：

获取所述样本特征与所述位置编号的映射关系；

将所述样本特征作为输入数据，将所述位置编号作为输出数据；

通过所述输入数据和所述输出数据对所述分类器进行训练。

进一步，在所述分类器进行训练时，还包括以下步骤：

获取与所述输入数据对应的预测数据；

计算所述预测数据与所述输出数据的误差值；

根据所述误差值反向调整所述分类器的权重。

本发明实施例的第二方面提供了：

一种船舶驾驶舱的人员定位系统，其包括：

接收模块，用于接收多个摄像头上传的视频图像，所述多个摄像头分别用于监控驾驶舱内的预设区域；

提取模块，用于提取所述视频图像内人员的第一位置信息，所述第一位置信息包括含有人员特征的图像区域和所述图像区域的位置数据；

计算模块，用于根据所述第一位置信息计算人员的第二位置信息；

预测模块，用于根据所述第二位置信息预测人员在驾驶舱内的目标位置。

本发明实施例的第三方面提供了：

一种船舶驾驶舱的人员定位系统，其包括：

至少一个处理器；

至少一个存储器，用于存储至少一个程序；

当所述至少一个程序被所述至少一个处理器执行时，使所述至少一个处理器实现所述的船舶驾驶舱的人员定位方法。

本发明实施例的第四方面提供了：

一种存储介质，其中存储有处理器可执行的指令，所述处理器可执行的指令在由处理器执行时用于实现所述的船舶驾驶舱的人员定位方法。

本发明实施例的有益效果是：本发明实施例通过提取多个摄像头上传的视频图像内人员的第一位置信息，接着根据第一位置信息计算人员的第二位置信息，通过第二位置信息预测人员在驾驶舱内的目标位置，以通过预测得到的人员的目标位置即能确定人员实际所处位置，从而无需应用gps定位、北斗卫星定位和射频识别定位等技术，即能及时监控岗位人员的到岗情况。

附图说明

图1为本发明一种具体实施例的船舶驾驶舱的人员定位方法的流程图；

图2为本发明一种具体实施例的图像示意图；

图3为本发明一种具体实施例的目标识别网络的示意图；

图4为本发明一种具体实施例的映射卷积结构示意图；

图5为本发明一种具体实施例的分类器的示意图。

具体实施方式

下面结合附图和具体实施例对本发明做进一步的详细说明。对于以下实施例中的步骤编号，其仅为了便于阐述说明而设置，对步骤之间的顺序不做任何限定，实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。

参照图1，本发明实施例提供了一种船舶驾驶舱的人员定位方法，本实施可应用于终端中，也可应用于服务器中。终端可以是智能手机、平板电脑、笔记本电脑、智能手表等，但并不局限于此。服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统。所述终端或者服务器与多个摄像设备通信。

本实施例包括步骤s11-s14：

s11、接收多个摄像头上传的视频图像，所述多个摄像头分别用于监控驾驶舱内的预设区域；所述视频图像是所述预设区域内的实时画面。所述预设区域是预先对驾驶舱内进行划分得到的若干区域。

s12、提取所述视频图像内人员的第一位置信息，所述第一位置信息包括含有人员特征的图像区域和所述图像区域的位置数据；由于视频图像内可能包含各式各样的特征信息，比如驾驶舱内的操作工具，而对于人员位置确定有作用的信息并不多，因此，只需要提取对人员位置确定有作用的信息即可。

在一些可选的实施例中，如图2所示，所述第一位置信息由含有人员特征的图像区域以及图像区域的位置数据组成，其中，点a位矩形左上角的图片像素坐标(x，y)，w为人体矩形区域宽度，h为人体矩形区域的高度。本实施例可以将一些不符合要求的视频图像过滤掉，例如不包含人员的图像，从而降低后续处理步骤的工作量，提高处理速度。

在另一些可选的实施例中，还可以通过预先训练的目标识别网络提取所述视频图像内人员的第一位置信息。

其中，所述目标识别网络的训练过程，包括：

初始化所述目标检测网络的网络权重；

获取预先标注人体位置信息的第一图像；所述人体位置信息与第一位置信息的数据范围相同，但其具体的数据内容可以不相同。

通过所述第一图像采用随机梯度下降法对所述目标检测网络进行训练；即将未标注人体位置信息的与第一图像对应的图像作为输入数据，将与该图像对应的人体位置信息作为输出数据对该目标检测网络进行训练。

根据所述训练结果调整所述网络权重。

在具体实施例中，训练过程为：在训练开始时随机初始化网络权重，在训练进行时使用随机梯度下降法进行优化训练，将初始学习率设置为0.01，动量值设为0.9，在开始阶段衡量网络收敛效果的loss值开始快速下降，随着训练的进行loss值下降速度开始变慢，网络收敛速度变慢，学习率也逐渐降低。同时，如果训练过程中在5个训练周期loss值没有下降或者降低幅度低于0.5，那么将学习率进一步缩小为当前学习率的0.3倍。当loss值下降到12左右，网络达到收敛状态，训练完毕。

在一些可选的实施例中，所述目标识别网络包括深度神经网络、区域特征聚集网络和全连接层，所述通过预先训练的目标识别网络提取所述视频图像内人员的第一位置信息，包括：

通过所述深度神经网络提取所述视频图像内人员的特征图像；

对所述特征图像分别进行上采样和下采样；

对采样结果进行融合处理；

通过所述区域特征聚集网络对融合处理结果进行尺寸固定；

通过所述全连接层对尺寸固定后的图像进行处理，得到人员的第一位置信息，所述第一位置信息包括含有人员特征的图像区域和所述图像区域的位置数据。

具体地，本实施例的目标识别网络的结构如图3所示，所述目标识别网络包括深度神经网络，该深度神经网络包括layer1、layer2、layer3、layer4和layer5五层结构，其中，在layer1网络层依次进行7×7卷积处理、批标准化、relu函数激活、3×3最大池化处理后得到包含图像信息的64×64×56×56多维向量，接着再依次通过layer2，layer3，layer4，layer5这四层网络，而layer2、layer3、layer4和layer5这四层网络层的主要结构均为如图4所示的映射卷积结构，该映射卷积结构有两个分支，分支一对输入图片向量进行1×1卷积、批标准化、relu函数激活、3×3卷积、批标准化、relu函数激活、1×1卷积和批标准化；分支二将输入图片向量仅进行1×1卷积后直接与分支一的处理结构融合通过relu函数激活得到该结构的输出。在本实施例中，layer2、layer3、layer4和layer5是输出向量维度分别为64×256×56×56、64×512×28×28、64×1024×14×14和64×2048×7×7的映射卷积结构。

而为了使目标检测网络能够在有遮挡的情况下依然能检测到细小的人体部分，通过在深度网络处理的过程中，图片在经过layer2，layer3，layer4，layer5网络层得到的大小不同的特征图后，对大小不同的两个特征图分别进行上采样与下采样，再将从不同大小特征图提取到的图像特征进行融合后输入到roialign网络层，接着将roialign网络层的输出分别通过两个全连接层(fullyconnectedlayer，fc)，以得到含有人员的图片区域和人体矩形区域数据(x，y，w，h)，从而在保证运算速度的同时，充分提取不同大小的人体特征，达到精确检测的效果。其中，roialign网络层是一种区域特征聚集方式，其通过双线性插值的方法，根据预选框的位置坐标把特征图中相应区域池化为固定尺寸的特征图，从而方便后续进行分类和回归的操作。

在另一些可选的实施例中，所述目标检测网络还可以通过摄像头拍摄的视频图像进行训练，其具体是将摄像头拍摄的视频图像缩放成244×244的三通道图片，训练时以64张图像为一批进行批处理和训练，将每批64张图像转换成对应的64×3×224×224多维向量输入目标检测网络。本实施例还可以在上述训练实施例的基础上，对目标识别网络进行进一步的调整训练。

s13、根据所述第一位置信息计算人员的第二位置信息；根据步骤s12的内容，所述第一位置信息为(x，y，w，h)，由于第一位置信息只是描述了人员在图像中的位置，但是，无法确定人员在实际中的具体位置，因此，需要将该第一位置信息转换为能够要获取实际位置信息相关的数据。在一些可选的实施例中，由于摄像头是预先安装的，因此，其监控的范围是可以确定的，当选定摄像头拍摄范围内的某一个确定位置为基准位置时，通过第一位置信息与基准位置的关系，即能确定人员与基准位置的相对位置，该相对位置即为第二位置信息，接着，执行步骤s14。

s14、根据所述第二位置信息预测人员在驾驶舱内的目标位置。即通过第二位置信息即能预测出人员在驾驶舱内的实际位置，该实际位置可以是实时变化的位置。所述目标位置即为实际位置。

在一些可选的实施例中，本步骤的具体执行过程为：

通过预先训练的分类器根据所述第二位置信息预测人员在驾驶舱内的目标位置；

为有效对分类器进行训练，在所述分类器执行训练步骤之前，需要先执行以下步骤：

构建所述预先标注的人体位置信息与驾驶舱内预设区域的映射关系。

上述步骤具体包括：

将驾驶舱划分为若干个预设区域，并对所述若干个预设区域进行位置编号；例如将驾驶舱的位置划分为若干个区域并将该若干个区域分别设置位置编号为1、2、3、……、n。接着获取该若干区域的摄像头的拍摄位置，然后将所述拍摄位置的预设位置作为当前区域的参考点信息；所述预设位置可以为摄像机拍摄图像左侧边缘中点p0(x0，y0)，并建立xy坐标系，以水平方向为x轴，假设预先标注的人体位置信息为如图2所示人体区域为(x，y，w，h)，计算该人体区域中点到参考点p0的距离l和角度θ，θ为直线p1p0与x轴正方向之间的夹角，将p1点对应l、θ作为样本特征，最后构建样本特征与位置编号的映射关系，并将该映射关系保存为csv或者其他文件格式，以便于读取。由此可知，上述步骤s13中的第二位置信息即为实际情况中的l和θ的数值。

其中，距离l的计算公式为公式1，角度θ的计算公式为公式2：

在完成上述映射关系的构建后，在一些可选的实施例中，所述分类器的训练步骤包括：

获取所述样本特征与所述位置编号的映射关系；具体是读取上述csv或者其他文件格式的内容。

将所述样本特征作为输入数据，将所述位置编号作为输出数据；

通过所述输入数据和所述输出数据对所述分类器进行训练。

由于所述样本特征和位置编号存在一定的映射关系，因此，通过上述文件内的信息对分类器进行训练，可以有效提高分类器的数据识别效率。

在一些可选的实施例中，所述分类器的结构可以采用如图5所示的三层结构神经网络分类器，包括输入层、隐藏层和输出层。神经网络分类器由前向计算(图5中的实线箭头)和误差反向传播(图5中的虚线箭头)两个过程组成。正向计算时，数据依次经过输入层、隐藏层和输出层。隐藏层中包含若干神经元(h1、h2、……、hn)，每个神经元有它自己的权重，每次计算时，若在输出层得到一个预测输出，使用损失函数计算预测值与真实值之间的误差并进行反向传播来调整隐藏层中神经元的权重，通过这两个过程的交替进行，使神经网络分类器的输出结果越来越接近真实标签值，从而实现分类器的功能。

在训练神经网络分类器的过程中，可以采用交叉熵损失函数来衡量神经网络输出的预测值和样本标签真实值之间的误差。具体地，在训练神经网络分类器的过程中，读取上述实施例中的csv或其他文本文件，并以l和θ为特征作为神经网络的两个输入，使用one-hot编码方法将样本特征转换成计算机易于利用的数据格式后作为真实值对分类器进行训练，经过多次迭代更新权重后，神经网络分类器的损失函数降低到全局最小值或局部最小值时，训练完成，保存分类器权重参数，即表示该神经网络分类器能够根据输入的l和θ输出人员在舱内的位置编号。

其中，损失函数loss的计算公式为公式3：

p表示真实值，q表示预测值。

综上所述，上述实施例通过根据摄像头采集的图像，采用目标识别网络和分类器进行处理，从而无需进行大量数据的传输，也无需安装射频识别定位设备，使得在降低设备成本的同时，还能及时有效的检测驾驶舱内人员情况。

本发明实施例提供了一种与图1方法对应的船舶驾驶舱的人员定位系统，其包括：

接收模块，用于接收多个摄像头上传的视频图像，所述多个摄像头分别用于监控驾驶舱内的预设区域；

提取模块，用于提取所述视频图像内人员的第一位置信息，所述第一位置信息包括含有人员特征的图像区域和所述图像区域的位置数据；

计算模块，用于根据所述第一位置信息计算人员的第二位置信息；

预测模块，用于根据所述第二位置信息预测人员在驾驶舱内的目标位置。

本发明方法实施例的内容均适用于本系统实施例，本系统实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法达到的有益效果也相同。

本发明实施例提供了一种船舶驾驶舱的人员定位系统，其包括：

至少一个处理器；

至少一个存储器，用于存储至少一个程序；

当所述至少一个程序被所述至少一个处理器执行时，使所述至少一个处理器实现所述的船舶驾驶舱的人员定位方法。

本发明方法实施例的内容均适用于本系统实施例，本系统实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法达到的有益效果也相同。

此外，本发明实施例还提供了一种存储介质，其中存储有处理器可执行的指令，所述处理器可执行的指令在由处理器执行时用于实现所述的船舶驾驶舱的人员定位方法。

以上是对本发明的较佳实施进行了具体说明，但本发明并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。