一种多视角图像的物体最小外包络尺寸测算方法与流程

本申请涉及物流、图像处理领域，具体涉及一种多视角图像的物体最小外包络尺寸测算方法。

背景技术：

区域经济一体化和互联网技术的广泛应用，使得物流业得到变革性的发展。精细化分配和智能化运作是现代物流的基本要求，包裹的重量和体积是物流中最基础的要素。在目前，包裹重量信息的获取已十分方便，而对体积信息的获取存在操作繁琐、成效低等问题，一定程度上限制了物流智能化的发展。

随着手机的普及和图像处理技术的提升，物流从业人员利用手机摄像机将包裹的长、宽、高测量出来，可以简化包裹的分拣归类和投递、提高物流的效率。然而包裹图像信息等处理以及对不规则形状等包裹(如桌椅)的最小外包络计算与测量是两大难点。

技术实现要素：

本申请的目的是提供一种多视角图像的物体最小外包络尺寸测算方法，利用终端设备拍摄的多视角图像来获取物体的外包络，得到物体的尺寸信息。

为了实现上述任务，本申请采用以下技术方案：

一种多视角图像的物体最小外包络尺寸测算方法，包括：

利用终端设备从两个不同的角度分别拍摄待测量物体的图像，计算所拍摄的图像中的像素点在世界坐标系中的空间坐标，从而得到图像的三维点云模型；

将物体的点云从图像的三维点云模型中分离提取出来，完成物体的点云提取；

对于物体的点云，利用有向包络盒生成物体表面的顶点，通过主成分分析获得特征向量，从而获取物体的最小外包络，得到物体的尺寸。

进一步地，所述计算所拍摄的图像中的像素点在世界坐标系中的空间坐标，从而得到图像的三维点云模型，包括：

设相机坐标系和世界坐标系的原点重合，则这两个坐标系下单同一个物体具有相同的深度，因此，相机所拍摄的图像中的像素点p(u，v)与其在世界坐标系中的空间坐标关系(xw,yw,zw)为：

其中，f为相机焦距、图像中心的像素坐标(u0,v0)、相机中感光器件每个像素的物理尺寸分别为dx和dy；

图像中的像素点p(u，v)在相机坐标系中对应的点(x，y)满足关系为：

设物体上的一点p在世界坐标系中的坐标为(xw，yw，zw)，根据不同角度的两次拍摄，由于其处于两次所拍摄的图像中对应像素所在空间位置的交点出，由此可以计算得到xw和yw且p在由光心出发的射线ocp上；

记oc和oc′分别是从不同角度两次拍摄物体时镜头的中心，则p为射线ocp和oc′p′的交点，该交点即寻求满足对级几何约束的点，使得重投影误差最小：

c(p，p′)＝d(p，p)²+d(p，p′)²

其中，c(p，p′)为重投影误差值，p表示物体上的一点，p和p′分别为相机两次拍摄的图像中的同一个点，d()²为欧式距离求解函数；

通过求解上式，得到zw；按照相同的方法，计算出拍摄的图像中所有的像素点的空间坐标，这些坐标点即构成了图像的三维点云模型，从而完成了图像的三维点云表达。

进一步地，所述将物体的点云从图像的三维点云模型中分离提取出来，完成物体的点云提取，包括：

对采集的点云数据进行特征提取，并对提取到的特征点的特征表达进行判别分类，将特征点分为高置信度与低置信度两类；

对于高置信度特征点，取特征点的特征向量中最大值对应的类别作为特征点的类别；对于低置信度特征点，利用特征点之间的位置信息，建立特征点之间的相似度表达矩阵；

将所述相似度表达矩阵作为低置信度特征点之间的关联，将低置信度特征点分类到与其关联度最大的高置信度特征点所在类别中；

将划分为相同类别的特征点汇总合并，实现点云的语义分割。

进一步地，所述的对提取到的特征点的特征表达进行判别分类，将特征点分为高置信度与低置信度两类，包括：

对特征点的特征向量中最大值与次大值比例以n为阈值，区分特征表达的置信度：对于特征向量中最大值与次大值的比例大于n的特征点作为高置信度特征点，小于n的特征点作为低置信度特征点。

进一步地，所述的对于低置信度特征点，利用特征点之间的位置信息，建立特征点之间的相似度表达矩阵，包括：

利用低置信度特征点的特征表达向量，构建特征点之间的特征相关性矩阵mfv；对特征点的坐标归一化，利用特征点之间的归一化坐标的距离构建特征点之间的距离相关性矩阵mdm；则特征点之间的相似度表达矩阵m＝|mfv-mdm|。

进一步地，所述的特征相关性矩阵mfv中，任意两个特征点的特征表达向量vi、vj的相似度为：其中cov(vi，vj)为vi、vj的协方差，d(vi)、d(vj)分别为vi、vj的方差。

进一步地，所述的距离相关性矩阵mdm中，任意两特征点的p、q的距离为：

其中，(xp，yp，zp)、(xq，yq，zq)表示特征点的p、q的归一化后的坐标。

进一步地，所述将所述相似度表达矩阵作为特征点之间的关联，将低置信度特征点分类到与其关联度最大的高置信度特征点所在类别中，包括：

利用图论构建网络图，结合所述的相似度表达矩阵将低置信度特征点分类到与其关联度最大的高置信度特征点所在类别中。

进一步地，所述的利用图论构建网络图，结合所述的相似度表达矩阵将低置信度特征点分类到与其关联度最大的高置信度特征点所在类别中，包括：

建立网络图，以所有特征点作为网络图中的顶点，相邻特征点之间的关联为图的边，根据特征点之间的相似性定义各个边的权值，其中，以所述相似度表达矩阵定义边上的权重；然后利用边的权重计算每个低置信度特征点到达各个高置信度特征点的概率，将最大概率的高置信度特征点的类别作为低置信度特征点的类别，将低置信度特征点划分到该类别中。

本申请提供了一种终端设备，包括包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，处理器执行计算机程序时实现前述第一方面的多视角图像的物体最小外包络尺寸测算方法的步骤。

本申请提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现前述第一方面的多视角图像的物体最小外包络尺寸测算方法的步骤。

本申请具有以下技术特点：

1.本申请提供了一种利用终端设备，例如手机等获取物体多视角图像，提取三维点云模型来估算尺寸的方法，更好地满足了物流行业对包裹信息获取的实际应用需求；该方法实现过程自动化，除了拍摄之外，无需人工手动操作，应用场景广泛，使用方便。

2.本申请的方法简化了包裹分拣归类和投递的流程，提高了物流的效率，有利于推动现代物流智能化运作的发展。

附图说明

图1为本申请方法的流程示意图；

图2为相机的针孔模型结构示意图；

图3为从不同视角计算物体空间坐标的示意图；

图4的(a)、(b)、(c)分别为从三个不同角度展示出环境和物体的点云的示意图；

图5的(a)、(b)、(c)分别为三个不同角度展示出在三维点云环境中椅子分离出的椅子的点云示意图。

具体实施方式

鉴于物流行业中获取包裹(特别是不规则形状的包裹)的体积信息操作繁琐、效率低下等问题，提出一种多视角图像的物体最小外包络尺寸测算方法。本方法使用点云表达多视角拍摄的包裹；利用深度卷积神经网络对手机相机采集的多角度图像进行语义分割，以桌面、地板等摆放物流包裹的平面为分割目标，将包裹与其所在的摆放平面分离；根据分割得到的包裹点云，获取其最小外接长方体的长、宽、高尺寸。

如图1所示，本申请提供了一种多视角图像的物体最小外包络尺寸测算方法，包括以下步骤：

s1，利用终端设备从两个不同的角度分别拍摄待测量物体的图像，计算所拍摄的图像中的像素点在世界坐标系中的空间坐标，从而得到图像的三维点云模型。

本申请的实施例中，终端设备采用手机，通过手机的后置相机来从物体的左侧面、右侧面分别获取物体的图像。在相机的针孔模型结构中，相机的内参是与相机自身性质相关的已知量，包括焦距f、图像中心的像素坐标(u0,v0)、相机中感光器件每个像素的物理尺寸分别为dx和dy。

设相机坐标系和世界坐标系的原点重合，则这两个坐标系下单同一个物体具有相同的深度，因此，相机所拍摄的图像中的像素点p(u，v)与其在世界坐标系中的空间坐标关系(xw,yw,zw)为：

其中，zc表示在相机坐标系中物体在z轴的坐标。

图像中的像素点p(u，v)在相机坐标系中对应的点(x，y)满足关系为：

如图2所示，ocxcyczc为相机坐标系，owxwywzw为世界坐标系。物体上的一点p在世界坐标系中的坐标为(xw，yw，zw)，根据不同角度的两次拍摄，由于其处于两次所拍摄的图像中对应像素所在空间位置的交点出，如图3所示，由此可以计算得到xw和yw且p在由光心出发的射线ocp上。

由于在图2所示的成像模型中，p点的深度(即zw)是一个在以相机镜头中心为起点，经过图相平面中点p的射线上，对于zw的求解如图3所示：

oc和oc′分别是从不同角度两次拍摄物体时镜头的中心，则p为射线ocp和oc′p′的交点，该交点即寻求满足对级几何约束的点，使得重投影误差最小：

c(p，p′)＝d(p，p)²+d(p，p′)²

其中，c(p，p′)为重投影误差值，p表示物体上的一点，p和p′分别为相机两次拍摄的图像中的同一个点，d()²为欧式距离求解函数，即：

因此经过两次不同角度的拍摄，式c(p，p′)＝d(p，p)²+d(p，p′)²中仅含未知量zw，从而求解得到zw。

按照相同的方法，计算出拍摄的图像中所有的像素点的空间坐标，这些坐标点即构成了图像的三维点云模型，从而完成了图像的三维点云表达。

s2，利用深度神经网络将物体的点云从图像的三维点云模型中分离提取出来，完成物体的点云提取。

本申请提出使用点云的特征描述和点对之间的距离两者相结合的思想，组建特征点的相似度表达。其中，特征描述为特征点在预训练点云分类中的皮尔逊相似度；点对之间的距离由欧式距离表示。引用二维图像分割领域的随机游走算法到此三维点云处理中，对二维的相似度矩阵分类，从而实现三维点云的高效分割，具体包括：

s2.1，对三维点云模型进行特征提取，并对提取到的特征点的特征表达进行判别分类，将特征点分为高置信度与低置信度两类。

具体地，对特征点的特征向量中最大值与次大值比例以n为阈值，区分特征表达的置信度：对于特征向量中最大值与次大值的比例大于n的特征点作为高置信度特征点，小于n的特征点作为低置信度特征点。n为可以调整的常数。

s2.2，对于高置信度特征点，取特征点的特征向量中最大值对应的类别作为特征点的类别；对于低置信度特征点，利用特征点之间的位置信息，建立特征点之间的相似度表达矩阵，包括：

利用低置信度特征点的特征表达向量，构建特征点之间的特征相关性矩阵mfv；对特征点的坐标归一化，利用特征点之间的归一化坐标的距离构建特征点之间的距离相关性矩阵mdm；则特征点之间的相似度表达矩阵m＝|mfv-mdm|。

所述的特征相关性矩阵mfv中，任意两个特征点的特征表达向量vi、vj的相似度为：其中cov(vi，vj)为vi、vj的协方差，d(vi)、d(vj)分别为vi、vj的方差。

所述的距离相关性矩阵mdm中，任意两特征点的p、q的距离为：

其中，(xp，yp，zp)、(xq，yq，zq)表示特征点的p、q的归一化后的坐标。

s2.3，将所述相似度表达矩阵作为低置信度特征点之间的关联，将低置信度特征点分类到与其关联度最大的高置信度特征点所在类别中，包括：

利用图论构建网络图，结合所述的相似度表达矩阵将低置信度特征点分类到与其关联度最大的高置信度特征点所在类别中，具体为：

建立网络图，以所有特征点作为网络图中的顶点，相邻特征点之间的关联为图的边，根据特征点之间的相似性定义各个边的权值，其中，以所述相似度表达矩阵定义边上的权重；然后利用边的权重计算每个低置信度特征点到达各个高置信度特征点的概率，将最大概率的高置信度特征点的类别作为低置信度特征点的类别，将低置信度特征点划分到该类别中。

s2.4，将划分为相同类别的特征点汇总合并，实现点云的语义分割，提取出了物体的点云。

如图4所示，对于待提取外包络的椅子，图4的(a)至(c)图从三个不同角度展示了椅子所在的环境，图5的(a)至(c)为三个不同角度展示出在三维点云环境中椅子分离出的椅子的点云示意图。

s3，对于物体的点云，利用有向包络盒(obb)生成物体表面的顶点，通过主成分分析(pca)获得特征向量，即obb的主轴；其中主成分分析是通过计算任意两个变量之间的协方差构成的协方差矩阵，判断变量之间的相关性大小，提取一组线性不相关的变量集合作为主成分，协方差矩阵的特征向量即为obb包络盒的方向，从而获取物体的最小外包络，得到物体的的长、宽、高尺寸，以便于实际应用时对货物的堆放和存储。

以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。