本发明涉及测量技术领域，尤其涉及一种谷物流量检测方法及装置。
背景技术
精准农业是基于信息采集和智能控制进行作物管理的现代农业精细耕作技术。其核心是根据农作物的实际需要进行化肥，农药的投入，以达到提高产量，节约成本，减少污染的目的。明确农作物的生长态势和其产量分布差异是精准农业的关键，获取农作物产量分布是实施精准农业的第一步。在实现精准农业的机械装备技术创新上，发展最快的当属自带传感器的智能联合谷物收割机，所谓联合谷物收割机就是一次完成谷类作物的收割、脱粒、分离茎杆、清除杂余等工序，从田间直接获得谷粒的谷物收获机械。简称谷物联收机，也译作谷物康拜因，其核心为安装在谷物联收机上获取农作物产量的传感器。
目前已经研制出来的流量传感器主要有冲量式传感器，、基于γ射线谷物流量传感器和、光电式谷物流量传感器等传感器。冲量式的传感器是基于冲量定理。当谷物冲击挡板时将会导致速度变化，同时挡板上会感受到力的变化，测量出力的变化即可推算出谷物的流量。冲量式谷物流量传感器使用安全，应用广泛，但是存在安装调试困难和精度差的缺点，不利于在我国农业结构调整技术中的推广和应用。基于γ射线谷物流量传感器虽然测量精度高，但是其造价昂贵，且γ射线对人体有潜在的危害，这些缺点限制了这种传感器的推广。
技术实现要素：
本发明的目的是提供一种谷物流量检测方法，实现对谷物的非接触测量。
为解决上述问题，本发明的第一方面提供了一种谷物流量检测方法，包括：获取谷物升运器内谷物流的正面图像和背面图像；对所述正面图像进行匹配，生成所述谷物流的正面点云图；对所述背面图像进行匹配，生成所述谷物流的背面点云图；基于所述正面点云图和背面点云图，得到谷物流的体积。
进一步地，谷物升运器内谷物流的正面图像，包括：正面左视角图像和正面右视角图像；谷物升运器内谷物流的背面图像，包括：背面左视角图像和背面右视角图像。
进一步地，对正面图像进行匹配，生成谷物流的正面点云图包括：对正面左视角图像和正面右视角图像进行校准；基于预设的匹配算法对正面左视角图像中的每一个像素点,在正面右视角图像中寻找对应的像素点；基于预设算法计算正面左视角图像和正面右视角图像中每个像素点的视差；基于视差和预存参数，计算正面图像中每个像素点的深度坐标；基于正面图像中每个像素点的深度坐标，计算每个像素点的横坐标和纵坐标；基于正面图像中所有像素点的横坐标、纵坐标和深度坐标，生成正面点云图。
进一步地，将视差和预存参数代入式(1)进行计算，得到正面图像中每个像素点的深度坐标；式(1)为z1＝(f1*t1)/d1；其中，z1表示正面图像中每个像素点的深度坐标；f1表示采集正面图像相机的焦距；t1表示采集正面相机的基线长度；d1表示正面左右图像视差。
进一步地，对背面图像进行匹配，生成谷物流的背面点云图包括：对背面左视角图像和背面右视角图像进行校准；基于预设的匹配算法对背面左视角图像中的每一个像素点,在背面右视角图像中寻找对应的像素点；基于预设算法计算背面左视角图像和背面右视角图像中每个像素点的视差；基于视差和预存参数，计算背面图像中每个像素点的深度坐标；基于背面图像中每个像素点的深度坐标，计算每个像素点的横坐标和纵坐标；基于背面图像中所有像素点的横坐标、纵坐标和深度坐标，生成背面点云图。
进一步地，将视差和预存参数代入式(2)进行计算，得到背面左视角图像中每个像素点的深度坐标；式(2)为z2＝(f2*t2)/d2；其中，z2表示背面图像中每个像素点的深度坐标；f2表示采集背面图像相机的焦距；t2表示采集背面相机的基线长度；d2表示背面左右图像视差。
进一步地，基于所述正面点云图和背面点云图，得到谷物流的体积包括：根据z坐标和投影变换可以计算出对应点的x,y坐标；根据谷物表面点的三维坐标计算出谷物外表面到升运器四周的体积；结合升运器的截面积算出此段升运器的体积，减去之前算出的谷物外表面到升运器四周的体积，即得到谷物的体积。
本发明的另一方面公开了一种谷物流量检测装置，包括：第一双目相机、第二双目相机和分别与第一双目相机和第二双目相机通信连接的树莓派；第一双目相机设置在谷物升运器的一侧，用于采集谷物升运器内谷物流的正面图像，并将正面图像发送至所述树莓派；第二双目相机设置在谷物升运器的与第一双目相机相对的一侧，用于采集谷物升运器内谷物流的背面图像，并将背面图像发送至所述树莓派；树莓派包括存储器和处理器，存储器上存储有计算机程序，程序被所述处理器执行时实现上述方法的步骤。
进一步地，第一双目相机包括第一壳体和设置在第一壳体内的第一左摄像头和第一右摄像头；第一左摄像头用于采集谷物升运器内谷物流的正面左视角图像；第一右摄像头用于采集谷物升运器内谷物流的正面右视角图像；第二双目相机包括第二壳体和设置在第二壳体内的第二左摄像头和第二右摄像头；第二左摄像头用于采集谷物升运器内谷物流的背面左视角图像；第二右摄像头用于采集谷物升运器内谷物流的背面右视角图像。
进一步地，第一壳体和第二壳体均包括：外壳、螺栓、螺母、相机支架、窗口；左摄像头和右摄像头与水平面之间的夹角为20-50度，还包括补光灯。
本发明的上述技术方案具有如下有益的技术效果：实现了谷物流量的非接触测量，不需要对多次采集图像进行处理，只需对一帧图像进行解算即可得到谷物的体积，进而得到流量。
附图说明
图1是根据本申请实施方式的谷物流量检测方法的流程图；
图2是根据本申请实施方式获得正面点云图的流程图；
图3是根据本申请实施方式获得背面点云图的流程图；
图4是根据本申请实施方式获得谷物流的体积的流程图；
图5是根据本申请实施方式谷物流量检测装置主视图；
图6是根据本申请实施方式谷物流量检测装置俯视图；
图7是根据本申请实施方式谷物流量检测装置局部剖视图；
图8是根据本申请实施方式谷物流量检测装置爆炸图；
图9是根据本申请实施方式谷物流量检测装置安装到升运器的视图。
附图标记：
1：括螺母；2：螺栓；3：壳体；4：螺栓；5：螺母；6：支架；7：相机；8：螺母；9：螺栓；10：窗口。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本发明进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。
显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1是根据本申请实施方式的谷物流量检测方法的流程图。
如图1所示，根据本发明实施例的一个方面，提供了一种谷物流量检测方法，包括以下步骤：
s1,获取谷物升运器内谷物流的正面图像和背面图像；
正面图像和背面图像像素范围为200万-1200万，优选为300-1000万，更优选为500-700万。在此像素范围，图像清晰，并且便于解算。
s2,对正面图像进行匹配，生成所述谷物流的正面点云图；
点云图为通过测量仪器得到的物体外观表面的点数据集合的图像。
s3,对背面图像进行匹配，生成所述谷物流的背面点云图；
s4,基于正面点云图和背面点云图，得到谷物流的体积。
通过上述方法实现了谷物流量的非接触测量，不需要对多次采集图像进行处理，只需对一帧图像进行解算即可得到谷物的体积，进而得到流量。
在一可选实施例中，谷物升运器内谷物流的正面图像，包括：正面左视角图像和正面右视角图像；谷物升运器内谷物流的背面图像，包括：背面左视角图像和背面右视角图像。
图2是根据本申请实施方式获得正面点云图的流程图。
如图2所示，在一可选实施例中，对正面图像进行匹配，生成谷物流的正面点云图具体步骤包括：
s21对正面左视角图像和正面右视角图像进行校准,具体实现步骤如下：
(1)对两摄像头进行标定，包括摄像头本身的内参的标定以及两摄像头位置参数的标定。
(2)根据(1)的标定参数，利用双目校正使得两幅图像的对极线在同一水平线上，这样一幅图像上任意一点与其在另一幅图像上的对应点就必然具有相同的行号，只需在该行进行一维搜索即可匹配到对应点。
s22基于预设的匹配算法对正面左视角图像中的每一个像素点,在正面右视角图像中寻找对应的像素点；s23计算正面左视角图像和正面右视角图像中每个像素点的视差；s24基于视差和预存参数，计算正面图像中每个像素点的深度坐标；s25基于正面图像中每个像素点的深度坐标，计算每个像素点的横坐标和纵坐标；s26基于正面图像中所有像素点的横坐标、纵坐标和深度坐标，生成正面点云图。
预设的匹配算法为bm匹配算法，bm匹配算法是blockmatch算法的缩写，是一种非常高效的搜索算法。
在一可选实施例中，将视差和预存参数代入式(1)进行计算，得到正面图像中每个像素点的深度坐标；式(1)为z1＝(f1*t1)/d1；其中，z1表示正面图像中每个像素点的深度坐标；f1表示采集正面图像相机的焦距；t1表示采集正面相机的基线长度；d1表示正面左右图像视差。
图3是根据本申请实施方式获得背面点云图的流程图。
如图3所示，在一可选实施例中，对背面图像进行匹配，生成谷物流的背面点云图具体步骤包括：s31对背面左视角图像和背面右视角图像进行校准；s32基于预设的匹配算法对背面左视角图像中的每一个像素点,在背面右视角图像中寻找对应的像素点；s33基于预设算法计算背面左视角图像和背面右视角图像中每个像素点的视差；s34基于视差和预存参数，计算背面图像中每个像素点的深度坐标；s35基于背面图像中每个像素点的深度坐标，计算每个像素点的横坐标和纵坐标；s36基于背面图像中所有像素点的横坐标、纵坐标和深度坐标，生成背面点云图。
在一可选实施例中，将视差和预存参数代入式(2)进行计算，得到背面左视角图像中每个像素点的深度坐标；式(2)为z2＝(f2*t2)/d2；其中，z2表示背面图像中每个像素点的深度坐标；f2表示采集背面图像相机的焦距；t2表示采集背面相机的基线长度；d2表示背面左右图像视差。
图4是根据本申请实施方式获得谷物流的体积的流程图。
如图4所示，在一可选实施例中，基于所述正面点云图和背面点云图，得到谷物流的体积包括：根据z坐标和投影变换可以计算出对应点的x,y坐标；根据谷物表面点的三维坐标计算出谷物外表面到升运器四周的体积；结合升运器的截面积算出此段升运器的体积，减去之前算出的谷物外表面到升运器四周的体积就可以得到谷物的体积。
为便于体积解算，将计算的三维坐标进行一次旋转变换，使得z轴与水平面夹角为0，计算出外表面到升运器四周的体积。再根据谷物高度(可根据纵坐标的最大最小值之差计算得出)算出该段升运器的体积，再减去外表面到升运器四周的体积即可得出谷物的实际体积，投影变换是本领域人员所理解的将一种地图投影点的坐标变换为另一种地图投影点的坐标的过程。旋转变换是本领域人员所理解的由一个图形改变为另一个图形，在改变过程中，原图上所有的点都绕一个固定的点换同一方向，转动同一个角度。
本发明的另一方面公开了一种谷物流量检测装置，如图5-图9所示，包括：第一双目相机、第二双目相机和分别与第一双目相机和第二双目相机通信连接的树莓派；第一双目相机设置在谷物升运器的一侧，用于采集谷物升运器内谷物流的正面图像，并将正面图像发送至所述树莓派；第二双目相机设置在谷物升运器的与第一双目相机相对的一侧，用于采集谷物升运器内谷物流的背面图像，并将背面图像发送至所述树莓派；树莓派包括存储器和处理器，存储器上存储有计算机程序，程序被所述处理器执行时实现上述方法的步骤。树莓派安装位置可以自行调整，以便于接线安装为准。需要在树莓派的sd卡上安装ubuntumate操作系统，并编译安装opencv和pcl库。
图9为立体图，只显示一侧的第一双目相机，第二双目相机在另一侧被遮挡无法显示，
在本发明的描述中，需要说明的是，术语“第一”、“第二”、仅用于描述目的，而不能理解为指示或暗示相对重要性。
本发明主要依赖于内部软件对实时采集的图像进行解算，故现将软件实现的主要流程进行说明：
首先，需要对两个相机进行标定，标定内容包括两个相机本身的参数和相机之间的参数，如果改变相机之间的位置，调整相机的焦距或者更换相机，则需要重新进行标定。
其次，两个双目相机采集升运器内的正面和背面的图像，进行图像判断，判断是否有谷物，若没有谷物，则输出流量为0；若有谷物，则有两个摄像头采集到的图像生成深度图。
然后，根据深度图解算当前帧的体积，记录时间戳，接下来重复上面的步骤，采集下一帧的图像并解算体积并记录时间戳，和上一帧的结果进行比较，若当前帧的结果大于上一帧的结果，则继续采集下一帧的图像并计算体积，若当前帧的结果小于上一帧的结果，则将上一帧的体积作为最终的体积，并根据之前记录的时间戳算出累计时间。
最后，将体积与累计时间的比值作为流量输出到串口或者存储到数据库，此次流量解算结束，进行下一轮解算。
通过上述方法及装置测量谷物流量，依靠双目相机和软件将自动运行，并在串口输出相应的流量值，无需手动启动。
优选的，第一双目相机与第二双目相机设置在同一水平位置。可以更准确计算出谷物的体积。
在一可选实施例中，第一双目相机包括第一壳体和设置在第一壳体内的第一左摄像头和第一右摄像头；第一左摄像头用于采集谷物升运器内谷物流的正面左视角图像；第一右摄像头用于采集谷物升运器内谷物流的正面右视角图像；第二双目相机包括第二壳体和设置在第二壳体内的第二左摄像头和第二右摄像头；第二左摄像头用于采集谷物升运器内谷物流的背面左视角图像；第二右摄像头用于采集谷物升运器内谷物流的背面右视角图像。
在一可选实施例中，第一壳体和第二壳体均包括：外壳、螺栓、螺母、相机支架、窗口；左摄像头和右摄像头与水平面之间的夹角为20-50度，为相机光轴，这样摄像头的视角比水平放置更大，可以观察到更多的谷物。
该谷物流量检测装置还包括补光灯。
优选的，在安装双目相机的两侧都安装补光灯。更好的为相机采集图像补充光源，由于升运器里面光照条件较差，光线较弱，故需要补光措施。补光灯的位置可按需要进行调整。
在窗口上安装透明塑料挡板，使得光线可以透过挡板到达相机的镜头，并且挡板可以阻挡谷物流向装置。
以下将参照附图更详细地描述本发明。在各个附图中，相同的元件采用类似的附图标记来表示。为了清楚起见，附图中的各个部分没有按比例绘制。
此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
本发明旨在保护一种谷物流量检测方法，包括：采集谷物图像，得到图像中谷物的体积；判断图像中谷物的体积是否满足第一预设条件；当图像中谷物的体积满足第一预设条件时，开始计时，继续采集谷物图像，得到图像中谷物的体积；判断图像中谷物的体积是否满足第二预设条件；当图像中谷物的体积满足第二预设条件时，记录时间，并得出流量结果。实现了谷物流量的非接触测量，不需要对多次采集图像进行处理，只需对一帧图像进行解算即可得到谷物的体积，进而得到流量。本发明的另一方面提供了一种谷物流量检测装置，其特征在于，包括：壳体，分别安装于谷物升运器的两侧；支架，置于壳体内，并与所述壳体连接；双目相机，分别与所述支架连接；补光灯，安装于谷物升运器两侧；及解算装置。该谷物流量检测装置具有安装调试简单，精度高，且对人体无任何伤害，造价低廉的特点。
应当理解的是，本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理，而不构成对本发明的限制。因此，在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。此外，本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。