一种基于机器视觉的可分类西瓜收获运输机的制作方法

1.本发明属于农业机械领域，具体涉及一种基于机器视觉的可分类西瓜收获运输机。


背景技术：

2.我国是世界第一西瓜生产大国，占世界西瓜总产量的比重超过67％，但我国采摘西瓜的现状主要还是依靠人墙，即一位农民将西瓜摘下来，然后将西瓜通过一个又一个农民传到运输车上，这种西瓜采摘的方式效率低，劳动强度大，而且生产成本高。为了提高西瓜的收获效率，专利cn107258224a公开了一种西瓜收获机及其收获方法，包括驱动机构、车架本体以及传送机构，车架本体上安装有重量筛选装置，传送机构包括主传送装置和次传送装置；但是该收获机不能实现一边传送西瓜一边向前运动的功能，采摘效率较低，而且其重量筛选功能是依靠弹簧实现的，重量阈值并不准确，分拣的界限比较模糊，直接影响分拣的质量。因此，如何提高西瓜收获机的效率，并对西瓜进行更为准确的分拣，以适应不同市场的需求，是本领域迫切需要解决的关键技术问题。


技术实现要素：

3.本发明的目的在于克服现有技术中存在的缺点，提供一种基于机器视觉的可分类西瓜收获运输机，一边传送西瓜一边向前运动，收获运输的效率高，而且对西瓜进行精准的分类，分拣质量高。
4.本发明的目的通过下述技术方案实现：
5.一种基于机器视觉的可分类西瓜收获运输机，包括运输装置1、承载机构2、链传动机构3、驱动机构4和视觉装置；所述运输装置1包括运输车11和运输平台12，所述运输平台12安装在运输车11的后部；所述驱动机构4安装在运输平台12上，用于驱动链传动机构进行横向移动；所述链传动机构3安装在驱动机构4上，其一端向运输装置1的侧面伸出；所述承载机构2安装在链传动机构3的上方，由链传动机构提供动力进行回转；所述视觉装置包括相机51、相机架52和视觉系统53，用于判断西瓜的成熟度和病害程度检测。
6.所述承载机构2，包括承载碗21、承载块22、舵机23、椭圆型轮24、弹性元件25、交叉连接杆26、滚轮27、滚轮电机28和压力传感器；承载块22固定在侧板363上，侧板与传动链362相连接，从而带动承载碗进行回转运动；所述交叉连接杆26呈角状，一边比另一边厚长，其两边的交接处有转动轴承，转动轴承通过销轴安装在承载块22向上开口的一边，使得交叉连接杆26可以绕销轴进行一定角度的旋转，以使西瓜从承载碗21中滚落；所述承载碗21固定在交叉连接杆26的厚长一边，用于承载与运输采摘下来的西瓜；所述承载块22的内部有舵机23，舵机23的轴与椭圆型轮24相连接，为交叉连接杆的旋转提供动力；所述弹性元件25的一端固定在承载块上，另一端与交叉连接杆26的较短一边相连接，用于将交叉连接杆26的较短一边拉向承载块；所述滚轮电机28安装在交叉连接杆的厚长一边；所述滚轮27安装在承载碗21的底部，且与滚轮电机28轴连接，在链传送机构转动时，滚轮转动并带动碗内
的西瓜转动，使得相机能够拍到西瓜的整个外表面；所述压力传感器安装在承载碗21的内部，用于判断承载碗21是否装有西瓜，以判断承载碗到指定位置时是否执行倾斜动作。
7.所述承载机构2的工作原理是：所述椭圆型轮24位于弹性元件25下方，由于弹性元件25的拉紧作用，所述交叉连接杆26的较短一边外侧始终与椭圆型轮24紧密贴合；因此，在椭圆型轮24转动时，交叉连接杆26会绕着转动轴承进行转动，从而带动其上的承载碗22处于水平或者倾斜的状态，而交叉连接杆26转动的幅度由椭圆型轮的圆弧半径变化决定，在椭圆型轮的转动状态下，圆弧半径最大时，承载碗21倾斜，西瓜滚落，圆弧半径最小时，承载碗22保持水平。
8.承载机构的工作步骤：由于弹性元件的作用，交叉连接杆26始终与椭圆型轮24相接触；当承载碗22内的西瓜不需要进行倾倒时，承载碗22处于水平状态，椭圆型轮24与交叉连接杆26的接触位置为椭圆型轮24的半径最小圆弧；当承载碗22内的西瓜需要进行倾倒时，舵机23启动进而带动椭圆型轮24转动，从而使得交叉连接杆摆动；当椭圆型轮24转动180
°
时，舵机23停止，椭圆型轮24的半径最大，承载碗22处于倾斜状态，西瓜从承载碗22内倾倒出来；然后舵机23再次启动，椭圆型轮24返回初始位置，承载碗22回到水平状态。
9.所述链传动机构3包括主动链轮31、主动链轮轴32、支撑架33、支撑脚34、支撑柱35、传动链部件36、从动链轮37、从动链轮轴38和链轮电机39；所述支撑架33安装在驱动机构上，支撑架33的下方设置有齿条44，驱动机构的驱动轨道中设置有齿轮45，齿条44与齿轮45相啮合，通过齿轮45的转动可带动支撑架33进行横向移动；所述传动链部件36包括传动链轨道361和传动链362，所述传动链部件36通过支撑柱35安装于支撑架33的上方；所述传动链部件36向外伸出的一端内侧装有主动链轮31，所述主动链轮31与传动链362啮合，通过转动主动链轮31可带动传动链362在传动链轨道361中移动；所述主动链轮31固定在主动链轮轴32上，主动链轮轴32与安装在支撑架上的链轮电机39相连接，链轮电机39通过驱动主动链轮轴32转动即可带动主动链轮31转动，为整个链传动机构3提供动力；所述传动链部件36的另一端内侧装有从动链轮37，从动链轮37通过从动链轮轴38固定安装在支撑架33上，用于固定和压紧传动链362，从动链轮37与传动链362啮合，通过传动链362的移动可带动从动链轮37转动。
10.所述支撑架33的下方有可折叠支撑脚34，包括y型脚架321、支撑脚轮322、连杆323；所述y型脚架321通过转动铰链结构安装在靠近支撑架33两端的下方；所述连杆323的一端通过转动铰链结构固定在支撑架下方，另一端通过转动铰链结构固定在y型脚架上；所述连杆323的中间有转动铰链和固定结构，当连杆323位于死点位置时，连杆323中间的转动铰链使其无法转动即可让y型脚架321垂直于地面，此时y型脚架321对支撑架31起稳定和支撑作用；当连杆323折叠可使y型脚架321完成折叠，处于折叠状态的y型脚架321隐藏于支撑架33中，即在支撑架横向移动时，y型脚架321不会与运输车11相接触，以防止破坏其中一部分；所述y型脚架321的下方装有支撑脚轮322，其安装方向为平行于运输车11，使得y型脚架321在提供支撑的同时可以随西瓜收获运输机向前移动。
11.所述驱动机构4包括驱动轨道41、驱动轮轴42、驱动轮43、齿轮45和驱动电机46；所述驱动轨道41有两个轨道，两个轨道都安装在运输平台12上，给支撑架33提供安装位置；所述驱动轨道41的每个轨道都分为内、外轨道，内、外轨道为“7”字型，内、外轨道相对放置，形成一个半封闭凹槽，以此来限制支撑架33的竖直方向位移，所述内、外轨道的较长直角边上
开有通孔，驱动轮轴42通过通孔连接驱动轮43，使得驱动轮43的下端与运输平台相接触，且上端没有超过内、外轨道的上端，从而确保驱动轮43与支撑架33的下端相接触且支撑架33不会脱离驱动轨道41，减少支撑架33横向移动产生的摩擦力；驱动轨道中设置有齿轮，所述齿轮45与安装在支撑架33上的齿条44相啮合，所述驱动电机46安装在运输平台12上，其电机轴与齿轮45相连接，用于带动齿轮45转动，也为支撑架33的横向移动提供动力。
12.所述视觉装置包括相机51、相机架52和视觉系统53，用于拍摄承载碗21内的西瓜图片并实时传输到视觉系统中进行图像处理、成熟度识别和病害程度检测；所述相机51通过相机架52安装在支撑架上，所述视觉系统53安装在运输平台上。
13.本发明与现有技术相比具有如下优点和效果：
14.(1)本发明通过链传动机构和承载机构的组合，可以一边传送西瓜一边向前运动，提高了西瓜收获运输效率。
15.(2)本发明采用可横向移动的链传动机构，可以适应不同种植规划的田地。
16.(3)本发明的承载机构，可以带动西瓜进行回转，以完整拍摄西瓜的外形，并能在指定位置进行倾斜动作，将西瓜进行分类，提高西瓜收获的精准度和效率。
17.(4)本发明采用机器视觉技术，对西瓜进行质量和成熟程度的分类，还可以进行西瓜的无损检测，实现对西瓜的精准分类，分拣质量高，适应不同市场的需求。
附图说明
18.图1为可分类西瓜收获运输机的立体结构示意图。
19.图2为可分类西瓜收获运输机的正视图。
20.图3为承载机构的结构示意图。
21.图4为可折叠支撑脚的结构示意图。
22.图5为可分类西瓜收获运输机的工作流程图。
23.图6为可分类西瓜收获运输机的视觉流程图。
24.图中：1、运输装置；11、运输车；12、运输平台；2、承载机构；21、承载碗；22、承载块；23、舵机；24、椭圆型轮；25、弹性元件；26、交叉连接杆；27、滚轮；28、滚轮电机；3、链传动机构；31、主动链轮；32、主动链轮轴；321、y型脚架；322、支撑脚轮；323、连杆；33、支撑架；34、支撑脚；35、支撑柱；36、传动链部件；361、传动链轨道；362、传动链；363、侧板；37、从动链轮；38、从动链轮轴；39、链轮电机；4、驱动机构；41、驱动轨道；42、驱动轮轴；43、驱动轮；44、齿条；45、齿轮；51、相机；52、相机架；53、视觉系统。
具体实施方式
25.为了便于理解本发明，下面将结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但是，不以任何形式限制本发明。应该指出的是，对本领域的技术人员来说，在不脱离本发明构思的前提下，本发明还可以做出若干变形和改进，这些都属于本发明的保护范围。
26.实施例1
27.如图1、2所示，一种基于机器视觉的可分类西瓜收获运输机，包括运输装置1、承载机构2、链传动机构3、驱动机构4和视觉装置，所述运输装置1包括运输车11和运输平台12，
所述运输平台12安装在运输车11后部，所述驱动机构4安装在运输平台12上，所述链传动机构3与驱动机构4相安装连接，以此使链传动机构3能横向安装于运输平台上12，所述链传动机构3整体呈长条状，经过与驱动机构4的连接使链传动机构3横向安装并在运输装置1的侧面伸出，所述承载机构2安装在链传动机构3上方，通过链传动机构3的带动可使承载机构2进行回转运动，所述视觉装置包括相机51、相机架52和视觉系统53，实现判断西瓜的成熟度和病害情况的功能。
28.如图3所示，承载机构2包括承载碗21、承载块22、舵机23、椭圆型轮24、弹性元件25、交叉连接杆26和压力传感器，所述承载机构2安装在链传动机构3上，由链传动机构3提供动力进行回转，所述交叉连接杆26呈角状，其一边较另一边更厚长且两边保持一定的角度，所述交叉连接杆26直角处有转动轴承，转动轴承通过销轴安装在承载块22向上开口的一边，使得交叉连接杆可以绕销轴进行一定角度的旋转，该旋转角度可以保证西瓜可以顺利从承载碗21中滚落，所述承载碗21下端外侧通过螺钉固定在交叉连接杆26较厚长一边的外侧，其主要作用是承载与运输采摘下来的西瓜，所述承载块22内部有舵机23，其外形为长方体，一侧通过螺钉与侧板连接，以固定其位置，同时连接传动链，进而带动承载碗进行回转运动，所述舵机23一侧通过螺钉安装在承载块内部，其轴与椭圆型轮24连接，为交叉连接杆的旋转提供动力；所述弹性元件25一直呈拉紧状态，其一端固定在与交叉连接杆26直角处的转动轴承所在的承载块22内侧平面上，另一端与交叉连接杆26较短一边的平面相连，其作用是将交叉连接杆的较薄一边拉向承载块，所述椭圆型轮24置于弹性元件25下方，由于弹性元件25的拉紧作用，所述交叉连接杆26较短一端外侧面始终与椭圆型轮24紧密贴合，其转动的幅度由椭圆的圆弧半径变化决定，在椭圆的转动状态下，圆弧半径最大时，承载碗21倾斜，西瓜滚落，圆弧半径最小时，承载碗22保持水平，所述滚轮27安装在承载碗21的底部，与滚轮电机轴连接，在链传送机构转动时，滚轮转动并带动碗内的西瓜转动，从而实现相机能够拍到西瓜的整个外表面。所述滚轮电机28安装在交叉连接杆较厚的一侧，其一侧通过轴与滚轮27连接，为滚轮滚动提供动力，所述压力传感器安装在承载碗21内部，用于判断承载碗21内是否有西瓜，从而决定承载碗到指定位置时是否执行倾斜动作。
29.所述链传动机构3包括主动链轮31、主动链轮轴32、支撑架33、支撑脚34、支撑柱35、传动链部件36、从动链轮37、从动链轮轴38和链轮电机39，所述支撑架33安装在驱动轨道41上，与驱动轨道内的滚轮相接触，所述支撑架33可在驱动轨道41上移动，以实现改变链传动机构在运输车体外的横向长度的功能，所述支撑架33上有多个支撑柱35均匀且垂直的安装在支撑架上，所述传动链部件36通过支撑柱35安装于支撑架33正上方，其中支撑柱35和支撑架33共同起到固定与支撑的作用，所述支撑架33与驱动机构4的连接为齿轮齿条连接，齿条44设置在支撑架33上，齿条44的方向竖直向下并与其正下方的齿轮45啮合，通过驱动齿轮45转动可带动支撑架33横向移动，所述传动链部件36向运输装置1伸出的最外侧一端内侧装有主动链轮31，所述主动链轮31与传动链部件36的传动链362啮合，通过转动主动链轮31可带动传动链362在所述传动链部件36中的传动链轨道361中移动，所述主动链轮31与主动链轮轴32相互连接固定，所述链轮电机39安装在支撑架31上并与主动链轮轴32相连接，所述链轮电机39驱动所述主动链轮轴32转动即可带动主动链轮31转动，为整个链传动机构3运动提供动力，所述传动链部件36中与所述主动链轮31相对的另一端内侧装有从动链轮37，从动链轮37与传动链362啮合，传动链362移动可带动从动链轮37，所述从动链轮37
起到对传动链362的固定和压紧作用，所述从动链轮37与从动链轮轴38相固定连接，所述从动链轮轴38不与从动链轮37连接的另一端垂直且固定安装在支撑架33上，所述从动链轮轴38对从动链轮37主要起到固定位置和支撑的作用。
30.如图4所示，可折叠支撑脚34包括y型脚架321、支撑脚轮322和连杆323，所述y型脚架321通过转动铰链结构安装在靠近支撑架33两端的下方，所述连杆323一端通过转动铰链结构固定在支撑架下方，另一端同样通过转动铰链结构固定在y型脚架上，所述连杆323中间有转动铰链和固定结构，使所述连杆323位于死点位置时，连杆323中间的转动铰链使其无法转动即可让y型脚架321垂直于地面，此时y型脚架321对支撑架31起稳定和支撑作用，使所述连杆323折叠可使y型脚架321完成折叠，处于折叠状态的y型脚架321隐藏于支撑架33中，即在支撑架33横向移动时，y型脚架322不会与运输车11相接触，进而防止破坏其中一部分，所述y型脚架321下方装有支撑脚轮322，支撑脚轮322通过销轴安装在y型脚架321的下端，其安装方向为平行于运输车11，所述支撑脚轮322使得y型脚架321能在提供支撑的同时沿着西瓜运输车的移动方向进行移动。
31.驱动机构4包括驱动轨道41、驱动轮轴42、驱动轮43、齿轮45和驱动电机46，所述驱动轨道41有两个轨道，两个轨道都安装在运输平台12上，给支撑架31提供安装位置，所述驱动轨道41的每个轨道都分为内、外轨道，内、外轨道为“7”字型，两个轨道相对放置，形成一个半封闭凹槽，以此来限制支撑架33的竖直方向的位移，所述内、外轨道的较长的直角边上开有通孔，以通过驱动轮轴42连接驱动轮43，所述通孔连接驱动轮后，使得驱动轮43的下端与运输平台接触，而上端并没有超过内、外轨道的上端，从而可以保证驱动轮43与支撑架33的有效接触并且保证支撑架33不会脱离驱动轨道41，所述驱动轮43通过驱动轮轴42连接在驱动轨道41中，其与支撑架33下端接触，减少支撑架横向移动产生的摩擦力，所述驱动轮轴42与驱动轨道41连接，所述齿轮45与安装在支撑架31上的齿条44啮合，所述驱动电机46安装在运输平台12上，其电机轴与齿轮45相连接，进而带动齿轮45转动，也为支撑架33的横向移动提供动力。
32.视觉装置包括相机51、相机架52和视觉系统53，实现判断西瓜的成熟度和病害程度检测的功能。所述相机51安装在相机架上，将拍摄承载碗21内的西瓜图片实时传输到视觉系统中进行图像处理、成熟度识别和病害程度检测，所述相机架52安装在支撑架33的主动链轮31一端并且在支撑架33的外侧，其下端与支撑架33连接，其上端与相机51相连接，保证相机的高度高于承载碗21，使得相机51能拍摄到承载碗21内的西瓜，所述视觉系统53安装在运输平台12靠近车头的一端，负责实时判断西瓜的成熟程度和病害程度，以实现分类分拣的功能。
33.如图5所示，西瓜收获运输车的工作流程包括以下步骤：
34.(1)根据农田中西瓜种植规模来调整支撑架在西瓜收获运输车侧面的伸出长度，启动驱动电机，利用齿轮齿条的啮合，将支撑架横移到合适的位置，然后放下可折叠支撑脚，以给支撑架和链传动机构提供足够的支撑力；
35.(2)西瓜运输车以较慢的速度在田间前进，支撑架同步移动，链轮电机启动，使得链传动机构带动承载机构进行回转运动；采摘人员将采摘下来的西瓜放在承载碗内；
36.(3)相机将碗内的西瓜照片实时传送到视觉系统中进行处理，视觉系统判断西瓜的成熟度和/或西瓜的表面无损检测，以决定承载碗在哪一个位置进行倾倒，不同的位置有
不同的装载车，从而实现分类；
37.(4)根据视觉系统的判断结果，承载碗将西瓜运输到对应分类的装载车位置上方，压力传感器判断承载碗内是否装有西瓜；若承载碗内有西瓜，则将西瓜倾倒出来放在相应的装载车上；重复上述步骤，直至西瓜采摘结束。
38.如图6所示，视觉装置进行西瓜的成熟度检测时，包括下述步骤：
39.(1)前期训练：
[0040]1‑
1：人工选取大量的西瓜样本，测出西瓜的重量、糖分数据，定义西瓜的成熟度并对西瓜样本进行成熟度分类；
[0041]1‑
2：将西瓜样本放在工作环境下拍照，得到不同的光照强度下、不同角度的西瓜外表照片；然后将每个西瓜的重量、糖分数据与西瓜外表照片进行一一对应；
[0042]1‑
3：对西瓜外表照片进行高斯滤波、直方图均衡化等图像预处理操作，减低背景对西瓜表面特征的影响，提高特征的有效度；然后对预处理后的照片进行图像中的rgb、hsv中的深度s与明暗度v的五个特征的提取，以通过西瓜表面的颜色差和西瓜表皮的亮度来区分不同成熟度的西瓜；
[0043]1‑
4：同时将西瓜重量数据也作为特征之一，连同西瓜外表照片的rgb以及hsv中的深度与明暗度的五个特征，将六个特征数据投入到支持向量机(svm)中进行训练，选取relu函数作为激活函数，选取softmax层作为输出层来满足多种类别的输入；经过训练之后，建立以西瓜的重量、西瓜外表照片的rgb、深度和明暗度为特征的学习模型进行西瓜成熟度的判别；
[0044]
(2)实际操作：
[0045]2‑
1：将训练好的模型导入视觉系统中，相机拍摄承载碗内的西瓜状况，将西瓜的照片实时传输到视觉系统中进行处理；
[0046]2‑
2：将传输过来的图片利用harris角点检测进行图像特征匹配，使得动态图像中的西瓜能够被跟踪而不会错误判断相机内出现的多个西瓜，从而保证能准确分类出每个西瓜；
[0047]2‑
3：对各帧的图像进行预处理，包括高斯滤波、直方图均衡化等处理，以提高图像的质量；再将图中的rgb、hsv中的深度与明暗度特征提取出来，同时融合压力传感器传来的压力数值，即西瓜的重量；再将这些属于一个西瓜的六个特征投入到前面训练好的学习模型中进行分类，得到西瓜的成熟度值，从而决定西瓜在哪个装载位的位置进行倾倒，以实现分拣功能。
[0048]
视觉装置进行西瓜的表面无损检测时，包括下述步骤：
[0049]
(1)前期训练：
[0050]1‑
1：收集大量有病害的西瓜进行拍摄，获得不同角度的西瓜整体照片以及不同病害程度的西瓜表面照片；并使用labelimg软件将西瓜表面的病害区域框出来；
[0051]1‑
2：对收集好的照片进行高斯滤波、直方图均衡化的图像预处理；然后将处理好的图像投入到yolov5算法中进行学习，生成能够识别病害区域的学习模型；再对图像进行自适应二值化处理与腐蚀，使得有病害的表面变得更加明显；
[0052]1‑
3：使用roberts算子进行西瓜的边缘检测，提取出西瓜的外部轮廓与病害区域的轮廓，计算西瓜的病害区域占西瓜整个表面的比例；设定一个阈值用于判断西瓜的病害
程度，以判断是否将西瓜扔掉；
[0053]
(2)实际操作：
[0054]2‑
1：将训练好的模型导入视觉系统中，相机拍摄承载碗内的西瓜状况，将西瓜的照片实时传输到视觉系统中进行处理；
[0055]2‑
2：将传输过来的图片利用harris角点检测进行图像特征匹配，使得动态图像中的西瓜能够被跟踪而不会错误判断相机内出现的多个西瓜，从而保证能准确分类出每个西瓜；
[0056]2‑
3：对各帧的图像进行预处理，包括高斯滤波、直方图均衡化等处理，以提高图像的质量；再用yolov5生成的学习模型对西瓜表面的病害区域进行识别，将识别出来的图像进行自适应二值化处理、腐蚀，采用roberts算子进行西瓜的边缘检测，计算西瓜的病害区域在西瓜整个表面所占的比例，再根据设定的阈值进行比较，从而决定西瓜的倾倒位置，实现区分病害西瓜的功能。
[0057]
以上所述仅为本发明的实施例，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均为等效的置换方式，都包含在本发明的保护范围之内。