一种基于视觉的余料识别与排版系统的制作方法

1.本发明涉及余料识别与排版领域，具体涉及一种基于视觉的余料识别与排版系统。


背景技术：

2.在加工非金属（纺织品以及木材等）和金属原材料的行业中，很多材料在进行切割、加工后仍有剩余材料，这些剩余材料称之为余料。对余料进行正确的处理可以提高原材料物资的利用率，进而可降低由浪费余料造成的经济损失。
3.传统方法中大多依靠人工肉眼去观察和测量余料，且手动在余料上排版需要加工的零件，效率低，精度差，且手工排版不利于提高余料利用率。为此，如何解决效率低、精度差、手工排版不利于提高余料利用率的问题是余料识别与排版亟需解决的问题。


技术实现要素：

4.为解决上述问题，本发明提供一种基于视觉的余料识别与排版系统，用于避免人工肉眼去观察和测量余料，以及避免手动在余料上排版需要加工的零件，从而提高效率，提高精度，以及提高余料利用率。
5.本发明的技术方案提供一种基于视觉的余料识别与排版系统，所述系统包括切割机工作台面和第一成像设备；第一成像设备架设在切割机工作台面上方，能够拍摄到切割机工作台面的全幅面图像；所述系统还包括：成像设备校正单元，用于校正第一成像设备，使第一成像设备的输出图像是校正后图像；系统参数标定单元，用于标定系统参数，获取第一成像设备的对应的透视矩阵as，并获取切割机工作台面的世界坐标系与像素坐标系的换算比例系数ks；余料图像采集单元，用于触发第一成像设备拍摄切割机工作台面上放置的待识别与排版余料的图像，记为第一余料图像；自动识别单元，用于自动识别第一余料图像中的待识别与排版余料，提取待识别与排版余料对应的余料像素块；余料轮廓提取单元，用于自动提取余料像素块的所有轮廓线，并分别将提取到的轮廓线的像素坐标转换为机械坐标，得到世界坐标系下的各余料轮廓线；图纸导出单元，用于对世界坐标系下的各余料轮廓线进行曲线拟合和直线拟合，之后导出矢量格式的余料图纸；自动排版单元，用于将余料图纸作为底图，将需要切割为的图纸作为零件，利用预先设定的排样算法对零件进行排版。
6.进一步地，校正第一成像设备的方法为，利用黑白棋盘格对第一成像设备进行畸变校正。
7.进一步地，所述系统参数标定单元包括：
第一输入模块，用于供用户输入人工记录的十字标定板的四个十字中心机械坐标，分别为sr1(,)、sr2(,)、sr3(,)和sr4(,)；第二输入模块，用于输入四张十字标定板图像；第一处理模块，用于提取所输入的四张十字标定板图像上的十字的中心坐标，得到所输入的四张十字标定板图像上的四个十字中心像素坐标，分别为sp1(,)、sp2(,)、sp3(,)、sp4(,)；透视矩阵计算单元，用于基于四个十字中心机械坐标以及四个十字中心像素坐标求解所述透视矩阵as，求解公式为：比例系数计算单元，用于求解所述的换算比例系数ks,。
8.进一步地，所述自动识别单元包括：预处理模块，用于对所述第一余料图像进行自适应二值化处理，得到第一余料图像对应的二值化图像；判断模块，用于判断所述二值化图像的中央区域的平均像素值是否大于等于预设值；所述的中央区域，是指所述二值化图像上包含图像正中心的区域，具有预先设定好的形状与尺寸，所述二值化图像的中央区域以所述二值化图像的图像正中心为对称中心；第二处理模块，用于在判断模块判定所述平均像素值大于等于预设值时，调用毛刺与污点噪声去除模块消除所述二值化图像的毛刺与污点噪声；并用于在判断模块判定所述平均像素值小于预设值时，先对所述二值化图像进行反值化处理，得到所述二值化图像的反值化图像，然后调用毛刺与污点噪声去除模块消除所述反值化图像的毛刺与污点噪声；毛刺与污点噪声去除模块，用于基于第二处理模块的调度，消除目标图像的毛刺与污点噪声，得到第一图像；当判断模块判定所述平均像素值大于等于预设值时，所述的二值化图像即为所述的目标图像；当判断模块判定所述平均像素值小于预设值时，所述的反值化图像即为所述的目标图像；第三处理模块，用于对第一图像进行连通域分析，选出第一图像中面积最大的连通域作为余料像素块。
9.进一步地，所述余料轮廓提取单元包括：
第一轮廓提取模块，用于从余料像素块的像素坐标原点出发，逐行遍历余料像素块的每一个像素，若首次遍历到某像素与其一相邻像素的灰度的值为0和255，则值为255的像素判定为边缘点，即为外轮廓边缘起始点，记录当前判定为边缘点的像素坐标，之后由当前记录的该像素坐标按照从左到右、从上到下、顺时针的方向遍历相邻像素，直到发现下一个边缘点，并记录，重复以上步骤，直至遍历到所述外轮廓边缘起始点，然后将记录下来的像素坐标按记录顺序依次连线，即得到余料像素块的外轮廓线；第二轮廓提取模块，用于在第一轮廓提取模块得到余料像素块的外轮廓线后，遍历余料像素块外轮廓线内部是否有灰度值为0的像素，若否，则调用坐标转换模块，若有，则检测连通的值为0的像素，并按照提取外轮廓线的方法确定出各内轮廓线，然后调用坐标转换模块；坐标转换模块，用于基于所述的换算比例系数ks，将获取到的余料像素块的每一个轮廓线的像素坐标转换为对应的机械坐标；输出模块，用于输出余料像素块的机械坐标下的各轮廓线。
10.进一步地，所述系统还包括手持设备图像采集单元，所述手持设备图像采集单元与所述自动识别单元相连，所述手持设备图像采集单元用于供用户输入利用手持成像设备拍摄的切割机工作台面上放置的待识别与排版余料的图像，并用于将用户输入的图像发送给自动识别单元进行余料像素块提取；所述手持设备图像采集单元包括第一手持设备图像采集模块；所述第一手持设备图像采集模块，包括正上方拍摄图像采集单元和第一标定单元；所述正上方拍摄图像采集单元，用于供用户输入第一余料图像；该第一余料图像，为用户利用手持成像设备处于待识别与排版余料正上方拍摄的余料图像；所述第一标定单元，用于标定第一余料图像；所述第一标定单元包括：第一输入模块，用于供用户输入待识别与排版余料上的两个点的机械坐标，该两个点是用户在待识别与排版余料上选择的两个点，该两个点位于第一余料图像上位置相对的任意两端，其机械坐标记为点t1（xt1,yt1）和点t2(xt2,yt2)；第一计算模块，用于计算所输入的点t1（xt1,yt1）和点t2(xt2,yt2)之间的直线距离，记为t12，t12=；第二计算模块，用于导入所述的第一余料图像，并供用户通过拖拽画线的工具测量点t1（xt1,yt1）和t2(xt2,yt2)之间对应的像素长度，记为tp12；第三计算模块，用于自动基于上述计算得到的t12和tp12,计算单位像素对应的真实长度，即计算比例系数kt，计算公式如下：kt=t12/tp12；在用户选择使用第一手持设备图像采集模块拍摄余料图像时，坐标转换模块基于比例系数kt将获取到的余料像素块的每一个轮廓线的像素坐标转换为对应的机械坐标。
11.进一步地，所述手持设备图像采集单元还包括第二手持设备图像采集模块；所述第二手持设备图像采集模块，包括斜上方拍摄图像采集单元和第二标定单元；
所述斜上方拍摄图像采集单元，用于供用户输入第二余料图像；该第二余料图像，为用户利用手持成像设备处于待识别与排版余料斜上方拍摄的余料图像；所述第二标定单元，用于标定第二余料图像；所述第二标定单元包括：第二输入模块，用于供用户输入待识别与排版余料上的四个点的机械坐标，该四个点是用户手持成像设备拍摄余料图像之前在待识别与排版余料上任意选定的四个标记点，该四个标记点呈四边形分布，其机械坐标记为点ar(xa1,ya1)、br(xb1,yb1)、cr(xc1,yc1)、dr(xd1,yd1)；第四计算模块，用于根据机械坐标，自动计算所述四个标记点中两两之间的直线距离，得到六个距离，分别记为fr1、fr2、fr3、fr4、fr5、fr6；第五计算模块，用于导入第二余料图像，并在导入的第二余料图像上将所述的四个标记点ar、br、cr、dr按选出顺序标出对应的像素点，利用透视矩阵as对导入的第二余料图像进行透视校正，得到校正后的图像，并得到上述四个标记点ar、br、cr、dr对应的校正后的像素坐标，依次记为ap(xa2,ya2)、bp(xb2,yb2)、cp(xc2,yc2)和dp(xd2,yd2)，之后自动计算以上得到的四个校正后的坐标中两两之间的像素距离，对应记为fp1、fp2、fp3、fp4、fp5、fp6；第六计算模块，用于自动基于计算所得的fr1、fr2、fr3、fr4、fr5、fr6和fp1、fp2、fp3、fp4、fp5、fp6，计算比例系数kf，计算公式为：，=1,2,3,...,6;在用户选择使用第二手持设备图像采集模块拍摄余料图像时，坐标转换模块基于比例系数kf将获取到的余料像素块的每一个轮廓线的像素坐标转换为对应的机械坐标。
12.进一步地所述手持设备图像采集单元还包括第三手持设备图像采集模块；所述第三手持设备图像采集模块，包括工装设备辅助拍摄图像采集单元和第三标定单元；所述工装设备辅助拍摄图像采集单元，用于供用户输入第三余料图像；第三余料图像，为用户利用手持成像设备拍摄的带有完整的正方形亚克力标定板和完整的待识别与排版余料的余料图像；所述正方形亚克力标定板的边长长度记为a；所述第三标定单元，用于标定第三余料图像；所述第三标定单元包括：导入模块，用于导入第三余料图像；图像处理模块，用于对导入的第三余料图像进行预处理得到第二图像，并自动识别与提取第二图像中的正方形亚克力标定板的四个顶点的像素坐标，然后利用透视矩阵as对第二图像进行透视校正，再提取透视校正后的图像中的正方形亚克力标定板的四个顶点的像素坐标，获得透视校正后的图像中的正方形亚克力标定板的像素边长，记为a’；利用边长a和像素边长a’，计算比例系数ka，计算公式为：；在用户选择使用第三手持设备图像采集模块拍摄余料图像时，坐标转换模块基于
比例系数ka将获取到的余料像素块的每一个轮廓线的像素坐标转换为对应的机械坐标。
13.进一步地，所述系统还包括手动识别单元和识别模式切换单元；手动识别单元是自动识别单元的备用，识别模式切换单元用于实现自动识别单元和手动识别单元之间的切换；系统默认手动识别单元；手动识别单元，用于在判定自动识别单元的识别效果不足以应对当前场景时，由人工通过识别模式切换单元实现自动识别单元到手动识别单元的切换。
14.进一步地，所述系统配设有余料图像采集方式切换单元，用于实现余料图像默认采集方式和手持设备采集方式的切换；余料图像默认采集方式为采用第一成像设备拍摄余料图像；手持设备采集方式为采用手持设备图像采集单元拍摄余料图像；手持设备采集方式配设有三个图像采集选项，该三个图像采集选项与三个手持设备图像采集模块一一对应；三个手持设备图像采集模块为第一手持设备图像采集模块、第二手持设备图像采集模块和第三手持设备图像采集模块；点选不同的图像采集选项，采用对应的手持设备图像采集模块拍摄余料图像。
15.本发明具有以下有益效果：（1）本发明提供了一种基于视觉的余料识别与排版系统，其包括切割机工作台面和第一成像设备，第一成像设备架设在切割机工作台面上方，能够拍摄到切割机工作台面的全幅面图像，还包括余料图像采集单元、自动识别单元、余料轮廓提取单元、图纸导出单元和自动排版单元，使用时，余料图像采集单元通过第一成像设备拍摄余料图像，拍摄的余料图像依次经自动识别单元、余料轮廓提取单元、图纸导出单元和自动排版单元的作用，自动完成余料的识别与排版，避免了依靠人工肉眼去观察和测量余料，且无需手动在余料上排版需要加工的零件，提高了效率与精度，有助于提高余料利用率。
16.（2）本发明所述系统还包括手持设备图像采集单元，该手持设备图像采集单元与自动识别单元相连，手持设备图像采集单元的使用，使得本发明支持用户手持成像设备拍摄余料图像，一定程度上有助于使本发明可以匹配手持设备和架设的成像设备工况，使本发明支持任意成像设备采集的图像均可生成余料工件，一定程度上有助于增加本发明使用的灵活性。
17.（3）本发明提供的基于视觉的余料识别与排版系统，其手持设备图像采集单元包括第一手持设备图像采集模块、第二手持设备图像采集模块和第三手持设备图像采集模块中的至少一种，使得本发明支持用户手持成像设备在余料正上方和/或在余料斜上方拍摄余料图像，从而使本技术不仅可以避免依靠人工肉眼去观察和测量余料且无需手动在余料上排版需要加工的零件，还可以使本技术匹配手持成像设备拍摄余料图像的多种不同实际工况。
18.此外，本发明设计原理可靠，结构简单，具有非常广泛的应用前景。
附图说明
19.为了更清楚的说明本技术实施例或现有技术的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
20.图1是本发明一个实施例的系统的结构框图示意图。
21.图2是本发明所述系统中第一成像设备的安装状态示意图。
22.图3是本发明像素坐标系与机械坐标系的相对位置关系示意图。
23.图4是本发明另一个实施例的系统的结构框图示意图。
24.其中：101、切割机工作台面，102、第一成像设备，103、成像设备校正单元，104、系统参数标定单元，105、余料图像采集单元，106、自动识别单元，107、余料轮廓提取单元，108、图纸导出单元，109、自动排版单元，110、手持设备图像采集单元，1101、第一手持设备图像采集模块，1102、第二手持设备图像采集模块，1103、第三手持设备图像采集模块，111、待识别与排版余料。
具体实施方式
25.为了使本技术领域的人员更好地理解本技术方案，下面结合附图和具体实施方式对本技术作进一步的详细说明。显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
26.实施例1：图1为本发明所述系统的一个示例性实施例。
27.实施例1对应全自动余料识别、排版方案。
28.如图1所示，本系统100包括切割机工作台面101和第一成像设备102。第一成像设备102架设在切割机工作台面101正上方。第一成像设备102能够拍摄到切割机工作台面101的全幅面图像。本系统100还包括成像设备校正单元103、系统参数标定单元104、余料图像采集单元105、自动识别单元106、余料轮廓提取单元107、图纸导出单元108和自动排版单元109。
29.（1）安装视觉设备本实施例中的视觉设备即第一成像设备102，第一成像设备102采用广角相机。
30.视觉设备安装：在切割机工作台面101上方，利用金属支架或其它方式架设广角相机，令广角相机可以拍摄到切割机工作台面101全幅面，如图2所示。
31.图2中：“0”为切割机工作台面101的机械坐标系的原点，“x”和“y”为切割机工作台面101的机械坐标系的x轴和y轴。
32.（2）成像设备校正单元103成像设备校正单元103，用于校正第一成像设备102，使第一成像设备102的输出图像是校正后图像。
33.第一成像设备102可以仅在其本身安装时或在本系统100首次使用第一成像设备102采集余料图像时校正。
34.本实施例采用黑白棋盘格对广角相机进行畸变校正。
35.在本实施例中，采用黑白棋盘格对广角相机进行畸变校正，包括：步骤1021、采集校正图像。
36.步骤1022、成像校正。
37.所述成像校正，即进行第一成像设备与切割机机床坐标系的匹配。
38.具体地，将校正图像作为输入，利用畸变校正工具，针对广角相机出现的桶型畸变求出畸变参数，并导入广角相机图像采集模块进行校正，令广角相机输出图像为校正后状态。
39.（3）系统参数标定单元104系统参数标定单元104，用于标定系统参数，获取第一成像设备102的对应的透视矩阵as，并获取切割机工作台面101的世界坐标系与像素坐标系的换算比例系数ks。
40.系统参数标定单元104也可仅在其本身安装时或在本系统100首次使用第一成像设备102采集余料图像时用于系统参数标定。
41.系统参数标定单元104包括：第一输入模块，用于供用户输入人工记录的十字标定板的四个十字中心机械坐标， 分别为sr1(,)、sr2(,)、sr3(,)和sr4(,)；其中，十字标定板为预先制作的标准十字标定板，该标准十字标定板的背景色为白色，标准十字标定板上的十字为线宽3mm的黑色十字；人工记录四个十字标定板的十字中心机械坐标的方法，具体包括步骤：将所述的十字标定板逐个放置在切割机工作台面101（呈矩形）的四个角上，并且每次在将十字标定板置于切割机工作台面101的角上后，分别启用第一成像设备102拍照获取十字标定板图像，并分别记录四张十字标定板图像中各十字标定板的十字中心的机械坐标，最终得到四张十字标定板图像和所述的四个十字中心机械坐标；第二输入模块，用于输入所述的四张十字标定板图像；第一处理模块，用于提取所输入的四张十字标定板图像上的黑色十字的中心坐标，得到所输入的四张十字标定板图像上的四个十字中心像素坐标，分别为sp1(,)、sp2(,)、sp3(,)、sp4(,)；透视矩阵计算单元，用于基于四个十字中心机械坐标以及四个十字中心像素坐标求解所述透视矩阵as，比例系数计算单元，用于求解所述的换算比例系数ks，需要说明的是，十字标定板还可由本领域技术人员依据实际情况设定。
42.（4）余料图像采集单元105余料图像采集单元105，用于触发第一成像设备102拍摄切割机工作台面101上放置的待识别与排版余料的图像，记为第一余料图像。
43.待识别与排版余料，即待识别与排版的余料。
44.具体实现时，余料图像采集单元105可以是一个虚拟按键或按钮，也可以是一个实体按键或按钮，本领域技术人员可依据实际情况设定，用于供用户触发第一成像设备102拍摄余料图像。
45.本实施例中的余料图像采集单元105是一个虚拟按钮，使用时，用户点击该虚拟按钮，即可触发第一成像设备102拍摄余料图像。
46.（5）自动识别单元106自动识别单元106，用于自动识别第一余料图像中的待识别与排版余料，提取待识别与排版余料对应的余料像素块。
47.自动识别单元106包括预处理模块、判断模块、第二处理模块、毛刺与污点噪声去除模块和第三处理模块。其中：预处理模块，用于对所述第一余料图像进行自适应二值化处理，得到第一余料图像对应的二值化图像。
48.判断模块，用于判断所述二值化图像的中央区域的平均像素值是否大于等于预设值；所述的中央区域，是指所述二值化图像上包含图像正中心的区域，具有预先设定好的形状与尺寸，所述二值化图像的中央区域以所述二值化图像的图像正中心为对称中心。
49.第二处理模块，用于在判断模块判定所述平均像素值大于等于预设值（比如128像素）时，调用毛刺与污点噪声去除模块消除所述二值化图像的毛刺与污点噪声；并用于在判断模块判定所述平均像素值小于预设值时，先对所述二值化图像进行反值化处理，得到所述二值化图像的反值化图像，然后调用毛刺与污点噪声去除模块消除所述反值化图像的毛刺与污点噪声。
50.毛刺与污点噪声去除模块，用于基于第二处理模块的调度，消除目标图像的毛刺与污点噪声，得到第一图像；当判断模块判定所述平均像素值大于等于预设值时，所述的二值化图像即为所述的目标图像；当判断模块判定所述平均像素值小于预设值时，所述的反值化图像即为所述的目标图像。
51.第三处理模块，用于对第一图像进行连通域分析，选出第一图像中面积最大的连通域作为余料像素块。
52.自动识别单元106使用时：首先通过预处理模块对第一余料图像进行自适应二值化处理，得到第一余料图像对应的二值化图像；之后通过判断模块判断所述二值化图像的中央区域（所述中央区域，是指所述二值化图像上包含图像正中心的区域，具有预先设定好的形状与尺寸，所述二值化图像的中央区域以所述二值化图像的图像正中心为对称中心）的平均像素值是否大于等于预设值（比如128像素），若大于等于预设值，则继续下一步，若小于预设值，则对二值化图像进行反值化处理得到反值化图像；然后在判断模块判定所述平均像素值大于等于预设值时，由第二处理模块调用毛刺与污点噪声去除模块消除所述二值化图像的毛刺与污点噪声；在判断模块判定所述平均像素值小于预设值时，由第二处理模块先对所述二值化图像进行反值化处理，得到所述二值化图像的反值化图像，再调用毛刺与污点噪声去除模块消除所述反值化图像的毛刺与污
点噪声；毛刺与污点噪声去除模块在第二处理模块调用下，对目标图像进行毛刺与污点噪声的消除处理，得到第一图像；之后由第三处理模块对第一图像进行连通域分析，选出第一图像中面积最大的连通域得到余料像素块。
53.具体实施时，对目标图像进行毛刺与污点噪声的消除处理，可采用如下公式，其中r是噪声半径，σ是正态分布的标准偏差：（6）余料轮廓提取单元107余料轮廓提取单元107，用于自动提取余料像素块的所有轮廓线，并分别将提取到的轮廓线的像素坐标转换为机械坐标，得到世界坐标系下的各余料轮廓线。
54.余料轮廓提取单元107包括第一轮廓提取模块、第二轮廓提取模块、坐标转换模块和输出模块。其中：第一轮廓提取模块，用于从余料像素块的像素坐标原点出发，逐行遍历余料像素块的每一个像素，若首次遍历到某像素与其一相邻像素的灰度的值为0和255，则值为255的像素判定为边缘点，即为外轮廓边缘起始点，记录当前判定为边缘点的像素坐标，之后由当前记录的该像素坐标按照从左到右、从上到下、顺时针的方向遍历相邻像素，直到发现下一个边缘点，并记录，重复以上步骤，直至遍历到所述外轮廓边缘起始点，然后将记录下来的像素坐标按记录顺序依次连线，即得到余料像素块的外轮廓线；第二轮廓提取模块，用于在第一轮廓提取模块得到余料像素块的外轮廓线后，遍历余料像素块外轮廓线内部是否有灰度值为0的像素，若否，则调用坐标转换模块，若有，则检测连通的值为0的像素，并按照提取外轮廓线的方法确定出各内轮廓线，然后调用坐标转换模块；坐标转换模块，用于将获取到的余料像素块的每一个轮廓线的像素坐标转换为对应的机械坐标，转换公式为：，式中：x’、y’代表轮廓线上每一个像素点在像素坐标系下的横坐标和纵坐标，x、y代表轮廓线上每一个像素点（x’，y’）在机械坐标系下对应的横坐标和纵坐标，w、h依次为所述切割机工作台面101的宽度和长度，取值为换算比例系数ks，此时对应系统的参数标定；输出模块，用于输出余料像素块的机械坐标下的各轮廓线。
55.使用时，首先通过第一轮廓提取模块得到余料像素块的外轮廓线，然后通过第二轮廓提取模块确定出余料像素块的内轮廓线，待确立外、内轮廓线（内轮廓线可以没有）后，分别通过坐标转换模块将获取到的余料像素块的每一个轮廓线的像素坐标转换为对应的机械坐标，之后通过输出模块输出余料像素块的机械坐标下的各轮廓线。
56.像素坐标系默认以左上角为原点，机械坐标系默认以左下角作为原点，如图3所示。
57.（7）图纸导出单元108
图纸导出单元108，用于对世界坐标系下的各余料轮廓线进行曲线拟合和直线拟合，之后导出矢量格式的余料图纸。
58.使用时，图纸导出单元108自动对余料轮廓提取单元107输出的各余料轮廓线进行曲线拟合和直线拟合，之后导出矢量格式的余料图纸。
59.（8）自动排版单元109自动排版单元109，用于将余料图纸作为底图，将需要切割为的图纸作为零件，利用预先设定的排样算法对零件进行排版。
60.使用时，自动排版单元109自动将余料图纸作为底图，将需要切割为的图纸作为零件，利用预先设定的排样算法对零件进行排版，之后输出排版文件，供切割机切割余料得到零件使用。
61.实施例2：图4为本发明所述系统的另一个实施例。
62.该实施例2对应手持设备拍摄的余料识别、排版方案。
63.在本实施例中，所述系统100还包括手持设备图像采集单元110。手持设备图像采集单元110与自动识别单元106相连。手持设备图像采集单元110用于供用户输入利用手持成像设备拍摄的切割机工作台面101上放置的待识别与排版余料的图像，并用于将用户输入的图像发送给自动识别单元106进行余料像素块提取。
64.具体实现时，系统默认使用第一成像设备102拍摄切割机工作台面101上放置的待识别与排版余料的图像，实际使用时，用户可依据实际情况选择启用手持设备图像采集单元110。
65.在本实施例中，手持设备图像采集单元110包括第一手持设备图像采集模块1101。第一手持设备图像采集模块1101，包括正上方拍摄图像采集单元和第一标定单元。
66.正上方拍摄图像采集单元，用于供用户输入第一余料图像。
67.第一余料图像，为用户利用手持成像设备处于待识别与排版余料正上方拍摄的余料图像。
68.第一标定单元，用于标定第一余料图像。
69.第一标定单元包括：第一输入模块，用于供用户输入待识别与排版余料上的两个点的机械坐标，该两个点是用户在待识别与排版余料上选择的两个点，该两个点位于第一余料图像上位置相对的任意两端，其机械坐标记为点t1（xt1,yt1）和点t2(xt2,yt2)；第一计算模块，用于计算所输入的点t1（xt1,yt1）和点t2(xt2,yt2)之间的直线距离，记为t12，t12=；第二计算模块，用于导入所述的第一余料图像，并用于供用户利用拖拽画线的工具测量点t1（xt1,yt1）和t2(xt2,yt2)之间对应的像素长度，记为tp12；第三计算模块，用于自动基于上述计算得到的t12和tp12,计算单位像素对应的真实长度，即计算比例系数kt(mm/pixel)，计算公式如下：kt=t12/tp12；在用户选择使用第一手持设备图像采集模块1101拍摄余料图像时，坐标转换模块的转换公式中的取值替换为比例系数kt。
70.可选地，手持设备图像采集单元110还包括第二手持设备图像采集模块1102。
71.第二手持设备图像采集模块1102包括斜上方拍摄图像采集单元和第二标定单元。
72.斜上方拍摄图像采集单元，用于供用户输入第二余料图像。
73.第二余料图像，为用户利用手持成像设备处于待识别与排版余料斜上方拍摄的余料图像。
74.第二标定单元用于标定第二余料图像。
75.第二标定单元包括：第二输入模块，用于供用户输入待识别与排版余料上的四个点的机械坐标，该四个点是用户手持成像设备拍摄余料图像之前在待识别与排版余料上任意选定的四个标记点，该四个标记点呈四边形分布，其机械坐标记为点ar(xa1,ya1)、br(xb1,yb1)、cr(xc1,yc1)、dr(xd1,yd1)；第四计算模块，用于根据机械坐标，自动计算所述四个标记点中两两之间的直线距离，得到六个距离，分别记为fr1、fr2、fr3、fr4、fr5、fr6；第五计算模块，用于导入第二余料图像，并在导入的第二余料图像上将所述的四个标记点ar、br、cr、dr按选出顺序标出对应的像素点，利用透视矩阵as对导入的第二余料图像进行透视校正，得到校正后的图像，并得到上述四个标记点ar、br、cr、dr对应的校正后的像素坐标，依次记为ap(xa2,ya2)、bp(xb2,yb2)、cp(xc2,yc2)和dp(xd2,yd2)，之后自动计算以上得到的四个校正后的坐标中两两之间的像素距离，对应记为fp1、fp2、fp3、fp4、fp5、fp6；第六计算模块，用于自动基于计算所得的fr1、fr2、fr3、fr4、fr5、fr6和fp1、fp2、fp3、fp4、fp5、fp6，计算比例系数kf(mm/pixel)，计算公式为：，=1,2,3,...,6;在用户选择使用第二手持设备图像采集模块1102拍摄余料图像时，坐标转换模块中转换公式中的取值为上述比例系数kf。
76.可选地，手持设备图像采集单元110还包括第三手持设备图像采集模块1103。
77.第三手持设备图像采集模块1103，包括工装设备辅助拍摄图像采集单元和第三标定单元。
78.工装设备辅助拍摄图像采集单元，用于供用户输入第三余料图像。第三余料图像，为用户利用手持成像设备拍摄的带有完整的正方形亚克力标定板和完整的待识别与排版余料的余料图像。正方形亚克力标定板的边长长度记为a。
79.第三标定单元用于标定第三余料图像。
80.第三标定单元包括：导入模块，用于导入第三余料图像；图像处理模块，用于对导入的第三余料图像进行预处理得到第二图像，并自动识别与提取第二图像中的正方形亚克力标定板的四个顶点的像素坐标，然后利用透视矩阵as对第二图像进行透视校正，再提取透视校正后的图像中的正方形亚克力标定板的四个顶点的像素坐标，获得透视校正后的图像中的正方形亚克力标定板的像素边长，记为a’；
利用边长a和像素边长a’，计算比例系数ka(mm/pixel)，计算公式为：；在用户选择使用第三手持设备图像采集模块1103拍摄余料图像时，坐标转换模块转换公式中的取值替换为比例系数ka。
81.本实施例中提供的系统对应手持设备拍摄的余料识别、排版方案，为了便于对本发明的理解，下面以本发明基于视觉的余料识别与排版系统的原理，对本实施例提供的基于视觉的余料识别与排版系统的使用方法做进一步地描述。
82.该基于视觉的余料识别与排版系统的使用方法具体包括：步骤201：图像标定。
83.该步骤201包含拍摄人员手持成像设备拍摄得到余料图像以及对人工拍摄得到的余料图像的图像标定。
84.本实施例中的手持设备采集方式分三种，三种手持设备采集方式分别对应手持设备图像采集单元110的第一手持设备图像采集模块1101、第二手持设备图像采集模块1102和第三手持设备图像采集模块1103。
85.用户可依据实际情况选用上述三种手持设备采集方式中的任意一种。
86.不同的手持设备采集方式对应不同的图像标定方法。
87.用户可依据实际选择的手持设备采集方式进行图像的适应性标定。
88.本实施例以拍摄人员选择第一手持设备图像采集模块1101对应的手持设备采集方式为例进行说明。
89.具体标定时：拍摄人员手持成像设备处于待识别与排版余料正上方拍摄小尺寸（余料可以全部处于相机视野内，相机视野不需要全覆盖整个切割机工作台面101）的余料图像，得到第一余料图像；之后保持余料位置不变，人工在待识别与排版余料两端（可以是待识别与排版余料上位置相对的任意两端）任意选择两个点（一端选择一个点），并记录所选的这两个点的机械坐标点，为点t1（xt1,yt1）、点t2(xt2,yt2)；之后通过系统的第一输入模块输入该记录的两个点的机械坐标点，并通过第二计算模块导入所述的第一余料图像；第一计算模块根据机械坐标，自动计算第一输入模块输入来的点t1（xt1,yt1）和点t2(xt2,yt2)之间的真实距离，记为t12，t12=；第二计算模块利用软件内拖拽画线的工具测量点t1（xt1,yt1）和点t2(xt2,yt2)之间对应的像素长度，记为tp12；之后由第三计算模块自动计算第一余料图像中单位像素对应的真实长度，即自动计算第一余料图像中真实长度t12与像素长度tp12之比，得到比例系数kt(mm/pixel)，比例系数kt的计算公式如下：。
90.具体实现时，用户可以选择第一手持设备图像采集模块1101对应的手持设备采集方式，也可以选择第二手持设备图像采集模块1102和第三手持设备图像采集模块1103对应
的手持设备采集方式。
91.当用户选择第二手持设备图像采集模块1102对应的手持设备采集方式时，用户（拍摄人员）手持成像设备处于余料斜上方拍摄余料图像，为了消除透视视角造成的失真，此况采用四点标定的方法进行图像标定，具体包括：拍摄人员手持成像设备处于余料斜上方拍摄待识别与排版余料（放置于拍摄切割机工作台面101上）的余料图像得到第二余料图像，并在待识别与排版余料上任选能够构成一个四边形的四个标记点，记录该四个标记点的机械坐标ar(xa1,ya1)、br(xb1,yb1)、cr(xc1,yc1)、dr(xd1,yd1)并将记录的四个标记点的机械坐标通过第二输入模块录入系统；系统第四计算模块根据机械坐标，自动计算所录入的四个标记点中两两之间的直线距离，得到六个距离：fr1、fr2、fr3、fr4、fr5、fr6；人工将第二余料图像通过第五计算模块导入；系统的第五计算模块自动在导入的第二余料图像上将所述的四个标记点ar、br、cr、dr按选出顺序标出对应的像素点，并利用透视矩阵as对导入的第二余料图像进行透视校正，得到校正后的图像，并得到上述四个标记点ar、br、cr、dr对应的校正后的像素坐标，依次记为ap(xa2,ya2)、bp(xb2,yb2)、cp(xc2,yc2)和dp(xd2,yd2)，之后自动计算以上得到的四个校正后的坐标中两两之间的像素距离，对应记为fp1、fp2、fp3、fp4、fp5、fp6；系统的第六计算模块自动基于计算所得的fr1、fr2、fr3、fr4、fr5、fr6和fp1、fp2、fp3、fp4、fp5、fp6，计算比例系数kf，计算公式为：，=1,2,3,...,6。
92.当用户选择第三手持设备图像采集模块1103对应的手持设备采集方式时，标定之前预先准备边长长度为a（比如a取值为200mm(毫米)）的正方形亚克力标定板，具体标定方法包括：拍摄余料图像的步骤：将正方形亚克力标定板置于切割机工作台面101上，使台面上的待识别与排版余料及标定板全部处于手持成像设备拍摄画幅内进行拍摄（可处于任意方位进行拍摄），得到第三余料图像；图像标定的步骤：先由用户通过导入模块将第三余料图像导入系统，之后由系统自动标定，具体地：系统的图像处理模块自动对导入的第三余料图像进行预处理得到第二图像，并自动识别与提取第二图像中正方形亚克力标定板的四个顶点的像素坐标，然后利用透视矩阵as对第二图像进行透视校正，再提取透视校正后的图像中的正方形亚克力标定板的四个顶点的像素坐标，获得透视校正后的图像中的正方形亚克力标定板的像素边长a’，之后自动关联世界坐标系与像素坐标系，利用边长a和像素边长a’，利用公式计算出比例系数ka(mm/pixel)。
93.其中，图像处理模块对导入的第三余料图像进行的预处理包括：对导入的第三余料图像依次进行自适应二值化、四边形检测、连通域筛选以及感兴趣区域提取操作。
94.步骤202：余料识别。
95.具体实现时，自动识别单元106在上述步骤201完成图像标定后，自动识别并提取
拍摄人员手持成像设备拍摄得到余料图像中的余料对应的余料像素块。
96.具体实现时：若用户选择第一手持设备图像采集模块1101对应的手持设备采集方式采集余料图像，自动识别单元106则自动识别并提取第一余料图像中余料对应的余料像素块；若用户选择第二手持设备图像采集模块1102对应的手持设备采集方式采集余料图像，自动识别单元106则自动识别并提取第二余料图像中余料对应的余料像素块；若用户选择第三手持设备图像采集模块1103对应的手持设备采集方式采集余料图像，自动识别单元106则自动识别并提取第三余料图像中余料对应的余料像素块。
97.自动识别单元106每次在提取到余料像素块时，均主动将提取到余料像素块发送至余料轮廓提取单元107。
98.步骤203：余料轮廓提取。
99.具体实现时，余料轮廓提取单元107接收自动识别单元106发送的余料像素块，并自动提取接收到的余料像素块的外、内轮廓线并输出给图纸导出单元108。
100.本实施例中，用户选择第一手持设备图像采集模块1101对应的手持设备采集方式，余料轮廓提取单元107坐标转换模块中的转换公式中的取值替换为上述比例系数kt。
101.需要说明的是，具体实现时，若用户选择第二手持设备图像采集模块1102对应的手持设备采集方式，余料轮廓提取单元107坐标转换模块中的转换公式中的取值替换为上述比例系数kf；若用户选择第三手持设备图像采集模块1103对应的手持设备采集方式，余料轮廓提取单元107坐标转换模块中的转换公式中的取值替换为上述比例系数ka。
102.步骤204：图纸导出。
103.具体实现时，图纸导出单元108对余料轮廓提取单元107输出的各余料轮廓线进行曲线拟合和直线拟合，之后导出矢量格式的余料图纸。
104.步骤205：自动排版。
105.自动排版单元109接收图纸导出单元108导出的余料图纸，并将余料图纸作为底图，将需要切割为的图纸作为零件，利用预先设定的排样算法对零件进行排版。
106.实施例3：本实施例与实施例2不同的是，本实施例中的基于视觉的余料识别与排版系统，还包括手动识别单元和识别模式切换单元。
107.手动识别单元是自动识别单元106的备用。识别模式切换单元用于实现自动识别单元106和手动识别单元之间的切换。手动识别单元，用于在判定自动识别单元106的识别效果不足以应对当前场景时，由人工通过识别模式切换单元实现自动识别单元106到手动识别单元的切换。
108.具体使用时，系统默认执行手动识别单元，当用户判定自动识别单元106的识别效果不足以应对当前场景时，可通过识别模式切换单元切换至手动识别单元，转由手动识别单元识别并提取余料图像中余料对应的余料像素块。
109.具体实现时，手动识别单元可依次利用直方图均衡化、滑动二值化、gamma图像增强、噪声模糊、边缘锐化、连通域分析以及形态学处理识别并提取余料图像中余料对应的余料像素块，并且在识别与提取过程中，可手动对所涉及的算子阈值进行调整，最终输出连通域面积最大的作为余料像素块。
110.需要说明的是，本实例中的手动识别单元还可采用现有技术提取余料像素块。
111.实施例4：本实施例与实施例3不同的是，本实施例中的基于视觉的余料识别与排版系统，配设有余料图像采集方式切换单元。
112.余料图像采集方式切换单元用于实现余料图像默认采集方式和手持设备采集方式的切换。
113.本系统支持的余料图像的采集方式，默认采用第一成像设备102拍摄。
114.手持设备采集方式为采用手持设备图像采集单元110拍摄余料图像。
115.本实施例中手持设备采集方式配设有三个图像采集选项，该三个图像采集选项与三个手持设备图像采集模块一一对应。三个手持设备图像采集模块为第一手持设备图像采集模块1101、第二手持设备图像采集模块1102和第三手持设备图像采集模块1103。
116.使用时，点选不同的图像采集选项，系统会支持不同手持设备图像采集模块拍摄的余料图像。
117.本说明书中各个实施例之间相同相似的部分互相参见即可。
118.尽管通过参考附图并结合优选实施例的方式对本发明进行了详细描述，但本发明并不限于此。在不脱离本发明的精神和实质的前提下，本领域普通技术人员可以对本发明的实施例进行各种等效的修改或替换，而这些修改或替换都应在本发明的涵盖范围内/任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。