一种流水线上手机外观采集装置的制作方法

[0001]
本发明涉及图像拍摄装置技术领域，具体涉及一种流水线上手机外观采 集装置。


背景技术：

[0002]
当前，智能手机的使用日益普及，每年产生大量的废旧手机，这些废旧 手机可以进行回收处理，对其中的可回收部件进行拆解利用。传统的手机回 收分类通常由人工完成，工作任务繁重，且增加了回收处理的成本，因此很 多废旧手机回收处理厂家愿意采购自动化的分类设备进行处理。
[0003]
自动处理废旧手机的装备通常基于机器视觉技术，其利用计算机来模拟 人的视觉功能，从客观事物的图像中提取信息。为了能提高回收效益，首先 需要采集手机外观图像并进行识别分类。手机的主要信息来源于手机的正方 两面，因此需要同时采集手机正反两面的图像，传统的设备需要人工进行手 机反面，这种操作方式速度慢，效率低，部分设备采用机械手臂代替人工进 行手机反面，这会大大提高设备的硬件成本，且机械手翻转占据空间大且繁 琐。因此，设计一种能实现流水线上快速、便捷、低成本采集手机两面图像 的设备，成为亟需解决的技术问题。
[0004]
此外，传统的采集设备中，相机位置是固定的，而在回收处理流水线上 的废旧手机摆放位置和方向都是不固定的。由于方位的不确定，所拍摄的照 片与实际的照片存在一定的任意倾斜角度和透视变形，导致后期的识别准确 率降低。而现有的透视矫正的方法，先预处理后用canny算子获取边缘，再通 过hough直线检测，接下来利用获得的直线获得最佳外包四边形，最后获得较 正矩阵对图像矫正。由于手机外观大致呈矩形，利用此方法较为合理且简单， 但此方法针对手机存在以下不足：canny获取的边缘常常有断点，导致hough 直线检测出多条直线，为了避免同一条直线出现断裂的情况,需要进行连接的 复杂处理，致使通过这些直线很难获得最佳外包四边形，只有当每一步都理 想状态下才能较好矫正。


技术实现要素：

[0005]
针对现有的技术方案存在的问题，本发明的目的在于提供一种流水线上手 机外观采集装置，解决现有技术中设备结构复杂，成本高昂，图像质量较低 的问题。
[0006]
为实现上述目的，本发明提供以下技术方案：
[0007]
一种流水线上手机外观采集装置，采集装置接收输入传送带上输出的手 机，并输出到输出传送带上，其包括箱体，载台，两个背景板，分别与两个 背景板相对应的两块反光镜以及取像装置。
[0008]
箱体，其一侧设置开口。
[0009]
载台，其包括透明平台、驱动透明平台旋转的驱动机构；透明平台沿水 平方向部分伸入所述箱体内，使得透明平台上的手机能通过透明平台相对箱 体从开口侧旋入、旋出。
[0010]
两个背景板，其分别位于在透明平台伸入在箱体内的部分的上、下相对 两侧上，且与透明平台平行。
[0011]
分别与两个背景板相对应的两块反光镜，两块反光镜分别对称位于透明 平台伸入在箱体内的部分的上、下相对两侧上，并与透明平台成一定夹角， 且满足以下条件：当手机随所述透明平台旋入在箱体内时，手机的上、下相 对两侧及其透过透明平台的背景板成像在相应的反光镜上；以及取像装置， 其用于获取图像，图像至少包括两块反光镜中的成像。
[0012]
进一步地，该采集装置还包括限位装置，限位装置位于箱体外的部分透明 平台的外周，限位装置与输入传送带相接的位置设置输入口，限位装置与输 出传送带相接的位置设置输出口；限位装置的输入口处设置第一引导拨片， 限位装置的输出口处设置第二引导拨片，第一引导拨片和第二引导拨片用于 引导手机在输入传送带、透明平台和输出传送带间平稳传送，而不至于从透 明平台上滑落。
[0013]
进一步地，箱体内还设置光源，光源与箱体内壁固定连接，对透明平台上 的手机进行补光。驱动机构包括转轴和电机，转轴与透明平台垂直固定连接， 电机与转轴轴连接。
[0014]
进一步地，取像装置与透明平台处于同一高度，取像装置的镜头前设置偏 振片；反光镜与透明平台所在平面呈60度夹角，箱体内还设置限位螺钉，固 定连接反光镜与箱体。
[0015]
进一步地，采集装置还包括图像处理装置，图像处理装置的数据输入接口 与取像装置的数据输出接口电连接，图像处理装置包括存储器、处理器及存 储在存储器上运行的计算机程序，计算机程序用于对取像装置获取的图像进 行矫正处理；所述计算机程序执行如下步骤：
[0016]
s1、对获取的图像，设置拍摄对象矩形范围，分离正反面，并做第一次透 视变换，消除由镜面反射引起的透视畸变；
[0017]
s2、对上步骤处理后的图像提取图像的感兴趣区；
[0018]
s3、根据感兴趣区最小外接矩形设置手机倾斜程度等级；
[0019]
s4、根据倾斜等级设置合适的边缘卷积核h；并通过运算获取可靠的四边 边缘点；
[0020]
s5、根据可靠的四边边缘点拟合直线形成最佳的外包四边形；
[0021]
s6、构建四边形四个顶点的排序准则；
[0022]
s7、将四个排序好的点作为输入，作第二次透视变换，消除由任意方位引 起的透视畸变。
[0023]
其中，步骤s1中，拍摄的图像，图像分为上半区和下半区，均保持完整 性，避免拍摄手机的局部；图像背景颜色保持单一颜色；设置拍摄对象的目 标矩形范围，分离图像上半部分和下半部分，各自作透视变换消除由镜面反 射的透视畸变。
[0024]
s2步骤的处理过程如下：
[0025]
s21、将图像的颜色空间由rgb转换至hsv颜色空间，空间中第i行j列的 像素值为[h
ij
,s
ij
,v
ij
]，其中h
ij
,s
ij
,v
ij
分别为i行j列hsv空间中h，s，v通道的值；
[0026]
s22、设定单一背景颜色在的hsv空间值的范围，上限值[h
up
,s
up
,v
up
]和下 限值[h
down
,s
down
,v
down
]；
[0027]
s23、根据设定上下值对目标图像进行二值化，图像记为{p
ij
}；i行j列的 像素值
p
ij
取值采用如下公式：
[0028][0029]
s24、搜索二值化图像所有连通区，连通区集合记作q。 q＝{q
k
|k＝1，2，
…
，n},q
k
＝{(i，j)|(i，j)满足连通区点},除去最大连通区外其它连通区填充为黑色(像素值为0)，得到新的{p
ij
}。计算公式如下：
[0030][0031]
s25、使用泛洪填充将最大区域的内部孔洞填充为白色，得到整个手机的 单连通区；
[0032]
s26、使用形态学滤波优化连通区边缘，得最终roi图像，记作m，m＝{p
ij
}。
[0033]
本发明中，s3步骤的处理过程如下：
[0034]
s31、利用旋转法获取最小外接矩形，记作r。r＝(x,y,w,h,r)，其中x,y表 示r的中心横向坐标和纵向坐标，w,h表示r的宽和长，r表示r旋转角度，取 值范围(-90,0]，角度为负表示逆时针旋转；
[0035]
s32、根据最小外接矩形设置倾斜等级g，倾斜等级分为3级：g＝0表示呈 竖直；g＝1表示呈倾斜；g＝2表示呈水平，计算公式如下：
[0036][0037]
其中，θ
1
，θ
2
分别倾斜时旋转的临界值；其取值范围 θ
1
∈(-85,-75]，θ
2
∈(-25,-15]。
[0038]
本发明中，s4步骤的处理过程如下：
[0039]
s41、由倾斜等级设置合适的边缘卷积核h；
[0040]
采用prewitt算子，水平方向h
0
和倾斜方向h
45
两类，h选取如下：
[0041][0042]
其中h
0
，h
45
算子的表示形式：
[0043][0044]
s42、对感兴趣区图像m进行卷积计算；
[0045]
利用离散卷积公式m
′
＝m*h，m
′
中最大值p
′
max
和最小值p
′
min
有如下关 系：
[0046]
m
′
＝{p
′
ij
}，p
′
min
＝min(p
ij
′
)＝-3,p
′
max
＝max(p
′
ij
)＝3；
[0047]
其中p
′
ij
表示m
′
中第i行j列的像素值；
[0048]
s43、最大值的点集a和最小值的点集b，计算公式如下：
[0049]
a＝{(i，j)|p
′
ij
＝p
′
max
},b＝{(i，j)|p
′
ij
＝p
′
min
}；
[0050]
s44、获取可靠的点集，先对点集排序，然后过滤靠近端点的点集；
[0051]
s45、将卷积核h顺时针旋转90度后重复s42～s44，依次完成四边边缘点 的寻找。
[0052]
进一步地，步骤s44包含以下步骤：
[0053]
s441、对集合a的n个项按照i的大小排序，新集合记作a
′
，具体形式如下：
[0054]
a
′
＝{(i
n
,j
n
)|(i
n
,j
n
)∈a}且满足i
n-1
≤i
n
≤i
n+1
，n＝{2，3，
…
，n-1}；
[0055]
s442、按数量过滤离散点a
″
；
[0056]
s443、按百分比过滤靠近端点，计算公式为：
[0057][0058]
其中，λ为过滤的百分比系数，取值范围[0.05，0.15]；i表示满足百分比过
[0059]
滤要求的i
n
集合；i
min
,i
max
分别为i
n
的最小值与最大值；
[0060]
s444、对集合b重复s441～s443，获得可靠的点集b
″′
。
[0061]
步骤s5中，减少了离群点对直线拟合的影响，采用最小二乘法进行直线拟 合。直线l＝(v
x
，v
y
，x
0
，y
0
)，其中(v
x
，v
y
)表示方向向量，(x
0
,y
0
)表示直线上的 点坐标。直线的一般式为：v
y
x-v
x
y＝v
y
x
0-v
x
y
0
。
[0062]
对点集a
″′
，b
″′
，c
″′
，d
″′
拟合的直线分别记作l
a
，l
b
，l
c
，l
d
。
[0063]
本发明中，s6步骤的处理过程如下：
[0064]
s61、直线l
a
与l
c
、l
a
与l
d
、l
b
与l
c
和l
b
与l
d
交点分别为：(x
1
，y
1
)， (x
2
，y
2
)，(x
3
，y
3
)，(x
4
，y
4
)。其中l
a
，l
b
，l
c
，l
d
对点集a
″′
，b
″′
，c
″′
，d
″′
拟合 的直线。
[0065]
s62、比较四个点水平和竖直方向最大差距，设置基准向量计算公 式如下：
[0066][0067]
d＝[(max(x
m
)-min(x
m
)]-[max(y
m
)-min(y
m
)]；
[0068]
其中x
m
，y
m
表示第m个交点的坐标，m∈{1,2,
…
,m}，m＝4；
[0069]
s62、四点的中心到四个点的向量，计算公式如下：
[0070][0071]
其中表示中心点到第m个交点的向量；
[0072]
s63、利用构建函数计算点排序值，公式如下：
[0073][0074]
其中s
m
表示第m个点的排序值，取值范围[-2,2]；符号“·”表示向量点乘， 符号“|| ||”表示向量的模；
[0075]
s64、利用s
m
的大小来判断第m个点顺序，s
m
从大到小表示四点按顺时针 排列，其中
s
max
为{s
m
}的最大值并以该点为起点。
[0076]
步骤s7中，以排序好的四点作为输入，以水平放置的手机角点顺序为左 下，左上，右上，右下为矫正标准，计算中心投影变换矩阵，最后利用变换 矩阵矫正图像。
[0077]
本发明提供的一种流水线上手机外观采集装置，具有以下有益效果：
[0078]
本发明的流水线上手机外观采集装置，可以实现在流水线上，不停机地 对手机正反两面的外观图像进行同时采集，图像采集效率高，该图像采集装 置设计巧妙，布局科学，结构简单，对空间的占用较小；可以完全代替传统 的机械手、工业相机等复杂设备，具有极高的实用价值。
[0079]
针对该装置采集的图像容易出现的各种畸变，本发明还设计了相对应的 图像矫正方法，该算法解决了设备本身带来的畸变，同时也解决了手机摆放 方位的差异而带来的畸变；充分利用了手机的可靠边缘点来获得精确的手机 定位，提高后期的识别准确率；运用范围广，可应对各种繁杂的回收手机类 型。
附图说明
[0080]
下面结合附图对本发明进一步说明。
[0081]
图1为本发明实施例1中流水线上手机外观采集装置的整体结构示意图；
[0082]
图2为本发明实施例1中流水线上手机外观采集装置的半剖结构示意图；
[0083]
图3为本发明实施例1中手机图像采集过程的光线反射原理图；
[0084]
图4为本发明实施例2中图像矫正方法的处理流程图；
[0085]
附图标记说明：1、箱体；2、透明平台；3、限位装置；4、输入传送带； 5、输出传送带；11、取像装置；12、光源；13、背景板；14、反光镜；21、 转轴；31、输入口；32、输出口；140、限位螺钉；210、电机；311、第一引 导拨片；321、第二引导拨片。
具体实施方式
[0086]
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及 实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施 例仅用以解释本发明，并不用于限定本发明。
[0087]
实施例1
[0088]
如图1和图2所示，一种流水线上手机外观采集装置，采集装置接收输入 传送带4上输出的物件(在本实施例中为手机)，并输出到输出传送带5上， 其包括箱体1，载台，两个背景板12，分别与两个背景板12相对应的两块反 光镜14以及取像装置11。
[0089]
箱体1的一侧设置开口；载台包括透明平台2、驱动透明平台2旋转的驱 动机构；透明平台2沿水平方向部分伸入箱体1内，使得透明平台2上的物 件能通过透明平台2相对箱体1从开口侧旋入、旋出。
[0090]
两个背景板13分别位于透明平台2伸入在箱体1内的部分的上、下相对 两侧上，且与透明平台2平行。
[0091]
两块反光镜14分别对称位于透明平台2伸入在箱体1内的部分的上、下 相对两侧上，并与透明平台2成一定夹角，且满足以下条件：当物件随所述 透明平台2旋入在箱体1内时，物件的上、下相对两侧及其透过透明平台2 的背景板13成像在相应的反光镜14上；取像
装置11用于获取图像，图像包 括两块反光镜14中的成像。
[0092]
该采集装置还包括限位装置3，限位装置3位于箱体1外的部分透明平台 2的外周，与箱体1支撑连接，限位装置3与输入传送带4相接的位置设置输 入口31，限位装置3与输出传送带5相接的位置设置输出口32；限位装置3 的输入口31处设置第一引导拨片311，限位装置3的输出口32处设置第二引 导拨片321，所述第一引导拨片311和第二引导拨片321用于引导物件在输入 传送带4、透明平台2和输出传送带5间平稳传送，而不至于从透明平台2上 滑落。
[0093]
箱体内还设置光源12，光源12与箱体1内壁固定连接，对透明平台2上 的物件进行补光。驱动机构包括转轴21和电机210，转轴21与透明平台2垂 直固定连接，电机210与转轴21轴连接。
[0094]
取像装置11与透明平台2处于同一高度，反光镜14与透明平台2所在平 面呈60度夹角，箱体1内还设置限位螺钉140，固定连接反光镜14与箱体1。 其中，取像装置11的镜头处还可以设置偏振片，从而消除直射光线对获取的 图像造成的干扰。
[0095]
该装置使用时，手机沿输入传送带4运动至箱体1的开口处，开口的宽度 大于手机的厚度，当手机到达限位装置3的输入口31处时，受到第一引导拨 片311的阻挡，因此可以准确移动到透明平台2上，电机210驱动透明平台2 转动，手机移动至箱体1内部时，取像装置11对手机进行拍照，采集完图像 后，透明平台2通过转动将手机移出箱体1内，手机转动至限位装置3的输 出口32处时，受到第二引导拨片321的阻挡，进而准确移动到输出传送带5 上，完成图像采集过程。
[0096]
如图3所示，图像采集过程中，光源12提供充足且明亮的光线，对拍摄 的手机进行补光，反光镜14产生射入到工业相机11镜头内的光路，背景板 13可以产生单一颜色的背景，从而为后续的图像处理提供便利，透明平台2 可以透过光线，因此可以同时获取手机正反两面的图像。
[0097]
实施例2
[0098]
如图4所示，本实施例提供一种处理实施例1中采集装置获取的图像的 图像矫正方法；该方法包括如下步骤：
[0099]
s1、对获取的图像，设置拍摄对象矩形范围，分离正反面，并做第一次透 视变换，消除由镜面反射引起的透视畸变；
[0100]
s2、对上步骤处理后的图像提取图像的感兴趣区；
[0101]
s3、根据感兴趣区最小外接矩形设置手机倾斜程度等级；
[0102]
s4、根据倾斜等级设置合适的边缘卷积核h；并通过运算获取可靠的四边 边缘点；
[0103]
s5、根据可靠的四边边缘点拟合直线形成最佳的外包四边形；
[0104]
s6、构建四边形四个顶点的排序准则；
[0105]
s7、将四个排序好的点作为输入，作第二次透视变换，消除由任意方位引 起的透视畸变。
[0106]
其中，步骤s1中，拍摄的图像，图像分为上半区和下半区，均保持完整 性，避免拍摄手机的局部；图像背景颜色保持单一颜色；设置拍摄对象的目 标矩形范围，分离图像上半部分和下半部分，各自作透视变换消除由镜面反 射的透视畸变。
[0107]
s2步骤的处理过程如下：
[0108]
s21、将图像的颜色空间由rgb转换至hsv颜色空间，空间中第i行j列的 像素值为[h
ij
,s
ij
,v
ij
]，其中h
ij
,s
ij
,v
ij
分别为i行j列hsv空间中h，s，v通道的值；
[0109]
s22、设定单一背景颜色在的hsv空间值的范围，上限值[h
up
,s
up
,v
up
]和下 限值[h
down
,s
down
,v
down
]；
[0110]
s23、根据设定上下值对目标图像进行二值化，图像记为{p
ij
}；i行j列的 像素值p
ij
取值采用如下公式：
[0111][0112]
s24、搜索二值化图像所有连通区，连通区集合记作q。 q＝{q
k
|k＝1，2，
…
，n},q
k
＝{(i，j)|(i，j)满足连通区点},除去最大连通区外其它连通区填充为黑色(像素值为0)，得到新的{p
ij
}。计算公式如下：
[0113][0114]
s25、使用泛洪填充将最大区域的内部孔洞填充为白色，得到整个手机的 单连通区；
[0115]
s26、使用形态学滤波优化连通区边缘，得最终roi图像，记作m，m＝{p
ij
}。
[0116]
本实施例中，s3步骤的处理过程如下：
[0117]
s31、利用旋转法获取最小外接矩形，记作r。r＝(x,y,w,h,r)，其中x,y表 示r的中心横向坐标和纵向坐标，w,h表示r的宽和长，r表示r旋转角度，取 值范围(-90,0]，角度为负表示逆时针旋转；
[0118]
s32、根据最小外接矩形设置倾斜等级g，倾斜等级分为3级：g＝0表示呈 竖直；g＝1表示呈倾斜；g＝2表示呈水平，计算公式如下：
[0119][0120]
其中，θ
1
，θ
2
分别倾斜时旋转的临界值；其取值范围 θ
1
∈(-85,-75]，θ
2
∈(-25,-15]。
[0121]
本实施例中，s4步骤的处理过程如下：
[0122]
s41、由倾斜等级设置合适的边缘卷积核h；
[0123]
采用prewitt算子，水平方向h
0
和倾斜方向h
45
两类，h选取如下：
[0124][0125]
其中h
0
，h
45
算子的表示形式：
[0126][0127]
s42、对感兴趣区图像m进行卷积计算；
[0128]
利用离散卷积公式m
′
＝m*h，m
′
中最大值p
′
max
和最小值p
′
min
有如下关 系：
[0129]
m
′
＝{p
′
ij
}，p
′
min
＝min(p
′
ij
)＝-3,p
′
max
＝max(p
′
ij
)＝3；
[0130]
其中p
′
ij
表示m
′
中第i行j列的像素值；
[0131]
s43、最大值的点集a和最小值的点集b，计算公式如下：
[0132]
a＝{(i，j)|p
′
ij
＝p
′
max
},b＝{(i，j)|p
′
ij
＝p
′
min
}；
[0133]
s44、获取可靠的点集，先对点集排序，然后过滤靠近端点的点集；
[0134]
s45、将卷积核h顺时针旋转90度后重复s42～s44，依次完成四边边缘点 的寻找。
[0135]
进一步地，步骤s44包含以下步骤：
[0136]
s441、对集合a的n个项按照i的大小排序，新集合记作a
′
，具体形式如下：
[0137]
a
′
＝{(i
n
,j
n
)|(i
n
,j
n
)∈a}且满足i
n-1
≤i
n
≤i
n+1
，n＝{2，3，
…
，n-1}；
[0138]
s442、按数量过滤离散点a
″
；
[0139]
s443、按百分比过滤靠近端点，计算公式为：
[0140][0141]
其中，λ为过滤的百分比系数，取值范围[0.05，0.15]；i表示满足百分比过
[0142]
滤要求的i
n
集合；i
min
,i
max
分别为i
n
的最小值与最大值；
[0143]
s444、对集合b重复s441～s443，获得可靠的点集b
″′
。
[0144]
本实施例的步骤s5中，减少了离群点对直线拟合的影响，采用最小二乘法 进行直线拟合。直线l＝(v
x
，v
y
，x
0
，y
0
)，其中(v
x
，v
y
)表示方向向量，(x
0
,y
0
)表 示直线上的点坐标。直线的一般式为：v
y
x-v
x
y＝v
y
x
0-v
x
y
0
。
[0145]
对点集a
″′
，b
″′
，c
″′
，d
″′
拟合的直线分别记作l
a
，l
b
，l
c
，l
d
。
[0146]
本实施例中，s6步骤的处理过程如下：
[0147]
s61、直线l
a
与l
c
、l
a
与l
d
、l
b
与l
c
和l
b
与l
d
交点分别为：(x
1
，y
1
)， (x
2
，y
2
)，(x
3
，y
3
)，(x
4
，y
4
)。其中l
a
，l
b
，l
c
，l
d
对点集a
″′
，b
″′
，c
″′
，d
″′
拟合 的直线。
[0148]
s62、比较四个点水平和竖直方向最大差距，设置基准向量计算公 式如下：
[0149][0150]
d＝[(max(x
m
)-min(x
m
)]-[max(y
m
)-min(y
m
)]；
[0151]
其中x
m
，y
m
表示第m个交点的坐标，m∈{1,2,
…
,m}，m＝4；
[0152]
s62、四点的中心到四个点的向量，计算公式如下：
[0153][0154]
其中表示中心点到第m个交点的向量；
[0155]
s63、利用构建函数计算点排序值，公式如下：
[0156][0157]
其中s
m
表示第m个点的排序值，取值范围[-2,2]；符号“·”表示向量点乘， 符号“|| ||”表示向量的模；
[0158]
s64、利用s
m
的大小来判断第m个点顺序，s
m
从大到小表示四点按顺时针 排列，其中s
max
为{s
m
}的最大值并以该点为起点。
[0159]
步骤s7中，以排序好的四点作为输入，以水平放置的手机角点顺序为左 下，左上，右上，右下为矫正标准，计算中心投影变换矩阵，最后利用变换 矩阵矫正图像。
[0160]
实施例3
[0161]
本实施例中，采集装置还与图像处理装置连接，图像处理装置与取像装 置11的数据输出接口电连接，获取取像装置中拍摄的图像，图像处理装置包 括存储器、处理器及存储在存储器上运行的计算机程序，其用于对取像装置 11获取的图像进行矫正处理；计算机程序执行如实施例2的步骤。
[0162]
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本 发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本 发明的保护范围之内。