一种微米级ID图像识别的系统及用于ID图像识别的装置的制作方法

文档序号:19041114发布日期:2019-11-05 23:06阅读:219来源:国知局
一种微米级ID图像识别的系统及用于ID图像识别的装置的制作方法

本实用新型总体涉及图像识别领域,更具体地,涉及一种微米级ID图像识别的技术。



背景技术:

芯片上的身份识别号ID尺寸比较小,例如激光器芯片,甚至在微米um 级别,例如附图14所示,图14中的ID号5A的单个数字或者字母尺寸只有十几微米,甚至有些芯片上的ID号只有几微米,所有这类ID肉眼根本无法直接看清楚,必须在显微镜下才能观察,放大倍数在200~400倍。而实际工作中,经常需要精确并且大批量的识别芯片上面的ID号。

在目前的实际工作中,通常将需要识别的激光器芯片放置到显微镜的载物台上,调整物镜的视场和显微镜的焦距,使得ID完全进入视场并能够清晰的识别,用肉眼在目镜上观察,人工看清楚后,用笔记录下来。识别效率非常低下,并且会使得人眼非常疲劳,并且会有不少误判和记录错误的情况,并且不能进行批量化的自动生产。且显微镜的视场非常小,只能容纳一个芯片的ID,由于芯片位置和ID位置的不确定性,造成在显微镜视场下很不容易找到其他ID的位置。

从ID的自身内容来看,这些字母或者数字不是文本文件,而是一个图形,因此不能直接读取,需要用图像识别技术判定。且ID的图形非常不规范,每个厂家或者批次所使用的字符种类、字体类型和大小等不一定相同,通常的图像识别技术在这种情况下难以做到准确且完整的识别ID。还有不同厂家的芯片包装盒状态、每个待检测芯片在包装盒中的位置以及ID在芯片上所处的位置不完全相同,也同样造成通常的图像识别技术难以做到准确且完整的识别ID。

昂贵的自动光学检测AOI,Automatic Optic Inspection的简称,常用于PCB 的焊接检测,是一类基于光学原理来对生产中遇到的常见缺陷进行检测的设备。当自动检测时,机器通过摄像头自动扫描待检测物品,采集出待检测物品图像,测试结果与数据库中的合格的参数进行比较,经过图像处理,凡是与标准参数不符合的,均判定为不合格,并通过显示器或自动标志出来,供生产人员参考和使用。该设备需要确定性的标准,通过对比待测物品与标准品的对比,检测出不合格品。而我们的需求则没有标准形态,也就是无法提供确定性的标准,造成AOI相类似的检测设备无法满足我们的不确定性检测需求。



技术实现要素:

针对以上问题,本实用新型的目的在于克服现有技术中无法准确和大批量识别芯片上微米级ID图像的缺陷,提供一种微米级ID图像识别的系统及用于ID图像识别的装置。

根据本实用新型的第一方面,提供一种微米级ID图像识别的系统,包括摄像头、高倍显微镜、上位机,其中,所述摄像头配置为,观察待测物品的整体状况,以确定所述待测物品的数量和位置关系,所述待测物品包括一个或多个;所述高倍显微镜配置为,调整视场并依次识别所述待测物品的ID图像;所述上位机与所述摄像头和所述高倍显微镜分别相连,并配置为,控制所述摄像头和所述高倍显微镜,并依次记录相应的ID信息。

可选地,所述摄像头为低倍大视场摄像头,并配置为,进行视场调整,以清楚的观察到所述待测物品的整体状况。

可选地,所述高倍显微镜还配置为,通过与所述待测物品在在水平方向上的相对移动,直至找到所述待测物品的ID图像,以使所述待测物品的ID 图像完全进入所述高倍显微镜的视场;在纵轴方向上微调位置,使所述高倍显微镜的焦点落在所述待测物品的ID图像上,以便完整并清晰的显示所述待测物品的ID图像。

可选地,还包括下位机、步进电机,其中,所述上位机与所述下位机相连,并进一步配置为,向所述下位机发布调整所述高倍显微镜位置或者所述待测物品位置的控制指令;所述下位机与所述步进电机相连,并配置为,根据接收到的所述控制指令控制所述步进电机;所述下位机包括PLC或者单片机;所述步进电机与所述高倍显微镜或者所述待测物品相连,并配置为,控制所述高倍显微镜或者所述待测物品的移动。

可选地,所述步进电机包括x轴步进电机、y轴步进电机、z轴步进电机,以控制所述高倍显微镜或者所述待测物品分别在x轴、y轴、z轴方向的移动。

可选地,所述上位机还配置为,设置所述低倍大视场摄像头的位置为起始点位置;当再次观察所述待测物品的整体状况时,控制所述低倍大视场摄像头自动移动到所述起始点位置。

可选地,所述高倍显微镜进一步配置为,对所述待测物品的ID图像进行拍照,并发送至所述上位机;所述上位机进一步配置为,接收所述高倍显微镜发来的所述ID图像的图片并进行处理,以判定出所述ID图像的内容,并进行存储。

可选地,还包括图像训练平台,所述图像训练平台配置为,对不能识别的的ID类型进行自我迭代训练,以使其成为能够识别的ID类型。

可选地,所述待测物品的位置关系,是按照预先设定的排布形式进行放置,以便于识别;所述依次记录相应的ID信息,是按照与所述待测物品的位置关系相同的排布形式进行记录。

可选地,所述预先设定的排布形式包括6×5或者16×10的矩阵。

根据本实用新型的第二方面,提供一种用于ID图像识别的装置,包括载物台、镜头支架、镜头安装座、至少一台步进电机,其中,所述镜头安装座位于所述载物台的上方,并与所述镜头支架的一端相连;所述步进电机与所述载物台或者所述镜头支架的另一端相连,以控制所述载物台和所述镜头支架之间的相对移动。

可选地,还包括底板、支撑台,其中,所述支撑台位于所述载物台的下方,所述底板位于所述支撑台的下方;所述步进电机包括x轴步进电机、y 轴步进电机、z轴步进电机;所述x轴步进电机放置于所述支撑台上,与所述载物台或者所述镜头支架的另一端相连;所述y轴步进电机放置于所述底板上,与所述载物台或者所述镜头支架的另一端相连;所述z轴步进电机放置于所述底板上,与所述载物台或者所述镜头支架的另一端相连;所述载物台、所述支撑台、所述底板均与地面保持平行。

可选地,还包括第一滑动连接结构、第二滑动连接结构,所述第一滑动连接结构与所述x轴步进电机相连,并固定于所述支撑台上,所述第二滑动连接结构与所述y轴步进电机相连,并固定于所述底板上,其中,所述第一滑动连接结构包括丝杠、滑块、第一固定块、第二固定块、两个滑轨,所述丝杠的一端与所述x轴步进电机相连;所述第一固定块与所述丝杠的另一端相连并固定在所述支撑台上;所述第二固定块连接于所述第一固定块和所述 x轴步进电机之间的所述丝杠上,且靠近所述x轴步进电机的一端并固定在所述支撑台上,以使所述丝杠与所述支撑台保持平行;所述滑块套在所述第一固定块和所述第二固定块之间的所述丝杠上,所述滑块与所述丝杠的接触面具有与所述丝杠配套的螺纹结构,以使所述滑块在所述丝杠上滑动;所述两个滑轨与所述丝杠保持平行,分别设置于所述丝杠的两侧,并固定于所述支撑台上;所述第二滑动连接结构与所述第一滑动连接结构具有相同的构造;所述第一滑动连接结构中的丝杠与所述第二滑动连接结构中的丝杠不平行。

可选地,所述第一滑动连接结构的滑块还与所述载物台相连,以带动所述载物台移动;所述第二滑动连接结构的滑块还与所述支撑台相连,以带动所述支撑台移动。

可选地,所述载物台的底部的两侧分别连接有载物台垫块,两个所述载物台垫块分别位于所述第一滑动连接结构的两个滑轨的正上方,且所述载物台垫块底部设置有凹槽,所述载物台垫块的凹槽与所述第一滑动连接结构的滑轨配套,以使所述载物台垫块连带所述载物台在所述第一滑动连接结构的滑轨上滑动;所述支撑台的底部的两侧分别连接有支撑台垫块,两个所述支撑台垫块分别位于所述第二滑动连接结构的两个滑轨的正上方,且所述支撑台垫块底部设置有凹槽,所述支撑台垫块的凹槽与所述第二滑动连接结构的滑轨配套,以使所述支撑台垫块连带所述支撑台在所述第二滑动连接结构的滑轨上滑动。

可选地,还包括第三滑动连接结构、安装板,所述安装板与所述底板垂直,并固定在所述底板上;所述第三滑动连接结构连接于所述镜头支架的另一端与所述z轴步进电机之间;所述第三滑动连接结构包括z轴丝杠、z轴滑块、z轴支架、两个z轴滑轨,所述z轴丝杠的一端与所述z轴步进电机相连,通过所述z轴支架固定在所述安装板的一面上,所述两个z轴滑轨与所述z 轴丝杠平行,分别设置于所述z轴丝杠的两侧,并固定于所述安装板的一面上;所述z轴滑块套在所述z轴丝杠上,所述z轴滑块的两个侧面具有与所述z轴滑轨配套的轨道纹路,以使所述z轴滑块夹在所述两个z轴滑轨之间滑动,并沿所述z轴丝杠在竖直方向上下移动;所述镜头支架的另一端与所述z轴滑块相连接。

可选地,还包括PLC、步进电机驱动器、电源、盖子盒,所述PLC、所述步进电机驱动器、所述电源分别设置于所述安装板的另一面上;所述盖子盒为盒状结构,通过在所述安装板的另一面与所述安装板连接,以使所述安装板另一面的设备处于所述盖子盒中。

可选地,还包括四个支撑脚,所述四个支撑脚分别安装于所述底板底部的四角,以支撑所述底板及其上的各部件。

可选地,还包括光电位置传感器,所述光电位置传感器设置于所述底板上的所述第二滑动连接结构的一侧,以感测所述支撑台或所述载物台的位置。

本实用新型的优点在于:

1)根据本实用新型的技术方案,可以代替人工用显微镜肉眼识别和记录芯片ID的工作,实现自动识别和记录,降低了对操作人员的技术要求,也大大提高了识别和记录的准确度,提高了了工作效率;

2)根据本实用新型的技术方法,通过大视场摄像头和高倍显微镜相结合的二次成像定位,解决了因芯片包装盒不同、ID位置不同造成的无法自动定位的问题;

3)根据本实用新型的技术方案,通过精准控制步进电机并配合二次成像定位,实现了完全自动化识别微米级ID的批量化操作,生产效率大幅度提高;

4)根据本实用新型的技术方案,通过图像训练平台对不能识别的ID类型进行的深度训练,解决了因不同批次和不同厂家使用不同种类或不同形态的字符造成的识别困难,进一步提高了识别的准确度;

5)根据本实用新型的技术方案,所述系统还可以与智能制造管理平台 IMMP连接,实现IMMP管控下的全自动生产。

附图说明

图1示出了根据本实用新型的一种微米级ID图像识别的系统的一种实施方式示意图。

图2示出了根据本实用新型的一种微米级ID图像识别的系统的另一种实施方式示意图。

图3示出了根据本实用新型的包括图像训练平台的系统示意图。

图4示出了根据本实用新型的一种微米级ID图像识别的方法流程图。

图5示出了根据本实用新型的一种用于ID图像识别的装置示意图。

图6示出了根据本实用新型的一种用于ID图像识别的装置的一种实施方式示意图。

图7示出了根据本实用新型的一种滑动连接结构的示意图。

图8示出了根据本实用新型的一种用于ID图像识别的装置的另一种实施方式示意图。

图9示出了根据本实用新型的一个实施例中一种微米级ID图像识别系统与IMMP平台相连后操作界面示意图。

图10示出了根据本实用新型的低倍大视场摄像头的视场示意图。

图11示出了根据本实用新型的一个实施例中识别第一个待测物品ID时上位机的显示界面示意图。

图12示出了根据本实用新型的一个实施例中依次识别待测物品ID时上位机的显示界面示意图。

图13示出了根据本实用新型的一个实施例中全部待测物品ID识别完成时上位机的显示界面示意图。

图14示出了背景技术中所述微米级ID尺寸示意图。

具体实施方式

下面结合附图对本实用新型的较佳实施例进行详细阐述,参考标号是指本实用新型中的组件、技术,以便本实用新型的优点和特征在适合的环境下实现能更易于被理解。下面的描述是对本实用新型权利要求的具体化,并且与权利要求相关的其它没有明确说明的具体实现也属于权利要求的范围。

图1示出了根据本实用新型的一种微米级ID图像识别的系统的一种实施方式示意图。

如图1所示,提供一种微米级ID图像识别的系统,可以包括摄像头110、高倍显微镜120、上位机130,其中,所述摄像头110可以配置为,观察待测物品的整体状况,以确定所述待测物品的数量和位置关系,所述待测物品包括一个或多个;所述高倍显微镜120可以配置为,调整视场并依次识别所述待测物品的ID图像;所述上位机130与所述摄像头110和所述高倍显微镜 120可以分别相连,并配置为,控制所述摄像头110和/或所述高倍显微镜120,并依次记录相应的ID信息。

所述观察待测物品的整体状况,包括例如如果所述待测物品是放置在包装盒内的,判断承载待测物品包装盒的具体位置,以及初步判定各待测物品的大约位置、相对位置关系、需要进行识别的待测物品数量等。所述摄像头 110可以通过总线等方式直接或者间接与所述上位机130相连,并可以将上述观察判定的数据或者图像等上传给所述上位机130。所述摄像头110可以为低倍大视场摄像头,并配置为,进行视场调整,以清楚并完整的的观察到所述待测物品的整体状况。所述低倍大视场摄像头可以是一种大视场、景深范围大、较高像素分辨率的摄像头。

所述高倍显微镜120是用于精细判定各待测物品例如所述待测物品在包装盒中的具体位置以及ID在待测物品上的具体位置,并可以通过总线等方式直接或者间接与所述上位机130相连,并将观察判定的数据或者图像等上传给所述上位机130。所述高倍显微镜120调整视场是指可以通过水平或者/和纵向方向进行调整,以能够清晰并完整的观察到每一个待测物品及待测物品上的ID。所述依次识别所述待测物品的ID图像是指所述高倍显微镜120可以一个一个识别所述待测物品的ID,每移动到一个待测物品的上方时,通过调整视场,清晰且完整的识别该待测物品上的ID,然后再移动到下一个待测物品的上方继续识别。根据摄像头110观察到的所有待测物品的整体状况,所述高倍显微镜120可以按照一定的顺序进行移动和识别。所述高倍显微镜 120可以是一种高放大倍数、高像素分辨率的显微镜头。

识别每一个所述待测物品的ID时,所述高倍显微镜120还可以先通过与所述待测物品在水平方向上的相对移动,直至找到所述待测物品的ID图像,以使所述待测物品的ID图像完全进入所述高倍显微镜120的视场;然后在纵轴方向上微调位置,使所述高倍显微镜120的焦点落在所述待测物品的ID图像上,以便完整并清晰的显示所述待测物品的ID图像。所述高倍显微镜120 与所述待测物品在水平方向上的相对移动,包括所述高倍显微镜120移动、所述待测物品静止,或者所述高倍显微镜120静止、所述待测物品移动,或者所述高倍显微镜120移动、所述待测物品也移动,都可以实现二者的相对移动;也可以所述高倍显微镜120先移动、同时所述待测物品静止,然后所述高倍显微镜120静止、同时所述待测物品移动;或者所述高倍显微镜120 先静止、同时所述待测物品移动,然后所述高倍显微镜120移动、同时所述待测物品静止;或者所述高倍显微镜120和所述待测物品同时发生移动。所述水平方向是指与地面平行的方向,所述纵轴方向是指垂直于地面的方向。

根据本实用新型的一种实施方式,所述待测物品的位置关系,可以是按照预先设定的排布形式进行放置,以便于识别。所述预先设定的排布形式是指提前设计好按照一定规律或者顺序排布的,例如,所述预先设定的排布形式可以包括6×5或者16×10的矩阵,也可以是其他排布形式,例如n×n的正方形、三角形等。例如,待测物品是放置在包装盒内的,是按照包装盒内设计的放置芯片的位置整齐放置的,而不是互相堆叠等无规则放置。

所述依次记录相应的ID信息,可以是按照与所述待测物品的位置关系相同的排布形式进行记录。按照所述高倍显微镜120观察待测物品的顺序依次记录所述待测物品上的ID信息,即相应的ID信息。且记录的形式可以根据所述待测物品的位置关系进行记录,以使ID信息的排布形式与其对应的待测物品的位置关系相同。例如,待测物品在包装盒中的排布形式是6×5,而相应的ID信息无论是记录在纸上还是上位机130记录到数据库中或者在上位机 130的显示界面上都可以记录为6×5的形式,且每一个位置的ID信息都对应于包装盒中相同位置的待测物品。

所述上位机130可以是直接发出操控命令的计算机、处理器或者控制器等,还可以在屏幕上显示各种信号变化,或者影像、图片等。所述上位机130 可以是能够实现人机交互的设备,也可以安装需要的上位机软件等,例如人机交互和算法软件等。所述上位机130与所述摄像头110和所述高倍显微镜 120可以分别相连,包括直接相连或者间接相连,也包括无线连接或者有线连接、物理或者逻辑连接等方式,例如USB总线。

所述上位机130还可以与智能制造管理平台IMMP(Intelligent Manufacturer Management Plane)相连,包括无线或者有线连接、物理或者逻辑连接等方式。例如还可以通过接口软件模块相连。所述IMMP平台是一种自动化生产管控系统,可以实现生产过程中多个工序的自动衔接,无需人工干预。通过本实用新型的系统与所述IMMP平台的结合,可以实现所述IMMP 平台对本实用新型的系统的管控,从而实现实际应用中ID图像识别工序与前、后生产工序相结合的全自动化生产。例如,将IMMP平台接口软件嵌入到上位机软件中,即可在IMMP平台中的ID测试工序直接调用ID测试的软件,它们之间的数据交互可以通过软件接口、数据库的存储和读取实现。

图2示出了根据本实用新型的一种微米级ID图像识别的系统的另一种实施方式示意图。

如图2所示,还可以包括下位机210、步进电机220,其中,所述上位机 130可以与所述下位机210相连,并可以进一步配置为,向所述下位机210 发布调整所述高倍显微镜120位置或者所述待测物品230位置的控制指令;所述下位机210可以与所述步进电机220直接或者间接相连,并可以配置为,根据接收到的所述控制指令控制所述步进电机220;所述下位机210可以包括PLC或者单片机;所述步进电机220可以与所述高倍显微镜120或者所述待测物品230相连,并可以配置为,控制所述高倍显微镜120或者所述待测物品230的移动。

所述下位机210可以是直接控制步进电机220以及获取步进电机220状况的计算机、控制器、处理器等。所述下位机210与所述上位机130之间可以通过总线等方式,例如SPI总线,直接或者间接的进行连接和通信。上位机130发出的命令首先给下位机210,下位机210再根据此命令解释成相应的信号直接控制步进电机220。所述PLC是一种可编程逻辑控制器,所述PLC 可以采用与所述步进电机220的配合性高、以及容易设置或者编程的PLC。 PLC的具体操作过程可以包括编写PLC控制程序,以用于接收来自所述上位机130发送的控制信息,或者来自所述上位机软件的控制信息,然后转化成脉冲信号来控制所述步进电机220的运行。所述单片机是一种集成电路芯片,是采用超大规模集成电路技术把具有数据处理能力的中央处理器CPU、随机存储器RAM、只读存储器ROM、多种I/O口和中断系统、定时器/计数器等功能等集成到一块硅片上,形成的芯片级计算机。通过所述单片机接口的控制电路,实现所述上位机130和所述单片机的通讯功能,从而实现控制所述步进电机220的运动。

所述步进电机220是一种将电脉冲信号转变为角位移或线位移的开环控制电机。所述步进电机220可以包括一个或者多个。所述步进电机220可以与所述高倍显微镜120或者所述待测物品230相连,也可以与所述摄像头110 相连,可以是直接相连也可以是间接相连。所述步进电机220可以控制所述高倍显微镜120,也可以控制所述待测物品230,只要可以实现所述高倍显微镜120和所述待测物品230的相对移动即可。所述步进电机220可以采用步进精度高、行程范围适宜的步进电机,以更精确的控制所述高倍显微镜120 或者所述待测物品230的移动位置。

根据本实用新型的一种实施方式,所述步进电机220可以包括x轴步进电机、y轴步进电机、z轴步进电机,以控制所述高倍显微镜120或者所述待测物品230分别在x轴、y轴、z轴方向的移动。

本实用新型中所述x轴、y轴为水平面上的两个不平行的直线方向,可以互相垂直也可以不垂直,可以在同一水平面也可以在不同水平面。所述水平面是指与地面平行的平面。所述z轴方向为纵轴方向,即垂直于地面的方向。所述z轴垂直于所述x轴,所述z轴同时垂直于所述y轴。所述x轴步进电机是指在x轴方向上控制与其连接的所述高倍显微镜120或者待测物品 230,所述y轴步进电机是指在y轴方向上控制与其连接的所述高倍显微镜 120或者待测物品230,所述z轴步进电机是指在z轴方向上控制与其连接的所述高倍显微镜120或者待测物品230。

根据本实用新型的一种实施方式,所述上位机130还可以配置为,设置所述低倍大视场摄像头的位置为起始点位置;当需要再次观察所述待测物品 230的整体状况时,可以控制所述低倍大视场摄像头自动移动到所述起始点位置。

在所述低倍大视场摄像头能清楚并完整的的观察到所述待测物品的整体状况时,可以记录此时所述低倍大视场摄像头的坐标值,例如包括x轴、y 轴、z轴三个方向坐标值,以确定所述低倍大视场摄像头的准确位置,将该位置设置为起始点位置。此后只要不设置新的位置坐标值,无论所述低倍大视场摄像头在之后的操作中移动到哪里,当需要再次观察所述待测物品230的整体状况时,无需再次调整视场,只需要控制所述低倍大视场摄像头移动到所述起始点位置,即可以重现所述待测物品230的整体状况,免去再次操作的麻烦,省时省力。

根据本实用新型的一种实施方式,所述高倍显微镜120可以进一步配置为,对所述待测物品230的ID图像进行拍照,并发送至所述上位机130;所述上位机130可以进一步配置为,接收所述高倍显微镜120发来的所述ID图像的图片并进行处理,以判定出所述ID图像的内容,并进行存储。

由于ID内容可能包括字母、数字等,不是一种文本文件,而是一种图形,难以直接读取,因此所述高倍显微镜120在能够清晰并完整的观察到所述待测物品230的ID图像后可以将所述ID图像进行拍照,并将照片发送至所述上位机130。所述上位机130可以首先对接收到的图片进行存储,然后可以对该图片的图像信息进行计算和对比等处理方式进行识别,以判定出该图像信息的内容,进行存储,例如将识别出的内容转换成字符存储到规定数据库的字段中,以方便之后的读取。所述上位机130对图片的处理可以通过所述上位机软件中设定的计算方法对该图片的图像信息与标准图片进行相似性的模糊对比等处理,也可以通过处理器和计算器进行处理等。

图3示出了根据本实用新型的包括图像训练平台的系统示意图。

如图3所示,还可以包括图像训练平台310,所述图像训练平台310配置为,对不能识别的的ID类型进行自我迭代训练,以使其成为能够识别的ID 类型。

对于不同供应商和产品批次的待测物品的ID或者不能识别、没有出现过的的ID类型,可以首先通过所述图像训练平台310进行选择和确认,所述ID 类型可以包括字符类型、形状、字符组合的相对位置等。所述图像训练平台 310可以对新字符进行自我迭代训练,通过指定次数的多方位的系统联系,将该新字符转换成本实用新型的系统能够识别的图像类型,使得根据本实用新型的系统在后续使用过程中可以精确地识别出训练过的新字符。

所述图像训练平台310可以是一种工作站,具体可以配置为包括Intel酷睿i9X的CPU、32G的内存、与CPU兼容的主板、256G固态/SSD的硬盘、GeForce GTX 1080Ti的显卡以及显示器等。

所述图像训练平台310可以与所述上位机130连接,包括直接或者间接、有线或者无线、物理或者逻辑连接等方式。所述图像训练平台310的图像训练操作可以是在ID图像识别开始前进行,也可以是在所述上位机130接收到所述高倍显微镜120上传的ID图像后发现无法识别时,再发送至所述图像训练平台310进行训练。

图4示出了根据本实用新型的一种微米级ID图像识别的方法流程图。

如图4所示,提供一种微米级ID图像识别的方法,包括,观察待测物品的整体状况,以确定所述待测物品的数量和位置关系S1,所述待测物品包括一个或多个;调整视场,依次识别所述待测物品的ID图像,并依次记录相应的ID信息S2。

根据本实用新型的一种实施方式,所述观察待测物品的整体状况,以确定所述待测物品的数量和位置关系S1包括:控制低倍大视场摄像头进行视场调整,直至能清楚的观察到所述待测物品的整体状况。

根据本实用新型的一种实施方式,所述调整视场,依次识别所述待测物品的ID图像,并依次记录相应的ID信息S2包括,控制高倍显微镜与所述待测物品在水平方向上的相对移动,直至找到第一个待测物品的ID图像,以使所述第一个待测物品的ID图像完全进入所述高倍显微镜的视场;微调所述高倍显微镜在纵轴方向上的位置,使其焦点落在所述第一个待测物品的ID图像上,以便完整并清晰的显示所述第一个待测物品的ID图像,并记录所述第一个待测物品的ID信息;重复上述步骤,依次识别所有待测物品的ID图像。

根据本实用新型的一种实施方式,还包括,上位机向下位机发布调整所述高倍显微镜位置或者所述待测物品位置的控制指令;所述下位机根据接收到的所述控制指令控制步进电机;所述下位机包括PLC或者单片机;所述步进电机控制所述高倍显微镜或者所述待测物品的移动。

根据本实用新型的一种实施方式,所述步进电机包括x轴步进电机、y 轴步进电机、z轴步进电机,以控制所述高倍显微镜或者所述待测物品分别在 x轴、y轴、z轴方向的移动。

根据本实用新型的一种实施方式,所述观察待测物品的整体状况,以确定所述待测物品的数量和位置关系S1还包括,设置所述低倍大视场摄像头的位置为起始点位置;当再次观察所述待测物品的整体状况时,控制所述低倍大视场摄像头自动移动到所述起始点位置。

根据本实用新型的一种实施方式,所述记录相应的ID信息的方式包括拍照和存储;以及对拍照的图片进行处理,以判定出所述ID图像的内容,并进行存储。

根据本实用新型的一种实施方式,还包括,通过图像训练平台对不能识别的ID类型进行自我迭代训练,以使其成为能够识别的ID类型。

根据本实用新型的一种实施方式,所述待测物品的位置关系,是按照预先设定的排布形式进行放置,以便于识别;所述依次记录相应的ID信息,是按照与所述待测物品的位置关系相同的所述排布形式进行记录。

根据本实用新型的一种实施方式,所述预先设定的排布形式包括6×5或者16×10的矩阵。

本实用新型的方法在上文中已经结合系统进行了详细的描述和解释,这里将不再赘述。

图5示出了根据本实用新型的一种用于ID图像识别的装置示意图。

如图5所示,提供一种用于ID图像识别的装置,包括载物台510、镜头支架530、镜头安装座520、至少一台步进电机220,其中,所述镜头安装座 520位于所述载物台510的上方,并与所述镜头支架530的一端相连;所述步进电机220与所述载物台510或者所述镜头支架530的另一端相连,以控制所述载物台510和所述镜头支架530之间的相对移动。

所述载物台510上用于放置待测物品或者待测物品包装盒。所述镜头安装座520通过所述镜头支架530与其他部件相连。所述镜头安装座520可以包括一个或多个镜头安装的位置。所述镜头安装座520可以设置为中空结构,可以使镜头插入其中,或者设置为夹子结构,可以夹住镜头。无论所述镜头安装座520设置为何种结构,只要可以固定所需要的镜头并保证镜头与所述载物台510保持平行,使其能够清楚并完整地观察所述载物台510上的物体即可。

所述步进电机220可以包括一个或者多个。所述步进电机220可以与所述载物台510或者所述镜头支架530的另一端相连,可以是直接相连也可以是间接相连。所述载物台510或者所述镜头支架530的另一端可以分别与一台或者多台步进电机220直接或者间接相连。所述步进电机220可以通过控制所述载物台510,也可以通过控制所述镜头支架530,实现所述载物台510 和所述镜头支架530的相对移动。

图6示出了根据本实用新型的一种用于ID图像识别的装置的一种实施方式示意图。

如图6所示,还可以包括底板620、支撑台610,其中,所述支撑台610 位于所述载物台510的下方,所述底板620位于所述支撑台610的下方;所述步进电机220包括x轴步进电机221、y轴步进电机222、z轴步进电机223;所述x轴步进电机221放置于所述支撑台610上,与所述载物台510或者所述镜头支架530的另一端直接或者间接相连;所述y轴步进电机222放置于所述底板620上,与所述载物台510或者所述镜头支架530的另一端直接或者间接相连;所述z轴步进电机223可以直接放置或者通过支架等方式放置于所述底板620上,所述z轴步进电机223与所述载物台510或者所述镜头支架530的另一端直接或者间接相连;所述载物台510、所述支撑台610、所述底板620均与地面保持平行。

所述x轴步进电机221是指在x轴方向上控制与其连接的部件,所述y 轴步进电机222是指在y轴方向上控制与其连接的部件,所述z轴步进电机 223是指在z轴方向上控制与其连接的部件。

图7示出了根据本实用新型的一种滑动连接结构的示意图。

如图7所示,提供了一种滑动连接结构,可以用于与步进电机220和所要控制的部件之间的连接,以使所述部件在所述步进电机220的控制下通过所述滑动连接结构进行移动。所述一种滑动连接结构可以包括丝杠710、滑块720、第一固定块730、第二固定块740、两个滑轨750,所述丝杠710的一端与所述步进电机220相连;所述第一固定块730与所述丝杠710的另一端相连;所述第二固定块740连接于所述第一固定块730和所述步进电机220 之间的所述丝杠710上,且靠近所述步进电机220的一端;所述滑块720套在所述第一固定块730和所述第二固定块740之间的所述丝杠710上,所述滑块720与所述丝杠710的接触面具有与所述丝杠710配套的螺纹结构,以使所述滑块720在所述丝杠710上滑动;所述两个滑轨750与所述丝杠710 保持平行,分别设置于所述丝杠710的两侧。

所述丝杠710是一种可以将旋转运动转化为直线运动,或将直线运动转化为旋转运动的执行元件,并具有传动效率高,定位准确等。所述丝杠710 表面可以具有螺纹结构。所述丝杠710的类型可以包括滚珠丝杠、梯形丝杠、滑动丝杠等。所述滑块720在所述丝杠710上的滑动可以类似于螺母在螺钉上的移动,通过配套的螺纹结构实现。所述步进电机220控制所述丝杠710 转动,所述丝杠710的转动带动所述滑块720的直线运动。所述第一固定块 730和所述第二固定块740用于使所述丝杠710位置固定,以免发生线性位移,同时可以防止所述滑块720从所述丝杠710的两端滑落。所述两个滑轨 750的上表面或者侧面可以设置有轨道结构。

所述第二固定块740靠近所述步进电机220的一端,是指相对于与所述第一固定块730的距离,所述第二固定块740距离所述步进电机220更近。且所述第二固定块740与所述步进电机220之间的距离尽可能的小,以使所述第一固定块730与所述第二固定块740之间的距离尽可能的大,从而使所述滑块720在所述丝杠710上的运动范围尽可能的大。

根据本实用新型的技术方案,可以包括第一滑动连接结构、第二滑动连接结构,所述第二滑动连接结构与所述第一滑动连接结构可以具有相同的构造,可以为如图7中所示的结构。所述第一滑动连接结构与所述x轴步进电机221相连,并固定于所述支撑台610上,例如通过焊接或者螺丝固定等方式进行固定。所述第二滑动连接结构与所述y轴步进电机222相连,并固定于所述底板620上,例如通过焊接或者螺丝固定等方式进行固定。

其中,所述第一滑动连接结构的丝杠的一端与所述x轴步进电机221相连,第一固定块可以固定在所述支撑台610上,第二固定块连接于所述第一固定块和所述x轴步进电机221之间的丝杠上,且靠近所述x轴步进电机221 的一端并可以固定在所述支撑台610上,以使所述丝杠与所述支撑台610保持平行;两个滑轨可以固定于所述支撑台610上。

所述第二滑动连接结构的丝杠的一端与所述y轴步进电机222相连,第一固定块可以固定在所述底板620上,第二固定块连接于所述第一固定块和所述y轴步进电机222之间的丝杠上,且靠近所述y轴步进电机222的一端并可以固定在所述底板620上,以使所述丝杠与所述底板620保持平行;两个滑轨可以固定于所述底板620上。所述第一滑动连接结构中的丝杠与所述第二滑动连接结构中的丝杠不平行。

根据本实用新型的一种实施方式,所述第一滑动连接结构的滑块还可以与所述载物台510直接或者间接相连,可以通过滑块的移动带动所述载物台 510移动;所述第二滑动连接结构的滑块还可以与所述支撑台610直接或者间接相连,可以通过滑块的移动带动所述支撑台610移动。

图8示出了根据本实用新型的一种用于ID图像识别的装置的另一种实施方式示意图。

如图8所示,所述载物台510的底部的两侧可以分别连接有载物台垫块 810,两个所述载物台垫块810分别位于所述第一滑动连接结构的两个滑轨 750的正上方,且所述载物台垫块810底部可以设置有凹槽,所述载物台垫块810的凹槽与所述第一滑动连接结构的滑轨750配套,以使所述载物台垫块810连带所述载物台510在所述第一滑动连接结构的滑轨750上滑动。

所述载物台垫块810与所述载物台510的底部通过焊接或者螺丝固定等方式进行连接,使其成为一个整体。通过所述载物台垫块810在所述第一滑动连接结构的两个滑轨750上方滑动,减小摩擦,既可以起到支撑所述载物台510的作用,又可以使其移动更加顺畅。所述x轴步进电机221控制所述第一滑动连接结构的丝杠转动,丝杠带动套在其上的滑块移动,所述滑块带动所述载物台510直线运动,所述载物台510通过所述载物台垫块810在所述滑块两侧的滑轨上顺畅滑动,实现了所述载物台510在x轴方向上的移动。

所述支撑台610的底部的两侧可以分别连接有支撑台垫块820,两个所述支撑台垫块820分别位于所述第二滑动连接结构的两个滑轨的正上方,且所述支撑台垫块820底部可以设置有凹槽,所述支撑台垫块820的凹槽与所述第二滑动连接结构的滑轨配套,以使所述支撑台垫块820连带所述支撑台 610在所述第二滑动连接结构的滑轨上滑动。

所述支撑台垫块820与所述支撑台610的底部通过焊接或者螺丝固定等方式进行连接,使其成为一个整体。通过所述支撑台垫块820在所述第二滑动连接结构的两个滑轨上方滑动,减小摩擦,既可以起到支撑所述支撑台610 的作用,又可以使其移动更加顺畅。所述y轴步进电机控制所述第二滑动连接结构的丝杠转动,丝杠带动套在其上的滑块移动,所述滑块带动所述支撑台610直线运动,所述支撑台610通过所述支撑台垫块820在所述滑块两侧的滑轨上顺畅滑动,实现了所述支撑台610在y轴方向上的移动。

当所述y轴步进电机工作而所述x轴步进电机不工作时,可以实现y轴步进电机通过控制所述第二滑动连接结构,控制所述支撑台610移动,由于所述支撑台610上的所述第一滑动连接结构会随所述支撑台610移动,因此,会带动与所述第一滑动连接结构连接的所述载物台510随所述支撑台610移动,从而实现了所述载物台510在y轴方向上的运动。

根据本实用新型的一种实施方式,还可以包括第三滑动连接结构、安装板840,所述安装板840与所述底板620垂直,并通过焊接或者螺丝固定等方式固定在所述底板620上。所述第三滑动连接结构可以连接于所述镜头支架530的另一端与所述z轴步进电机之间。

所述第三滑动连接结构可以包括z轴丝杠831、z轴滑块832、z轴支架 834、两个z轴滑轨833,所述镜头支架530的另一端可以与所述z轴滑块832 相连接。所述z轴丝杠831的一端与所述z轴步进电机相连,可以通过所述z 轴支架834固定在所述安装板840的一面上,所述轴丝杠831的另一端可以固定在所述底板620上,也可以通过支架固定在所述安装板840上,以使所述z轴丝杠可以垂直于地面;所述两个z轴滑轨833与所述z轴丝杠831平行,也垂直于地面,并分别设置于所述z轴丝杠831的两侧,并与所述z轴丝杠831固定于所述安装板840的同一面上;所述z轴滑块832套在所述z 轴丝杠831上,所述z轴滑块832的两个侧面具有与所述z轴滑轨833配套的轨道纹路,以使所述z轴滑块832可以夹在所述两个z轴滑轨833之间滑动,并沿所述z轴丝杠831在竖直方向上下移动。所述z轴步进电机控制所述z轴丝杠831转动,带动所述z轴滑块832上下滑动,从而带动所述镜头支架530上下移动。实现了所述镜头安装座520在z轴方向上的移动控制。

所述第三滑动连接结构的另一种实施方式可以包括z轴立柱、z轴支架、两个z轴滑轨,所述z轴立柱垂直于地面设置,所述z轴支架用于支撑和固定所述z轴立柱在所述安装板840上,所述z轴步进电机可以为穿心电机套在所述z轴立柱上,并可以沿所述z轴立柱上下移动。所述镜头支架530的另一端与所述穿心电机相连,以使所述穿心电机控制所述镜头支架530以及镜头安装座520在竖直方向上下移动。所述z轴步进电机的两侧具有与所述z 轴滑轨配套的轨道纹路,以使所述z轴步进电机可以夹在所述两个z轴滑轨之间上下滑动。

根据以上技术方案,可以实现所述载物台在x轴和y轴方向上的移动,以及所述镜头安装座在z轴方向上的移动,从而实现了所述载物台和所述镜头安装座在三维空间上的相对移动。

根据本实用新型的一种实施方式,所述第三滑动连接结构还可以与所述第二滑动连接结构相连,且所述第二滑动连接结构不与所述支撑台连接,以使所述第三滑动连接结构可以沿所述第二滑动连接结构的y轴方向上移动。例如所述第三滑动连接结构设置与所述第二滑动连接结构的两个滑轨上,并与所述第二滑动连接结构的滑块相连。所述第一滑动连接结构仍保持与所述载物台的连接,以带动所述载物台在x轴方向上的运动。根据本实施方式,可以实现所述镜头安装座在y轴和z轴方向上的移动,所述载物台在x轴方向上的移动,从而实现所述镜头安装座与所述载物台在三维空间上的相对移动。

根据本实用新型的一种实施方式,还可以包括可编程逻辑控制器 PLC850、步进电机驱动器860、电源、盖子盒870。其中,所述PLC850、所述步进电机驱动器860、所述电源可以分别设置于所述安装板840的另一面上;所述盖子盒870为盒状结构,通过在所述安装板840的另一面与所述安装板840通过焊接或者螺丝固定等方式进行连接,以使所述安装板840另一面的各设备处于所述盖子盒870中。所述PLC850可以包括一个或者多个。所述步进电机驱动器860可以包括一个或者多个,并可以与步进电机的数量相同并一一对应。所述盖子盒870用于对其中的各设备进行保护,例如防尘保护等。

所述步进电机驱动器860与对应的步进电机相连,以驱动所述步进电机运动。所述PLC与上位机相连,以接收控制命令,所述PLC与所述步进电机驱动器相连,并根据接收到的控制命令控制所述步进电机驱动器。所述 PLC850还可以更换为单片机。

根据本实用新型的一种实施方式,还可以包括四个支撑脚880,所述四个支撑脚880分别安装于所述底板620底部的四角,以支撑所述底板620及其上的各部件。所述四个支撑脚880可以为可调式支撑脚,能够调节所述底板620距离地面的高度。

根据本实用新型的一种实施方式,还可以包括光电位置传感器,所述光电位置传感器设置于所述底板620上的所述第二滑动连接结构的一侧,以感测所述支撑台610或所述载物台510的位置。所述光电位置传感器相应时间短。通过判定所述光电位置传感器感测的信息来确定所述支撑台610或者所述载物台510的实际位置,避免出现过运动状态。所述光电位置传感器还可以通过位置判断确保装置在启动之前能够处于相对零点位置状态,以保证装置每次运行的位置准确。例如,所述光电位置传感器通过一个发光体发出一束很细的不可见光,光斑直径在几十微米左右,规定位置有个接收器,当接收器接收到光,说明装置回到零点。

根据本实用新型的一种用于ID图像识别的装置的机械结构件可以采用铝合金加工而成,保证装置的牢固性和轻便性。

下面结合图9~图13对本实用新型的一个实施例进行说明。图9示出了根据本实用新型的一个实施例中一种微米级ID图像识别系统与IMMP平台相连后操作界面示意图。图10示出了根据本实用新型的低倍大视场摄像头的视场示意图。图11示出了根据本实用新型的一个实施例中识别第一个待测物品ID时上位机的显示界面示意图。图12示出了根据本实用新型的一个实施例中依次识别待测物品ID时上位机的显示界面示意图。图13示出了根据本实用新型的一个实施例中全部待测物品ID识别完成时上位机的显示界面示意图。

其中,图11中所示界面的左上角“图像实时显示区”为操作过程中所选择视场的实时显示图像。右上角的“识别后显示区”则会将识别完成的ID根据待测物品所处的位置,将它们的ID依次显示到该区域的每个方格中;例如有两类包装盒可以选择,它们对应的排布形式分别为“6×5”和“16×10”,选择某一种排布形式后,上面的显示区也会改变为对应的方格模式。

中间有四个按钮,分别为“关闭/开启摄像头”、“开始”、“结束”、“设置起始点”,其中“关闭/开启摄像头”控制是否开启“图像显示区”功能,如果关闭,则该区域不实时显示视场内容,反之开启则实时显示;“开始”则是系统开始自动识别工作;“结束”则强制停止正在进行的识别工作;“设置起始点”则对系统进行起始点设置。左下角的“产品信息区”内容,是由系统自动读取IMMP系统中生产工单的内容显示在这个地方,不能进行修改。界面下部分中间区域的“手动控制区”用于系统设置、研发、调试等工作,该区域需要被授予一定权限的员工才可以操作。界面右下角是识别计数、提示和统计分析区域。

根据本实用新型的一个实施例,一种微米级ID识别系统,包括上位机、 PLC、低倍大视场摄像头、高倍显微镜、x轴步进电机、y轴步进电机、z轴步进电机,其中,x轴步进电机和y轴步进电机控制载物台的移动,z轴步进电机控制低倍大视场摄像头和高倍显微镜同时移动,还可以根据需要连接 IMMP平台、以及设置上位机软件等,从而可以实现微米级ID图像的自动化识别,实际应用过程中可以包括以下操作:

1)系统准备工作。包括打开插板开关、打开电脑(上位机)、开启音响、控制步进电机驱动器显示绿光表示连接无误、检查设备供电正常等。将盛放有待测物品的包装盒整体防止在装置的载物台上,放置时盒子的边角要与载物台上的定位槽对齐。

2)如果连接有IMMP平台,可以在IMMP平台上选择识别系统。

例如,进入生产状态后,操作人员登录IMMP平台ID测试人员的账户,进入设置功能,如图9所示的界面,工序设定为“ID识别”,在框中的下拉选项中选择本工序所使用的软件,例如“ID识别系统”软件,此时,IMMP 平台将自动打开与之连接的ID识别系统的上位机软件,相应的数据交互会在后台接口自动完成。

3)开启摄像头和显微镜。

同时保持低倍大视场摄像头和高倍显微镜的打开状态。在识别系统工作状态下,只要是摄像头和显微镜处于开启状态,之后的操作无需再点击摄像头开启按键。

4)起始点位置设置并进行整体排布判断。

可以打开ScopePhoto软件或者上位机软件,选择低倍大视场摄像头,在设置选项中将视频流格式选为640×480。

在上位机中发布“设置起始点”的命令,系统会自动控制低倍大视场摄像头进行视场调整,直到能够清楚的看到产品整体状况,包括包装盒大小和位置、所盛放待测物品的大小、数量、排布方式和位置等信息,上位机上可以显示出低倍大视场摄像头的视场图像类似于图10中所示,可以看出,在本实施例中,待测物品以6×5的排布形式放置在包装盒中。从图10中可以完整并清楚的观察到待测物品的整体状况。此时识别系统下方显示有三个坐标值,如图11中所示,系统会将这三个数记录下来自动修改系统的起始点位置。

今后只要不做新的起始点校准,那么之后使用中只要再点击复位按钮后,系统控制低倍大视场摄像头会自动移动到这个起始点位置。

5)识别第一个待测物品ID。

在图11所示的上位机软件界面上点击“开始”按钮。如果包装盒放置的位置非常不正超出系统识别范围的情况下,在点击“开始”按钮后会提示是否对准定位槽,调整一下包装盒位置使之进入规定位置,然后再次点击“开始”按钮即可。

系统会根据低倍大视场摄像头确定的待测物品的大概位置,将控制信号通过数据总线发送至PLC,PLC转化成正负控制脉冲给x轴步进电机和y轴步进电机,使之按照要求带动载物台在平面上移动,直到高倍显微镜能够找到第一个待测物品的位置,然后微调x轴步进电机和y轴步进电机,同时通过高倍显微镜对待测物品ID进行初步识别,以使所述待测物品ID可以完全进入到所述高倍显微镜的视场内,此时ID图像可能不一定是清楚的。

如果ID图像不清楚,可以通过微调z轴步进电机,直到高倍显微镜的焦点落在待测物品ID上,使ID图像清晰的呈现出来,系统可以对完整并清晰的待测物品ID进行拍照和存储。拍照存储下来的图片经过系统的计算和处理,或者由图像训练平台进行处理,最终确定该ID的实际内容。

6)识别其他ID。

在完成识别第一个待测物品ID之后,系统会控制x轴步进电机和y轴步进电机带动载物台移动,使高倍显微镜可以观察到下一个待测物品的位置,然后重复上述步骤5),就可以依次完成所有待测物品ID的识别工作。

识别的过程界面可以如图12所示,右侧的黑色窗口部分会全程显示系统在整个调整过程的进程,直到每次清晰的识别出ID信息,该黑色窗口关闭。

7)识别结束。

当一盒待测物品ID识别工作结束后,会弹出“该盒芯片已检测完毕”的窗口,如图13所示,并且音响会持续发声提示,点击对话框中的确定可关闭提示音。显示区下方会提示总数和识别数量,结果会有三种状态:a.正常状态的黑色ID码;b.红色边框的有漏缺的ID码;c.红色实心框无ID码。

识别完成后,上位机可以在后台与IMMP平台进行识别数据交互,将数据写入数据库,以供后续工作使用。

本实用新型的优点在于:

1)根据本实用新型的技术方案,可以代替人工用显微镜肉眼识别和记录芯片ID的工作,实现自动识别和记录,识别效率可以提高10倍以上,相当于节省了百分之九十的人力资源;降低了对操作人员的技术要求,原来人工显微镜肉眼识别需要操作人员具有非常熟练的工作技能,培训时间长、成本高,而使用本实用新型的系统之后,基本不需要复杂的员工培训,只需要取放盒子的简单操作即可;同时也大大提高了识别和记录的准确度,提高了了工作效率。在不低于一万次的识别验证中,尚未出现识别错误的情况发生,而与之对比的人工识别错误率一般不低于百分之一。

2)根据本实用新型的技术方案,通过大视场摄像头和高倍显微镜相结合的二次成像定位,解决了因芯片包装盒不同、ID位置不同造成的无法自动定位的问题。

3)根据本实用新型的技术方案,通过精准控制三维步进电机并配合二次成像定位,实现了完全自动化识别微米级ID的批量化操作,生产效率大幅度提高。

4)根据本实用新型的技术方案,通过图像训练平台对不能识别的ID类型进行的深度训练,解决了因不同批次和不同厂家使用不同种类或不同形态的字符造成的识别困难,进一步提高了识别的准确度。

5)根据本实用新型的技术方案,所述系统还可以与智能制造管理平台 IMMP连接,完成ID识别工序与前后工序的系统控制衔接,实现IMMP管控下的全自动生产。

6)配置一套本系统的成本一般不高于5万元人民币,价格非常的低廉,适合于大批量生产配置。而国外进口即使上百万的设备也还不能达到与本实用新型相同的技术效果,根据本实用新型的系统的优势十分明显。

应该注意的是,上述实施例对本实用新型进行说明而不是对本实用新型进行限制,并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中,不应将位于括号之间的任何参考符号构造成对权利要求的限制。

当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1