一种电子扫描显微镜图像的图形尺寸自动测量方法与流程

1.本发明涉及电子数据处理技术领域，尤其涉及一种电子扫描显微镜图像的图形尺寸自动测量方法。


背景技术：

2.ocr文字识别是指电子设备检查图像或纸上打印的字符，然后用字符识别方法将形状翻译成计算机文字的过程。
3.传统sem图像图形的测量主要有两种方式，一种是用与扫描电子显微镜配套的程序接收图像以及传出的参数文档(包含日期、大小、像素尺寸等等信息)来对图形进行量测；另一种是只有sem图形没有参数文本的时候，根据图片中的标尺或者利用一些图形采集测量软件进行参数测量，一般需要自己手动标定图像像素尺寸，同时关于需要量测的线条边缘位置也需要手动给定。
4.但很多时候由于没有相应的参数文件，对sem图的量测只能选取后者的方式，这样在实际处理时，手动量测方式不利于获得大量数据，需要更加深入探究，所需时间较长，图形量测效率低。


技术实现要素：

5.本发明的目的在于提供一种电子扫描显微镜图像的图形尺寸自动测量方法，旨在解决现有手动标定图像像素尺寸所需时间长，图像测量效率低的问题。
6.为实现上述目的，本发明提供了一种电子扫描显微镜图像的图形尺寸自动测量方法，包括以下步骤：
7.对电子扫描显微镜图像进行预处理，得到待测图像；
8.利用ocr文字识别所述待测图像，得到识别数据；
9.基于所述识别数据计算所述待测图像的像素尺寸；
10.对所述待测图像的边缘进行提取，得到边缘信息；
11.基于所述边缘信息对所述图像的图形线宽进行测量，得到像素距离；
12.结合所述像素尺寸和所述像素距离，完成对图像的图形尺寸测量。
13.其中，所述对电子扫描显微镜图像进行预处理，得到待测图像的具体方式：
14.将电子扫描显微镜图像转化为灰度图像；
15.对所述灰度图像进行二值化处理，设定高阈值并分割标尺信息，得到处理图像；
16.对所述处理图像长宽进行调整，得到所述待测图像。
17.其中，所述利用ocr文字识别所述待测图像，得到识别数据的具体方式：
18.对所述待测图像进行裁剪，得到裁剪图像；
19.利用ocr文字识别对所述裁剪图像进行文字识别处理，得到识别文本；
20.对所述识别文本进行正则化处理，得到识别数据。
21.其中，所述基于所述识别数据计算所述待测图像的像素尺寸的具体方式：
22.对所述识别数据进行单位换算，得到统一单位；
23.基于所述统一单元对所述待测图像进行标尺像素距离测量，得到单位标尺的像素距离；
24.基于所述单位标尺的像素距离和识别到的数据计算像素对应的真实尺寸，得到像素尺寸。
25.其中，所述对所述待测图像的边缘进行提取，得到边缘信息的具体方式；
26.对所述待测图像进行滤波处理，得到滤波图像；
27.差分计算所述滤波图像幅值，并进行非极大值抑制，得到像素梯度；
28.基于所述滤波图像对比度选取对比阀值；
29.将所述像素梯度与所述对比阀值进行对比，选取高于所述对比阀值的所述像素梯度，得到边缘信息。
30.本发明的一种电子扫描显微镜图像的图形尺寸自动测量方法，对电子扫描显微镜图像进行预处理，得到待测图像；利用ocr文字识别所述待测图像，得到识别数据；基于所述识别数据计算所述待测图像的像素尺寸；对所述待测图像的边缘进行提取，得到边缘信息；基于所述边缘信息对所述图像的图形线宽进行测量，得到像素距离；结合所述像素尺寸和所述像素距离，完成对图像的图形尺寸测量，该方法仅需人工指定要量测的目标，其余部分如边缘界定、标尺识别、线宽测量等交予机器处理，避免了人眼观测或者标定不准确带来的误差，更加便捷，不需要对每张图片先进行手动的像素尺寸标定再进行测量，提高图像测量的效率和测量准确率，并且对测量结果还能进一步分析，本发明采用ocr识别方法，来对sem图像的标尺信息进行自动识别。本发明主要利用了开源的python模块——easyocr来进行文字识别，该模块能够以较高的准确度识别图片中文本信息，相对于其他一些ocr识别软件，其模块占用空间很小并且不需要下载额外的引擎，easyocr的检测模型采用的是craft(characterregion awareness fortext detection)算法这是一种可以定位单个字符区域，并将检测到的字符链接成文本的方法，craft设计了一个深度神经网络，采用vgg16作为backbone，解码部分有类似u-net的跳连结构，有助于聚合深层和浅层的特征。最终输出的2个通道，来预测像素：区域得分(region score)，表示每个像素是字符中心的概率；亲和度得分(affinity score)，表示相邻字符之间空间的中心概率，用于将字符链接到一个组中，easyocr的识别模型采用了crnn文本识别模型，crnn是一种简单高效的文本识别模型。其优点在于容易训练，模型容易收敛，且鲁棒性较高。易于部署，模型结构简单，适合文本长度变化较大的生产环境。crnn模型是由图片特征提取层(cnn)、序列化建模层(bilstm)以及解码层(ctc)组成。解决现有手动标定图像像素尺寸所需时间长，图像测量效率低的问题。
附图说明
31.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
32.图1是canny算子的流程示意图。
33.图2是对电子扫描显微镜图像进行预处理，得到待测图像的示意图。
34.图3是截取的右下角图片的比例尺信息。
35.图4是对所述待测图像的边缘进行提取，得到边缘信息的示意图。
36.图5是基于所述边缘信息对所述图像的图形线宽进行测量，得到图像线宽的示意图。
37.图6是本发明提供的一种电子扫描显微镜图像的图形尺寸自动测量方法流程图。
具体实施方式
38.下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
39.请参阅图1至图6，本发明提供一种电子扫描显微镜图像的图形尺寸自动测量方法，包括以下步骤：
40.s1对电子扫描显微镜图像进行预处理，得到待测图像；
41.具体的，对电子扫描显微镜图像进行预处理，为标尺信息识别做准备。
42.具体方式：
43.s11将电子扫描显微镜图像转化为灰度图像；
44.s12对所述灰度图像进行二值化处理，设定高阈值并分割标尺信息，得到处理图像；
45.具体的，图像做二值化处理，设定高阈值，分割出标尺信息。图像的标尺信息是扫描电子显微镜软件在生成灰度图像时用白色标注在图片上的，其灰度值一般为最大值255。考虑到实际得到图片不一定为原图存在一定失真，将阈值设定在240，灰度值高于该值的点设定为255，低于该值的点置为0。这样可以滤除图形图像只留下标尺信息。
46.s13对所述处理图像长宽进行调整，得到所述待测图像。
47.具体的，将所述处理图像的长宽调整为固定值640*480。本实验所用sem图像的大小为640*480和1280*960，即横纵比为4比3。sem图像的标尺信息打印在sem图像的固定位置上，对于固定长宽的图像来说，就是位于固定坐标位置的区域的，因而对于不同大小的图片调整到统一长宽有利于用统一坐标区域来处理图像。
48.s2利用ocr文字识别所述待测图像，得到识别数据；
49.具体的，用于识别所述待测图像标尺的文字信息，即标尺长度对应实际长度。
50.具体方式：
51.s21对所述待测图像进行裁剪，得到裁剪图像；
52.具体的，对所述待测图像裁剪，截取图像右下角部分，即包含比例尺的部分进行处理。
53.s22利用ocr文字识别对所述裁剪图像进行文字识别处理，得到识别文本；
54.具体的，对截取部分，导入python的easyocr库函数进行文字识别处理，得到识别后的文字。
55.s23对所述识别文本进行正则化处理，得到识别数据。
56.具体的，将识别后的文本进行处理。标尺的文字信息分为两部分，一部分是数值部分，一部分是单位部分。例如标尺文字信息为“2.00um”前者2.00是数值，后者um为单位。利
用re正则化，将这两部分分开，分别存入两个变量中。
57.s3基于所述识别数据计算所述待测图像的像素尺寸；
58.具体方式；
59.s31对所述识别数据进行单位换算，得到统一单位；
60.具体的，在上一步的文本处理中，一般sem图的单位有两种，分别为um和nm。在本发明中将单位统一为nm，即对于识别到的um，其对应数值会被乘上1000。例如2.00um会被换算为2000nm。
61.s32基于所述统一单元对所述待测图像进行标尺像素距离测量，得到单位标尺的像素距离；
62.具体的，sem图像右下角的标尺为十段等间隔的白线，十段的距离之和为其文字信息所示的距离，对于上述图片来说就是最左端白线到最右端白线之间距离为400nm，相当于每相邻两条白线之间距离为40nm。这样我们只要知道相邻两条白线之间的像素距离，就能换算得到图像的像素尺寸。
63.在图像固定高度处(此处设定为28)进行水平方向扫描，将灰度值为255的位置记录，即为标尺所在位置。标尺信息在图上位置是固定的，这里选取的28这个高度值恰好位于线段中部。
64.根据记录的坐标得到相邻两条白线之间距离。由于一条白线一般占据两个像素值，但是在图片大小调整的缩放过程中可能产生一条白线只有一个像素或者三个像素值的状况，所以要加入一个判断——相邻过近的两个位置属于同一条白线。例如记录下的坐标位置为(45，46，85，86，
……
)则其中“45，46”两个坐标位置被认为是同一条线。而当顺序遍历下去遇到“85”时，这个坐标与前一个坐标位置并不紧邻，认定为是下一条线段，以此计算出相邻两条线段的坐标差(即为像素距离)。
65.s33基于所述单位标尺的像素距离和识别到的数据计算像素对应的真实尺寸，得到像素尺寸。
66.具体的，根据前面得到“每格标尺的物理距离”除以“像素距离”即可以得到每个像素点对应的实际尺寸。
67.s4对所述待测图像的边缘进行提取，得到边缘信息；
68.具体的，基于canny算子(用于检测和提取要量测图形的边缘的常用方法)提取图像边缘，为下一步测量线宽做准备。
69.具体方式：
70.s41对所述待测图像进行滤波处理，得到滤波图像；
71.具体的，对原始图像进行图像滤波。本文采用了非局部均值滤波与高斯滤波结合的方式对图像进行滤波，实际使用效果比单用高斯滤波更好。非局部均值滤波计算矩形窗口内所有像素点的像素值加权和，权重服从高斯分布，其使用当前滤波点的邻域块与矩形窗口内其它点的邻域块的相似度来计算权重，相似度越大则权重越大。
72.s42差分计算所述滤波图像幅值，并进行非极大值抑制，得到像素梯度；
73.具体的，差分计算幅值和方向，使用sobel算子作为梯度算子，分别在x和y方向上计算梯度，并得到梯度的方向，沿着梯度方向对幅值进行非极大值抑制，在每一点上，领域中心x与沿着其对应的梯度方向的两个像素相比，若中心像素为最大值，则保留，否则中心
置0。
74.s43基于所述滤波图像对比度选取对比阀值；
75.具体的，根据图像的对比度，选择合适的上下阈值，这里实际设置的下阈值要偏大，这样可以主要保留图形的外边缘，忽略内边缘的影响。
76.s44将所述像素梯度与所述对比阀值进行对比，选取高于所述对比阀值的所述像素梯度，得到边缘信息。
77.具体的，将所述像素梯度与所述对比阀值进行对比，如果某一像素的梯度值高于高阈值，则保留；如果某一像素的梯度值低于低阈值，则舍弃；如果某一像素的梯度值介于高低阈值之间，则从该像素的8邻域的寻找像素梯度值，如果存在像素梯度值高于高阈值，则保留，如果没有，则舍弃，从而得到图形的边缘信息，并保存。
78.s5基于所述边缘信息对所述图像的图形线宽进行测量，得到像素距离；
79.具体的，在原始图像上鼠标框选要测量的部分，这一步主要调用opencv里的鼠标事件回调函数来实现。量测对象仅针对单个图形或者两个图形之间区域，若选定区域包含多根线条图形则会出错，根据选定区域的坐标位置，在得到的边缘提取后图像中截取对应部分图形，对于截取部分图形，执行以下操作，在某一竖直高度h下，沿着水平方向进行扫描，记录第一个值为255和最后一个值为255的点位置记为xl[h]，xr[h]。这两个点即为图形左右边缘所在位置，遍历截取部分所有高度，重复上述步骤。得到每一个高度下，图形左右边缘的位置，在每个高度下用得到的右边缘位置水平坐标，减去左边缘水平坐标，得到该高度下线宽的像素距离，将所有高度下的像素距离累加起来并求平均，得到平均像素距离，更进一步的，还可以实现对于边缘粗糙(ler)以及线宽粗糙度(lwr)的量测。
[0080]
s6结合所述像素尺寸和所述图像线宽，完成对图像的图形尺寸测量。
[0081]
具体的，用平均像素距离乘以像素尺寸，即可得到图形线宽的实际距离，即完成对图像的图形尺寸测量(上述流程一样可以用测量间距，只要选定的范围是两个一维图形之间)。
[0082]
以上所揭露的仅为本发明一种专利名称较佳实施例而已，当然不能以此来限定本发明之权利范围，本领域普通技术人员可以理解实现上述实施例的全部或部分流程，并依本发明权利要求所作的等同变化，仍属于发明所涵盖的范围。