用于材料表征图像分析的视觉模型及其分析方法

本发明涉及材料表征图像分析技术领域，尤其涉及一种用于材料表征图像分析的视觉模型及其分析方法。

背景技术：

材料组分决定微观结构，微观结构决定宏观理化性质。近年来，原子力显微镜(afm)、扫描透射电子显微镜(stem)以及冷冻电镜(cryo-sem)等高端表征技术的最新进展使人们能够以原子级的空间分辨率观察材料的微观演化规律，这些手段与高速摄像技术的耦合更是提高了表征技术的时间分辨率，这使得原子级别的动力学现象得以直接观测。原位电镜研究的物理化学现象已经非常广泛，包括缺陷演化、位错迁移、物相转化等，甚至可以观测电磁热力多场耦合极端冲击条件下的瞬态物相变化。

然而，材料科学表征的成功不仅需要探索性的研究和仪器的改进，还需要将这些仪器所产生的大量数据及时有效地处理，以推断描述材料微观结构的动力学和热力学等特定信息。虽然高时空分辨率材料数据采集的能力在不断提升，从这些高端表征图像中推断出的关于过程动力学和热力学的信息却很少，人工分析在体量和速度上的固有局限性阻碍了高端表征技术的深层次利用。因此，亟需开发一个针对材料表征图像的视觉模型，从而代替人工对材料表征图像进行自动分析。

公开号为cn112132785a的专利提供了一种二维材料的透射电镜图像识别、分析方法及系统。该专利通过将透射电镜图像中像素大于设定阈值的像素点确定为原子中心，并根据透射电镜图像和原子半径，采用多条等高线的多椭圆拟合法确定原子位置，进而将原子进行连接，得到原子结构图，并以此确定二维材料的形貌、角度以及键长。然而，该专利提供的方法仅能用于对二维材料的透射电镜图像进行分析，适用范围较窄；且对于原子位置的识别需要已知原子半径才能进行，对于未知的透射电镜图像则难以自动进行识别，实际应用受限。

有鉴于此，有必要设计一种改进的用于材料表征图像分析的视觉模型及其分析方法，对不同尺度下的各类微观表征图片进行自动分析，实现对材料微观缺陷的检测和跟踪，并进一步从这些观察结果中提取微观结构反应机理，以解决上述问题。

技术实现要素：

针对上述现有技术的缺陷，本发明的目的在于提供一种用于材料表征图像分析的视觉模型及其分析方法。通过对显微图像大数据进行收集与标记，构建材料表征图像数据集；并利用该数据集进行高通量深度学习，构建基于深度学习的神经网络模型和动态统计模型，对原子或晶格缺陷进行识别与定位，并自动标注晶格间距、分类统计材料微观颗粒的真实形态、定量分析材料的组织动力学，实现对材料表征图像的自动化高通量分析。

为实现上述目的，本发明提供了一种材料表征图像的分析方法，包括如下步骤：

对材料表征图像样本进行收集与标记，构建材料表征图像数据集；

建立初始神经网络模型，并利用所述材料表征图像数据集对其进行训练，得到基于深度学习的神经网络模型；并构建动态统计模型；

将待分析的材料表征图像输入所述基于深度学习的神经网络模型和所述动态统计模型中，并对输出的结果进行识别与分析，完成原子识别和晶面间距标注、微观颗粒形貌统计以及微观结构运动轨迹跟踪。

作为本发明的进一步改进，所述材料表征图像数据集包括由标记有原子种类和晶体结构参数的第一材料表征图像组成的第一数据集、由标记有微观颗粒的边缘和中心点的第二材料表征图像组成的第二数据集以及由标记有微观结构特征的第三材料表征图像组成的第三数据集。

作为本发明的进一步改进，所述基于深度学习的神经网络模型包括由所述第一数据集训练得到的第一神经网络模型以及由所述第二数据集训练得到的第二神经网络模型。

作为本发明的进一步改进，所述第一神经网络模型的训练包括如下步骤：

s1、将所述第一数据集内任一所述第一材料表征图像的像素矩阵输入所述初始神经网络模型中，像素值依次经卷积层、池化层、全连接层和全卷积层运算后，得到输出像素矩阵；

s2、将步骤s1得到的所述输出像素矩阵与步骤s1中使用的所述第一材料表征图像的像素矩阵对比，并计算损失函数值；

s3、重复步骤s1～s2，将所述第一数据集内的其他所述第一材料表征图像的像素矩阵依次输入所述初始神经网络模型中，得到与每张所述第一材料表征图分别对应的损失函数值；再根据各损失函数值计算损失梯度，并采用链式法对所述初始神经网络模型中的网络参数进行调整，得到调整后的神经网络模型；

s4、以所述调整后的神经网络模型代替所述初始神经网络模型，重复步骤s1～s3对所述网络参数进行调整，直至得到的损失函数值处于预定的阈值范围内，即完成对所述第一神经网络模型的训练。

作为本发明的进一步改进，所述第一神经网络模型输出的结果包括分割后的原子图像、晶格图像以及识别的原子种类和晶体结构参数，所述晶体结构参数包括晶面间距、晶胞参数和晶向；对所述第一神经网络模型输出的结果进行识别与分析时，还包括对原子缺陷和晶格缺陷类型的判断。

作为本发明的进一步改进，所述第二数据集内的所述第二材料表征图像根据如下方式得到：

对含有微观颗粒的材料表征图像进行降噪预处理后，将图像中的所述微观颗粒与背景分离，并对每个所述微观颗粒的边缘和中心点进行人工标注；

当所述微观颗粒相互重叠或邻接时，采用多种图像变换方式对其进行分离与提取。

作为本发明的进一步改进，所述第二神经网络模型用于对所述微观颗粒的边缘和中心进行识别与分离，并输出所述微观颗粒的形态特征；所述形态特征包括等效直径、面积、周长和曲率；对所述第二神经网络模型输出的结果进行识别与分析时，还包括建立所述形态特征与材料宏观性质之间的关联数据库。

作为本发明的进一步改进，所述第三数据集内的所述第三材料表征图像中标记的所述微观结构特征包括微观结构的轮廓和类别；所述动态统计模型用于对所述第三数据集或所述第二神经网络模型输出数据中的微观结构的位置及去向进行识别与跟踪。

作为本发明的进一步改进，所述动态统计模型输出的结果包括微观结构的运动轨迹；对所述动态统计模型输出的结果进行识别与分析时采用了非监督的方式，用于识别与不同能量状态的材料结构，并根据所述运动轨迹定量分析材料的组织动力学，以便对材料的宏观特性进行计算与推导。

为实现上述目的，本发明还提供了一种用于材料表征图像分析的视觉模型，包括用于完成原子识别和晶面间距标注的第一神经网络模型、用于统计微观颗粒形貌的第二神经网络模型以及用于跟踪微观结构运动轨迹的动态统计模型。

本发明的有益效果是：

(1)本发明通过对显微图像大数据进行收集与标记，构建了材料表征图像数据集；并利用该数据集进行高通量深度学习，构建了基于深度学习的神经网络模型和动态统计模型。在此基础上，本发明能够利用该神经网络模型和动态统计模型对材料表征图像进行处理，从而对材料表征图像中的原子或晶格缺陷进行识别与定位，并自动标注晶格间距、分类统计材料微观颗粒的真实形态、定量分析材料的组织动力学，实现对材料表征图像的自动化高通量分析。并且，通过对神经网络模型和动态统计模型输出结果的进一步识别与分析，还能够探寻宏观性质与微观形貌结构的对应关系，进而定量计算甚至推导宏观特性，并分析物相之间的转换概率，为微观材料的动力学和理化反应提供更深入的见解，从而更好的调控材料的宏观性质，推动材料学的理论发展和技术进步。

(2)本发明通过使用标记有原子种类和晶体结构参数对神经网络模型进行训练，并根据损失函数值不断调整网络参数，从而使训练后得到的第一神经网络具有较高的准确度，能够精确对比不同灰度间的微小差异，对材料表征图像中的原子及晶格进行准确识别与分割，并结合标尺信息自动完成对晶面间距及其他晶体结构参数的计算，进而对原子及晶格存在的缺陷进行识别与分类。

(3)本发明通过对材料表征图像中微观颗粒的边缘和中心点进行标记，再将这类数据集用于对第二神经网络模型的训练，并根据微观颗粒被分离和识别的误差不断调整其网络参数，以便使其能够准确地捕获颗粒边缘和中心位置。同时，本发明通过单独使用多种图像变换方法对重叠或邻接的微观颗粒进行准确分离，进一步提高了模型对微观颗粒进行形貌识别时的准确性。在此基础上，本发明能够对分离后的微观颗粒的等效直径、面积、周长、曲率等参数进行分析，并统计计算有效尺寸，进而构建有效尺寸与材料宏观性质之间的关联数据库。

(4)本发明通过构建动态统计模型对分割后的动态材料表征图像或第二神经网络模型输出的数据进行处理，能够根据各微观结构的特征对每个微观结构进行准确识别，并跟踪其位置和去向，形成微观结构的时空轨迹图，以便对单个粒子或团簇的运动轨迹进行分析。在此基础上，本发明还能够根据各微观结构的运动轨迹定量分析材料的组织动力学，进而计算甚至推导扩散系数、电导率、热导率和容量等宏观特性，为材料微观的动力学和理化反应提供更深入的见解。

附图说明

图1为本发明提供的材料表征图像的分析方法的主要流程示意图。

图2为本发明提供的分析方法中第一神经网络模型进行原子识别时的图像处理流程示意图。

图3为本发明提供的分析方法中第二神经网络模型识别微观颗粒形貌的流程示意图。

图4为本发明提供的分析方法中动态统计模型识别与跟踪微观结构运动轨迹的流程示意图。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面结合附图和具体实施例对本发明进行详细描述。

在此，还需要说明的是，为了避免因不必要的细节而模糊了本发明，在附图中仅仅示出了与本发明的方案密切相关的结构和/或处理步骤，而省略了与本发明关系不大的其他细节。

另外，还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。

本发明提供了一种材料表征图像的分析方法，其主要流程示意图如图1所示，具体包括如下步骤：

对材料表征图像样本进行收集与标记，构建材料表征图像数据集；

建立初始神经网络模型，并利用所述材料表征图像数据集对其进行训练，得到基于深度学习的神经网络模型；并构建动态统计模型；

将待分析的材料表征图像输入所述基于深度学习的神经网络模型和所述动态统计模型中，并对输出的结果进行识别与分析，完成原子识别和晶面间距标注、微观颗粒形貌统计或微观结构运动轨迹跟踪。

在本发明的一个实施例中，所述材料表征图像数据集包括由标记有原子种类和晶体结构参数的第一材料表征图像组成的第一数据集、由标记有微观颗粒的边缘和中心点的第二材料表征图像组成的第二数据集以及由标记有微观结构特征的第三材料表征图像组成的第三数据集。

其中，所述基于深度学习的神经网络模型包括由所述第一数据集训练得到的第一神经网络模型以及由所述第二数据集训练得到的第二神经网络模型。基于各神经网络模型采用的训练数据集不同，第一神经网络模型和第二神经网络模型对应的功能分别为：原子识别和晶面间距标注、微观颗粒形貌统计。同时，构建的动态模型被用于跟踪推断微观结构运动轨迹。

为了实现原子识别和晶面间距标注功能，在本发明的一个实施例中，具体采用了如下方式：

首先，对材料表征图像样本中不同材料的原子种类、晶体结构参数进行人工标注，构建第一数据集。

然后，建立初始神经网络模型，并随机初始化网络参数，再采用第一数据集对该神经网络模型进行参数训练，具体包括如下步骤：

s1、将所述第一数据集内任一所述第一材料表征图像的像素矩阵输入所述初始神经网络模型中，像素值依次经卷积层、池化层、全连接层和全卷积层运算后，得到输出像素矩阵；

s2、将步骤s1得到的所述输出像素矩阵与步骤s1中使用的所述第一材料表征图像的像素矩阵对比，并计算损失函数值；

s3、重复步骤s1～s2，将所述第一数据集内的其他所述第一材料表征图像的像素矩阵依次输入所述初始神经网络模型中，得到与每张所述第一材料表征图分别对应的损失函数值；再根据各损失函数值计算损失梯度，并采用链式法对所述初始神经网络模型中的网络参数进行调整，得到调整后的神经网络模型；

s4、以所述调整后的神经网络模型代替所述初始神经网络模型，重复步骤s1～s3对所述网络参数进行调整，直至得到的损失函数值处于预定的阈值范围内，即完成对所述第一神经网络模型的训练。

通过上述参数训练过程，能够使训练后得到的第一神经网络模型具有较高的准确度，从而精确对比不同灰度间的微小差异，对材料表征图像中的原子及晶格进行准确识别与分割，并结合标尺信息自动完成对晶面间距及其他晶体结构参数的计算。基于此，第一神经网络模型输出的结果包括分割后的原子图像、晶格图像以及识别的原子种类和晶体结构参数，所述晶体结构参数包括晶面间距、晶胞参数和晶向。

对所述第一神经网络模型输出的结果进行识别与分析时，还能够利用网络的泛化能力对原子缺陷和晶格缺陷类型进行判断。具体地，由于缺陷位置的存在会破坏晶格的周期性排布，因此初步定为只需要利用傅里叶变换等频域方法捕捉低频信号并标记为缺陷，而后映射到真实图片中作为训练样本。然后再设计合适的损失函数，逐步优化网络模型参数，使之能从初步的标记中获取更高的准确率，从而实现对间隙或晶界等微观缺陷的分类和定位。

为了实现微观颗粒形貌统计功能，在本发明的一个实施例中，以纳米颗粒为例，具体采用了如下方式：

作为本发明的进一步改进，所述第二数据集内的所述第二材料表征图像根据如下方式得到：

首先，对含有纳米颗粒的材料表征图像进行降噪预处理后，选取合适的像素灰度阈值，对图像进行二值化处理，初步定义低于阈值的像素点均为颗粒；找出具有代表性的多个典型纳米颗粒图片作为比较基准，用初步定义的颗粒和典型颗粒进行对比，根据图像矩进行相似性比较，并进行不同圆度的计算，再按计算结果分配权重，建立综合评判指标。然后按照指标计算结果将颗粒和背景标记成不同颜色，将图像中的纳米颗粒从背景中分离出来，并对每个所述微观颗粒的边缘和中心点进行人工标注，构建第二数据集。

然后，按照与第一神经网络模型类似的方式使用第二数据集对初始神经网络进行训练，并以纳米颗粒被分离和识别的误差作为损失函数，得到第二神经网络模型。该第二神经网络模型既能够与第一神经网络模型一起对待处理的材料表征图像进行平行分析，也能够对第一神经网络模型输出的结果进行进一步处理，从而实现对微观颗粒的形貌统计。

在上述过程中，对于重叠或邻接的纳米颗粒，需要使用多种图像变换方法配合进行分离。在本发明的一个实施例中，首先使用第一神经网络模型输出的结果中确定的原子位置作为粗略的边界轮廓，统计颗粒或原子之间的平均间距或等效直径，并作为判断阈值。当颗粒中心或原子中心间距小于阈值时，可以被识别为重叠或邻接。这些纳米颗粒可以通过远距离变换、分水岭法等多种仿射变换方法进行位置变换和空间平移，达到分离的目的。最后从数据集中剔除变换后中心间距仍小于判断阈值的个别纳米颗粒图像。

通过上述方式，能够有效提高第二神经网络模型对纳米颗粒边缘和中心的识别效率及准确度，从而准确计算并输出纳米颗粒的等效直径、面积、周长和曲率等形态特征，以便统计计算有效尺寸。对所述第二神经网络模型输出的结果进行识别与分析时，即可将获取的形态特征与对应材料的宏观性质建立关联，以建立形态特征与材料宏观性质之间的关联数据库。

为了实现跟踪推断微观结构运动轨迹功能，在本发明的一个实施例中，具体采用了如下方式：

首先，将采集到的高速原子力显微镜采集的动态图像作为材料表征图像样本，使用labelme、keypoint、coco-annotator等软件在每一帧显微图像上勾勒特定微观结构的轮廓，并匹配对应名称，对轮廓和类别等微观结构特征实现像素级别的标注，构建第三数据集。为后续的语义分割和实例分割奠定数据基础。

然后，构建动态统计模型对第三数据集或第二神经网络模型输出的结果进行处理。动态统计模型能够根据各微观结构的特征对每个微观结构在动态过程中的位置和去向进行准确识别与跟踪，以输出微观结构的运动轨迹。其中，微观结构可以是单个粒子或团簇。

具体地，在本发明的一个实施例中，选择合适的非监督算法，如马尔科夫模型，贝叶斯推断法，高斯混合模型等，构建动态统计模型，对第二神经网络模型的输出结果进行处理，对动力过程中的组织结构形态，空间位置，运动速度等参量进行对比分析，将大量微观实体分类为少量不同能量状态的微观结构。然后重建完整的微观结构时空轨迹图，分离和分析微观结构的运动轨迹，深入研究微观结构中粒子行为的演变机制。

更具体地，在本发明的一个实施例中，采用了马尔科夫模型作为分析方法。首先，识别微观照片中海量的微观结构和缺陷特征，针对动力过程中的组织结构形态，空间位置，运动速度，形貌特征等参量进行对比分析，将大量微观实体分类为若干个不同能量状态的微观结构类。再统计每个微观结构类别的迁移速度，统计不同结构类之间的相互转化或者保留原始状态的概率，构建马尔科夫状态转移矩阵。而后，结合不同结构类别之间的能量差，总结系统内动力学过程的规律，并计算出这些统计值对应的宏观性质，如扩散系数，离子电导率，离子容量，透光系数等，实现微观图像的深入分析。

通过上述方式，动态统计模型能够实现对微观结构运动轨迹的跟踪与推断，从而以此对材料的组织动力学进行定量分析，进而计算甚至推导扩散系数、电导率、热导率和容量等宏观特性，为材料微观的动力学和理化反应提供更深入的见解。

基于上述材料表征图像分析方法，本发明构建了包括上述第一神经网络模型、第二神经网络模型和动态统计模型在内的用于材料表征图像分析的视觉模型。基于该视觉模型，本发明能够实现如下功能：

(1)自动定位单个原子或晶格缺陷，实现晶向判断和晶格间距自动标注；

(2)分类统计材料微观颗粒的真实形态，实现高通量显微图片分析，探寻宏观性质与微观形貌结构的对应关系，以便于精准调控材料的宏观性质；

(3)跟踪并推断原子团簇运动轨迹，定量分析材料的组织动力学，进而计算甚至推导扩散系数，电导率，热导率和容量等宏观特性。

综上所述，本发明提供了一种用于材料表征图像分析的视觉模型及其分析方法。本发明通过对显微图像大数据进行收集与标记，构建材料表征图像数据集；并利用该数据集进行高通量深度学习，构建基于深度学习的神经网络模型和动态统计模型，对原子或晶格缺陷进行识别与定位，并自动标注晶格间距、分类统计材料微观颗粒的真实形态、定量分析材料的组织动力学。通过上述方式，本发明能够实现对材料表征图像的自动化高通量分析，并根据材料的微观形貌及其微观动力学对材料的宏观性质进行计算与推导，有利于推动材料学的理论发展和技术进步，具有较高的实际应用价值。

以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围。