基于视觉联想机制的钢轨缺陷测量方法与流程

本发明涉及钢轨缺陷检测
技术领域：
，尤其涉及一种基于视觉联想机制的钢轨缺陷测量方法。
背景技术：
：随着列车运行速度提高、运输密度的提高，列车运行可靠性和安全性需求的提高，钢轨缺陷的检测成为近年来国内外研究的热点。国内外相关学者提出了很多富有建设性的方法并取得了一定成功，但是目前仍然存在环境适应性和鲁棒性差的缺点，且对于恶劣天气(如雾霾、雨雪等)下的钢轨缺陷识别难以获得令人满意的识别率，这已经严重制约了钢轨缺陷识别技术的发展。现有技术中的一种钢轨缺陷识别方法为采用统计的方法提取钢轨缺陷区域，该方法先把钢轨图像分成任意块，再用一阶灰度统计把钢轨图像块分为无缺陷和缺陷两类，从而检测出钢轨图像中的缺陷区域。该方法的缺点为计算结果的精度比较低。现有技术中的另一种钢轨缺陷识别方法为基于灰度直方图曲线的几何缺陷提取方法，该方法先统计钢轨表面图像的水平和垂直方向的灰度直方图，提取出钢轨表面图像中水平和垂直方向灰度都变化比较大的区域，再采用一种自适应的阈值分割方法提取缺陷区域。该方法的缺点为：只能得到缺陷的大致形状，提取的缺陷区域精度不高。技术实现要素：本发明的实施例提供了一种基于视觉联想机制的钢轨缺陷测量方法，以克服现有技术的缺点。为了实现上述目的，本发明采取了如下技术方案。一种基于视觉联想机制的钢轨缺陷测量方法，包括：提取钢轨图像中的多维度特征；通过神经元交互联想网络对所示钢轨图像的多维度特征进行联想分析，生成联想向量；在先验知识库中对所述联想向量进行匹配映射处理，得到所述联想向量对应的联想样本；利用决策函数对所述联想样本进行分析决策，得到联想结果，根据所述联想结果确定钢轨是否有缺陷。进一步地，所述的提取钢轨图像中的多维度特征，包括：获取待识别缺陷的钢轨图像，模拟视觉系统what通路中的v1-v4层，通过所述what通路中的v1-v4层提取所述钢轨图像中的多维度特征，基于上述多维度特征生成多维度特征向量，所述多维度特征包括：亮度、颜色、方向、纹理和信息熵特征，所述亮度、颜色、方向和信息熵特征分别采用均值、方差以及相应的高阶矩作为特征向量，所述纹理特征分别采用均值、能量、一致性、逆差矩、对比度和相关性作为特征向量，所述钢轨图像的所有多维度特征向量构成所述钢轨图像的多维度特征向量集。进一步地，所述的方法还包括：构建先验知识库，该先验知识库包括：记忆样本和与记忆样本对应的记忆符号，所述记忆样本包括无缺陷的钢轨目标图像和有缺陷的钢轨目标图像，所述记忆符号包括每个记忆样本的特征向量。进一步地，所述的通过神经元交互联想网络对所示钢轨图像的多维度特征进行联想分析，生成联想向量，包括：构建具有联想能力的绿色神经元交互联想网络，将所述钢轨图像的所有多维度特征向量输入到所述绿色神经元交互联想网络，所述绿色神经元交互联想网络将输入的多维度特征向量作为激励向量，对所述激励向量进行变异联想分析，得到相应的联想向量，所述绿色神经元交互联想网络利用遗传原理实现所述激励向量与所述联想向量的融合变异，变异方式为分段交叉和分段变异。进一步地，所述的在先验知识库中对所述联想向量进行匹配映射处理，得到所述联想向量对应的联想样本，包括：利用优选函数对所述联想向量进行优化选择，得到优化联想向量，所述优选函数h(·)如下式：式中，x为激励向量，yi为对激励向量x经过变异联想分析产生的第i个联想向量；将优化联想向量分别与先验知识库中每个记忆样本的特征向量进行相关度匹配计算，得到与所述优化联想向量的相关度最大的记忆样本，将该相关度最大的记忆样本作为与所述优化联想向量映射的联想样本；设优化联想向量为ui，记忆样本的特征向量为ri，所述联想向量ui与所述特征向量ri的维数为n，则所述联想向量ui与所述特征向量ri之间的相关度匹配计算结果为：式中，σij为余弦相似度修正项，和分别为距离匹配度和改进余弦匹配度，uik表示联想向量ui的第k维分量，rjk表示特征向量ri的第k维分量；所述联想向量ui与所述特征向量ri之间的映射联想因子aij的计算公式为：fa代表一个函数,和为函数fa的参数；将最大的映射联想因子aij对应的记忆样本作为与所述优化联想向量映射的联想样本。进一步地，所述的利用决策函数对所述联想样本进行分析决策，得到联想结果，根据所述联想结果确定钢轨是否有缺陷，包括：对于钢轨图像的每一类特征的优化后的联想向量，经过相关度匹配映射计算得到所述联想向量对应的联想样本，将所述联想样本认为是所述优化联想样本投票产生的，将所述优化联想向量与所述联想样本之间的映射联想因子作为本次投票的投票比重；保留获得所有类别特征的联想向量投票的联想样本，并作为后续分析决策的对象；假设对于某一输入图像，其信息熵、颜色、方向、纹理和亮度特征的联想向量都匹配映射同一个联想样本，对应的映射联想因子分别为ae、ac、ad、at和ag，则得到该联想样本的投票权值向量为：v＝(ae,ac,ad,at,ag)t对多个钢轨图像联想匹配得到的多个联想样本进行初步筛选后，再根据每个联想样本的投票权值向量对多个联想样本进行分析决策，最终输出最优的联想样本作为联想输出，根据所述最优的联想样本中标签信息确定钢轨是否有缺陷。由上述本发明的实施例提供的技术方案可以看出，本发明实施例在研究人类视觉感知机理中选择注意机制的基础上，针对钢轨缺陷检测问题，探讨建立了层次化的联想机制模型。提出了具有联想能力的绿色神经元交互联想网络，并在此基础上基于人类视皮层中的what通路构建了联想机制模型，对大脑皮层的联想功能进行合理假定抽象为联想产生、联想匹配和综合分析的层次化模型。与传统钢轨缺陷检测方法相比，联想机制显著提高了系统对于钢轨缺陷的检测性能。本发明附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本发明的实践了解到。附图说明为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本发明实施例提供的一种基于视觉联想机制的钢轨缺陷测量方法的处理流程图；图2为本发明实施例提供的一种联想机制模型的构建过程示意图；图3为本发明实施例提供的一种层次化的联想机制模型的结构示意图。图4为本发明实施例提供的一种绿色神经元交互联想网络的工作原理示意图；图5为本发明实施例提供的一种绿色神经元交互联想网络的结构示意图；图6为本发明实施例提供的一种在昏暗天气下利用联想机制模型对钢轨的缺陷进行联想匹配的结果示意图；图7为本发明实施例提供的一种roc曲线的示意图；图8为本发明实施例提供的另一种roc曲线的示意图。具体实施方式下面详细描述本发明的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。本
技术领域：
技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的任一单元和全部组合。本
技术领域：
技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。为便于对本发明实施例的理解，下面将结合附图以几个具体实施例为例做进一步的解释说明，且各个实施例并不构成对本发明实施例的限定。实施例一本发明实施例提供的一种基于视觉联想机制的钢轨缺陷测量方法的处理流程图如图1所示，包括如下的处理步骤：步骤s110、提取钢轨图像中的多维度特征。人类视皮层存在一条what通路主要用于大脑对物体进行识别、联想等。本发明实施例对what通路的组织过程做出了合理假设，图2为本发明实施例提供的一种联想机制模型的构建过程示意图，图3为本发明实施例提供的一种层次化的联想机制模型的结构示意图。在视皮层的v1-v4层逐层抽象提取输入图像的多维度特征，并在大脑皮层中进行联想产生、联想匹配和综合分析最终确定合理的联想输出。根据上述的联想过程，图2所示的联想机制模型主要分为特征提取、联想产生、联想匹配和综合分析四个过程：特征提取过程：首先获取待识别缺陷的钢轨图像，模拟视觉系统what通路中的v1-v4层，类似于卷积神经网络，每层神经网络都会提取图片不同的特征。通过上述what通路中的v1-v4层提取钢轨图像中的多维度特征，基于上述多维度特征生成多维度特征向量。所述多维度特征采用itti的saliency模型中典型的五个早期视觉特征，分别为：亮度、颜色、方向、纹理和信息熵特征，所述亮度、颜色、方向和信息熵特征分别采用均值、方差以及相应的高阶矩作为特征向量，所述纹理特征分别采用均值、能量、一致性、逆差矩、对比度和相关性作为特征向量，所述钢轨图像的所有多维度特征向量构成所述钢轨图像的多维度特征向量集。构建先验知识库，该先验知识库包括：记忆样本和与记忆样本对应的记忆符号，所述记忆样本包括无缺陷的钢轨目标图像和有缺陷的钢轨目标图像，所述记忆符号包括每个记忆样本的特征向量。步骤s120、通过神经元交互联想网络对所示钢轨图像的多维度特征进行联想分析，生成联想向量。联想产生过程分为两个阶段，首先构建具有联想能力的绿色神经元交互联想网络(greenneurons-interactiveassociativenetwork,gnan)，该gnan网络是整个联想机制模型的核心，gnan网络对输入的多维度特征向量进行适度变异联想分析，生成相应的联想向量，得到可靠的联想结果。为保证联想过程的多样性，在联想阶段引入了生物遗传变异机制，通过生物遗传中染色体的交叉和变异过程模拟了联想过程中思维的变化现象，并且将激励作为父代染色体保证了联想过程的关联性。本发明实施例将gnan网络的输入向量作为激励向量，将该gnan网络的输出向量作为联想向量，并利用遗传原理实现激励向量与联想向量的融合变异，变异方式为分段交叉和分段变异。采用二进制编码的方式进行分段交叉和分段变异。一个激励向量可以产生多个对应的联想向量。步骤s130、在先验知识库中对联想向量进行匹配映射处理，得到所述联想向量对应的联想样本。联想匹配过程中对变异联想的结果进行分析处理，并利用预先构建的先验知识库对联想结果进行匹配处理，从而根据庞大的先验知识库映射出可靠的相关联想样本。该过程分为两个阶段：输入优选阶段利用构建的优选函数对变异联想的大量输出进行优化选择，保留可靠的变异联想向量；在匹配映射阶段利用最优联想向量在先验知识库中搜索相关度高的联想样本，并记录下每对映射的联想因子，为后续综合分析最终确定联想结果输出奠定基础。优选函数可以由联想相关度来度量：在特征空间上联想输出总是分布在距离输入向量一定范围的空间内，且输出向量的方向分布呈现一定的规律性。由此可以确定优选函数h(·)如下式：式中，x为激励向量，yi为对激励向量x经过变异联想分析产生的第i个联想向量，h表示一种函数，类似于f(x)。匹配映射阶段利用经优选函数优选出的联想向量分别与先验知识库中每个记忆样本的特征向量进行相关度匹配计算，并生成每一对映射的联想度因子。对于联想向量ui与特征向量ri，它们的维数为n，则匹配计算结果如下式：式中，σij为余弦相似度修正项，和分别为距离匹配度和改进余弦匹配度，uik表示联想向量ui的第k维分量，rjk表示特征向量ri的第k维分量。所述联想向量ui与所述特征向量ri之间的映射联想因子aij的计算公式为：：fa代表一个函数,和为函数fa的参数；将最大的映射联想因子aij对应的记忆样本作为与所述优化联想向量映射的联想样本。步骤s140、利用决策函数对联想样本进行分析决策，得到联想结果，根据所述联想结果确定钢轨是否有缺陷。在综合分析阶段，大脑会对上述联想样本进行综合分析衡量，从而分析决策最合理的联想样本作为最终的联想结果。联想机制模型中的综合分析过程分为投票机制、分析决策两个过程。投票过程为：对于输入图像的每一类特征，经过联想变异以及优选之后生成该类特征的联想向量，经过联想匹配后每一个联想向量都会匹配映射一个记忆样本作为联想样本，这种匹配映射过程即完成了对该联想样本的一次投票，投票比重由匹配映射过程的映射联想因子决定，为了简化计算直接把映射联想因子作为本次投票的投票比重。投票机制认为获得所有类别特征的联想向量投票的联想样本为合理的联想样本，可以作为后续分析决策的对象。不能获得全票的联想样本，即使所有的投票比重都很大也将被排除。假设对于某一输入图像，其信息熵、颜色、方向、纹理和亮度特征的联想向量匹配映射对同一个联想样本，对应的映射联想因子分别为ae、ac、ad、at和ag，则可得到该联想样本的投票权值向量为：v＝(ae,ac,ad,at,ag)t(4)对多个钢轨图像联想匹配得到的多个联想样本进行初步筛选后，模型会根据每个联想样本的投票权值向量对多个联想样本进行分析决策，最终输出最优的联想样本作为联想输出，完成联想过程。分析决策过程可以决策函数来表述：式中，vi为第i个联想样本的投票权值向量，s为决策值。因此，经过分析决策的最终联想输出应该满足最优决策，其结果为：最优解v*即为最优投票权值向量，其对应的最优的联想样本即为最终的联想结果。上述最优的联想样本中包含图像的特征和标签信息，该标签信息指示钢轨有缺陷或者钢轨无缺陷，因此，根据上述最优的联想样本中标签信息可以判断出钢轨图像中有没有缺陷。图4为本发明实施例提供的一种绿色神经元交互联想网络的工作原理示意图，绿色神经元交互联想网络(gnan)能够有效实现联想功能,是联想机制模型中最核心的部分，分为联想映射和解联想映射两个阶段：联想映射阶段在一定规则下将输入特征向量映射到高维联想空间中，完成由部分特征联想完整特征的异联想过程，在解联想映射阶段对高维联想空间进行降维压缩去冗余，实现高效的自联想输出。同时在联想过程中通过建立神经调节函数和神经交互函数机制模拟了生物神经信号传导过程中神经元的交互作用，使联想网络更加符合生物神经系统机理，具有更快的收敛速度。图5为本发明实施例提供的一种绿色神经元交互联想网络的结构示意图，如图5所示，gnan网络由两个过程连接组成，其中联想映射过程将输入特征向量投射到高维联想空间中，实现特征的适度联想，解联想映射过程则合理提取高维联想空间的非线性主元消除冗余，生成网络估计输出向量，简化后续模型计算过程。gnan网络共包含5层节点，可以采用对称结构，也可以采用非对称结构，网络的输出向量维数等于输入向量维数。其中图5中的虚线部分代表了同一层中相邻结点的神经交互作用，而不是网络的物理结构。神经交互机制：在传统神经元网络中，神经元结点由阈值和激活函数唯一确定，并且在神经网络训练和使用过程中一旦阈值和激活函数选定之后神经元结点参数则保持恒定，显然这与实际人脑中神经元模型的工作状态是不符的。实际的人脑神经元模型工作过程中，当神经传导信号在相邻神经元结点之间传递时神经元结点的状态是交互影响最终形成新的稳定状态。对于某个输入神经传导信号，当两个邻接神经元结点同时兴奋时，两个结点之间的状态相互促进，神经兴奋度同时增加；当两个邻接神经元结点同时抑制时，两者之间的状态相互抑制，神经兴奋度同时下降；当两个邻接结点一个兴奋一个抑制时，两者之间的交互作用促使原本兴奋的神经元结点受到一定程度的抑制，而原本抑制的神经元结点兴奋度会适度增加。为了模拟神经信号传递过程中相邻神经元结点的交互作用，本发明实施例提出了绿色交换神经元联想网络的概念，在神经元结点模型中引入神经兴奋因子，并利用神经调节函数实现了神经元结点状态的交互过程。网络训练算法：gnan网络分为联想映射过程和解映射过程两个阶段，因此为了提高整个绿色神经元交互网络的收敛速率以及神经网络的健壮性，对于输入样本集可以利用主成分分析法提取结果样本的独立主元成分从而确定出高维联想空间的大小和高维样本值，这样就能够把联想映射层和解联想映射层作为两个子神经网络进行单独训练。每个子神经网络单独训练时，训练过程有两次调整过程：正向交互过程和反向传播过程。正向交互过程指的是在神经信号从输入层到输出层的正向传导过程中邻接的神经元结点之间会发生神经交互作用导致神经元结点的兴奋状态发生即时变化，该过程遵循“绿色”原则；反向传播过程指的是从输出层到输入层的反向误差传播过程，保证神经网络的经验风险最小。实施例二模型验证图6为在昏暗天气下利用联想机制模型对钢轨的缺陷进行联想匹配的结果示意图。图6(a)为原始图像，图6(b)和图6(c)为联想机制模型的联想样本及联想决策值。从图6可以看出，联想机制模型可以有效地对钢轨缺陷进行联想匹配，这种联想能力将明显增强对钢轨缺陷的识别性能。性能对比分析为了测试联想机制模型中绿色神经元交互联想网络的性能，本发明选取bp神经网络、hopifield神经网络、双向联想记忆神经网络进行了对比实验。其中绿色神经元交互联想网络和bp神经网络的输入输出层、hopifield神经网络和双向联想记忆神经网络的结点数均为样本的维数，bp神经网络由3个隐含层保持与绿色神经元交互网络结构的一致性，训练误差为0.01。训练集和测试集分别选取符合实际的联想样本集，训练集共包含800个样本，训练集共包含200个样本。实验平台为intel酷睿i5双核cpu，主频为2.4ghz。实验从训练时间、测试时间、记忆正确率、联想正确率三个方面进行了对比分析。其中记忆正确率和联想正确率分别定义为记忆误差和联想误差小于0.1的样本数与测试样本总数的比值，记忆误差δr和联想误差δa定义如下：式中，(xk,yk)为测试样本，zk为实际输出。实验结果如表1。表1不同网络模型的识别结果名称绿色神经元交互联想网络bp神经网络hopifield神经网络双向联想记忆网络训练时间(s)47180183312测试时间(ms)83853937记忆正确率(％)62337886联想正确率(％)84316374由表1可以看出：(1)绿色神经元交互联想网络的训练速度明显优于bp神经网络，这是因为增加了前向神经元交互后加速了权值和阈值训练的收敛速度；(2)hopifield神经网络和双向联想记忆网络更加偏向记忆能力，而绿色神经元交互联想网络具有最好的联想能力，同时保持一定的记忆能力。为了更进一步比较绿色神经元交互联想网络、hopifield神经网络和双向联想记忆网络(bam)的性能，本发明分别将hopifield神经网络、bam网络代替绿色神经元交互联想网络构成了两个新的联想机制模型，与本发明实施例的模型进行钢轨缺陷的联想性能对比实验，并绘制模型的roc(receiveroperatingcharacteristiccurve，受试者工作特征曲线)曲线如图7所示。从图7可以看出，(1)对于钢轨的缺陷，gnan具有最好的联想识别能力，明显优于hopifield神经网络和bam；(2)达到最优性能时，gnan的误识别率在5％左右，仅比hopifield神经网络大，但差距不大。故与传统的神经网络相比，绿色神经元交互联想网络在训练速度和联想能力方面具有明显的优势。综合实验：为了测试联想机制模型对于钢轨缺陷的识别性能，分别采用联想机制模型模型、以及基于countour-let变换和svm的方法、基于梯度方向图和稀疏表达算法对于钢轨缺陷测试样本集进行识别实验，并绘制roc曲线如图8所示。从图8可以看出：(1)对于钢轨的缺陷，联想机制模型具有最好的联想识别能力，达到88.6％；(2)达到最优性能时，联想机制模型的误识别率最小且保持在5％左右。故与传统的钢轨缺陷检测方法相比，联想机制模型在钢轨缺陷检测方面具有明显的优势。综上所述，本发明实施例在研究人类视觉感知机理中选择注意机制的基础上，针对钢轨缺陷检测问题，探讨建立了层次化的联想机制模型。提出了具有联想能力的绿色神经元交互联想网络，并在此基础上基于人类视皮层中的what通路构建了联想机制模型，对大脑皮层的联想功能进行合理假定抽象为联想产生、联想匹配和综合分析的层次化模型。与传统钢轨缺陷检测方法相比，联想机制显著提高了系统对于钢轨缺陷的检测性能。本发明实施例借鉴人类的视觉感知机理建立了鲁棒性好的联想机制模型并且用于钢轨的缺陷检测。对人类视皮层中用于对象识别、联想等功能的what视觉通路进行了合理假设抽象，构建了层次化的联想机制模型，从而实现了钢轨缺陷的可靠识别；提出了具有优秀联想能力的绿色神经元交互联想网络，有效模拟了大脑的联想过程，同时引入生物信号传导过程中的神经交互机制提高了联想网络的联想能力。本领域普通技术人员可以理解：附图只是一个实施例的示意图，附图中的模块或流程并不一定是实施本发明所必须的。通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置或系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的装置及系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本
技术领域：
的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。当前第1页12