用于设备检验的系统和方法与流程

用于设备检验的系统和方法
1.相关申请的交叉引用
2.本技术要求于2020年12月23日提交的美国临时申请63/130,085和2021年11月10日提交的美国非临时申请17/523,343的优先权，其全部公开内容通过引用并入本文。
技术领域
3.本文描述的公开主题涉及用于检验设备的系统和方法。更具体地，本文描述的公开主题涉及评估视觉检验标准、提供视觉检验标准的反馈和/或评价、以及提供视觉检验标准的跟踪和通知的系统和方法。


背景技术：

4.对诸如运载工具部件等设备进行检验，以检测出可能损坏或有缺陷、或接近损坏或有缺陷的部件。可以根据为每个部件建立的流程来进行检验。但是，对流程的遵守可能因检验员而异，这可能会导致结果不准确。检验员可能不会访问以前的检验结果，这使得很难确定以前的检验是否是按照建立的流程进行的。如果检验某个部件并错误地将这个部件识别为未损坏或没有缺陷，则该部件的故障可能会导致设备(例如机车)发生故障。相反，如果检验某个部件并错误地将这个部件识别为损坏或有缺陷，则不必要的部件更换会导致设备停止服务并导致额外的维修费用。


技术实现要素：

5.根据一个实施例，用于检验设备的方法可以包括接收表示设备部件的外观的图像数据。可以在对设备部件进行检验流程之前获得图像数据。该方法还可以包括利用定义了基准图像数据的机器学习模型评估图像数据，以确定图像数据是否表示已经为检验流程准备好设备部件。该方法还可以包括当图像数据相对于基准图像数据的评估表示还没有为检验流程准备好设备部件时，阻止对设备部件进行检验流程。
6.根据一个实施例，用于检验设备的系统可以包括控制器，该控制器接收表示设备部件的外观的图像数据。可以在对设备部件进行检验流程之前获得图像数据。控制器可以使用机器学习模型来相对于基准图像数据评估图像数据，以确定是否已经为检验流程准备好设备部件。当基于图像数据相对于基准图像数据的评估表示还没有为检验流程准备好设备部件，控制器可以阻止对设备部件进行检验流程。
7.根据一个实施例，用于检验设备部件的方法可以包括在检验设备部件之前接收设备部件的第一图像。该方法可以包括利用机器学习模型相对于第二图像或基准图像数据中的一项或多项来评估第一图像，以确定是否已经为检验流程准备好设备部件。该方法还可以包括基于第一图像相对于第二图像或基准图像数据中的一项或多项的评估表示还没有为检验流程准备好设备部件，阻止对设备部件进行检验流程。
附图说明
8.参考附图，阅读以下对非限制性实施例的描述，可以理解本发明主题，其中如下：
9.图1是根据检验准备的第一状态的设备部件的图像；
10.图2是根据检验准备的第二状态的设备部件的图像；
11.图3是根据检验准备的第三状态的设备部件的图像；
12.图4示意性地示出了根据一个实施例的机器学习模型；
13.图5示意性地示出了根据一个实施例的机器学习模型；
14.图6示意性地示出了根据一个实施例的用于评估待检验设备部件的系统；
15.图7示意性地示出了根据一个实施例的用于评估设备部件的图像数据的应用；
16.图8示意性地示出了根据一个实施例的用于评估设备部件的图像数据的应用；
17.图9示意性地示出了根据一个实施例的用于评估设备部件的图像数据的应用；
18.图10示意性地示出了根据一个实施例的方法；以及
19.图11示意性地示出了根据一个实施例的方法。
具体实施方式
20.本文描述的主题的实施例涉及系统和方法，该系统和方法通过在检验流程中同时提供检验反馈来改进和验证检验质量以及对建立的检验流程和程序的遵守。该系统和方法提供了一种通过例如图像、日期、部件、位置和检验员来跟踪检验流程的方式。该系统和方法可以自动跟踪和识别不合规或有风险的检验，以允许采取后续行动来降低不合规检验的风险。
21.设备部件的正确检验要求在进行检验之前完成检验标准。例如，可以在待检验区域对部件进行清洁，可以对清洁区域进行划线或划定以指出清洁区域与其它区域，并且可以对部件进行编号以允许检验结果与检验后的部件一致。未能完成检验标准可能导致检验效果不佳和结果不准确。确定已正确完成检验标准可以减少不良检验的发生。向检验员提供没有为检验正确地准备好设备部件的警报可以防止不良检验的发生。
22.虽然结合轨道运载工具系统描述了一个或多个实施例，但并非所有实施例都限于轨道运载工具系统。除非明确声明或另有说明，本文描述的发明主题扩展到其它类型的运载工具系统，例如汽车、卡车(带有或不带有拖车)、公共汽车、船舶、飞机、采矿车、农用运载工具或其它非公路运载工具。本文描述的运载工具系统(轨道运载工具系统或不在轨道或导轨上行驶的其它运载工具系统)可以由单个运载工具或多个运载工具形成。对于多运载工具系统，运载工具可以彼此机械性地耦接(例如，通过耦接器)或逻辑意义上地耦接而不是机械性地耦接。例如，当分开的运载工具彼此通信来协调彼此的运动以使得这些运载工具(例如，作为车队)一起行驶时，这些运载工具可以是逻辑意义上地而不是机械性地耦接。
23.参考图1，待检验的设备部件10包括检验区域12。设备部件可以是例如用于机车散热器的风扇的叶片。检验区域可以是风扇叶片的中间部分，即风扇叶片端部之间的部分。检验区域可以是设备部件的任何部分，例如在使用过程中可能出现诸如裂纹等缺陷的区域。但是，设备部件的任何区域都可以为检验做好准备并随后对其进行检验。
24.根据其它实施例，可以被检验的设备部件包括热交换器管、散热器风扇叶片焊缝、齿轮箱组件、压缩机机架、电缆和轮子。设备部件也可以来自机车以外的设备，例如，飞机和
飞机发动机、建筑设备、发电设备或其它运载工具(例如，汽车、公共汽车、卡车、采矿车、船舶、农用运载工具等)。本文公开的系统和方法可适用于需要定期检验的任何设备。
25.再次参考图1，待检验的设备部件可以标记有该设备部件唯一的部件标识符14。设备部件的检验区域可以通过检验区域标记16进行标注。如图1所示，检验区域由两个检验区域标记进行标注，但是应当理解的是，任意数量的检验区域标记，例如一个标记或多个标记，可用于标注检验区域。
26.图1中的设备部件是检验准备不足的示例。设备部件没有示出清洁痕迹。使用当前技术难以高精度地检测到例如裂纹等缺陷。设备部件检验区域缺少清洁使得缺陷的检测更加困难，并且可能导致无法检测到会导致设备部件故障的缺陷。图1中设备部件的检验可能被视为不合规检验。
27.参考图2，待检验的设备部件包括用于识别部件的部件标识符和用于识别检验区域的检验区域标记。图2中的设备部件是未完成检验准备示例。设备部件示出了一些清洁痕迹，但检验区域没有充分清洁，导致检验流程无法检测到例如裂纹等缺陷。尽管设备部件包括部件标识符和用于识别检验区域的检验区域标记，但检验区域的不完全清洁可能会妨碍检测缺陷。图2中设备部件的检验可能被认为是有风险或不良检验。
28.参考图3，待检验的设备部件包括用于识别部件的部件标识符和用于识别检验区域的检验区域标记。检验区域已经清除了可能使检验难以进行和缺陷难以检测的材料或成分。例如，设备部件可以是用于机车散热器的风扇叶片，在为检验做准备(清洁)之前，在检验区域上可能会有碳或烟灰、油脂和/或锈。图3中的设备部件的检验区域已清洁去除了任何此类材料或成分。图3中的设备部件的检验可视为合规检验。
29.参考图4，根据一个实施例的机器学习模型18可以以神经网络的形式提供。机器学习模型包括输入层20、隐藏层22和输出层24。输入层接受表示待检验设备部件的外观的图像数据。图像数据是在对设备部件进行检验流程之前获得的。可以为检验准备设备部件，例如，如图1至3所示。对待检验的任何单个设备部件的准备可能不合规、有风险或合规。
30.在一个实施例中，机器学习模型是监督式机器学习模型。给机器学习模型提供有标签的训练数据。将已经为检验准备好的设备部件的图像数据，即有部件标识符、检验区域标记和检验区域至少部分已清洁的设备部件的图像数据，提供给机器学习模型。训练数据的每个图像数据根据设备部件在为检验做了准备后的状况被标记为不合规、有风险或合规。机器学习模型使用训练数据来建立设备部件的表面轮廓的基准，该基准可用于确定输入的图像数据是否对应于合规的表面轮廓。如果采集的待检验的设备部件的图像数据被确定为对应于合规的表面轮廓的基准表面轮廓，则可以向检验员提供检验可以进行的消息。如果采集的待检验的设备部件的图像数据与基准表面轮廓不对应，例如，如果机器学习模型确定采集的图像数据表示检验准备不合规或有风险，则可以向检验员提供还没有为检验流程准备好设备部件的消息，检验员可以阻止检验。
31.隐藏层位于机器学习模型的算法的输入层和输出层之间。该算法将权重应用于输入(例如，采集图像数据像素)并通过激活函数将其作为输出。隐藏层对进入网络的输入进行非线性变换。
32.参考图5，根据一个实施例的机器学习模型26包括输入层28、多个隐藏层30、32、34、36和输出层38。机器学习模型由于多个隐藏层可以被称为深度学习机器学习模型。隐藏
层可能会因机器学习模型的功能而异，并且隐藏层可能会因其相关联的权重而异。隐藏层允许将机器学习模型的功能分解为输入数据的特定变换。可以提供每个隐藏层功能以产生定义的输出。例如，一个隐藏层可用于识别哪种类型的设备部件待检验。一个隐藏层可以将设备部件识别为散热器风扇叶片或齿轮箱组件或其它的一些待检验的设备部件。可以提供另一个隐藏层来识别，例如，部件标识符，并且可以提供另一个隐藏层来识别检验区域标记。可以提供其它隐藏层以检测例如采集的图像数据是否表示相同的设备部件、模糊的图像或设备部件的照明。虽然每个隐藏层的功能不足以独立地确定采集的图像数据是否表示设备部件已经为检验做好足以提供合规检验的准备，但多个隐藏层在机器学习模型中共同起作用以确定采集的图像数据表示已正确地准备好设备部件的概率。
33.参考图6，用于评估待检验的设备部件的系统40包括移动手持设备41。移动手持设备可以是智能电话或平板电脑或个人数字助理(pda)。移动手持设备包括图像采集装置，例如，相机，其配置为采集待检验的设备部件的图像。移动手持设备还包括控制器42，其进行存储在存储器44中的指令以使用机器学习模型来确定待检验的设备部件表示合规的检验准备、有风险的检验准备还是不合规的检验准备。
34.用于评估设备部件的系统还可以包括计算机46，该计算机包括控制器48和存储器50。计算机可以例如无线地或通过硬连接(例如，电缆)连接到移动手持设备。计算机的存储器可以包括机器学习模型的训练数据。移动手持设备采集的图像数据也可以从移动手持设备传送到计算机的存储器以添加到机器学习模型的训练数据中。机器学习模型可以基于采集的提供给移动手持设备的存储器和/或计算机的存储器的设备部件的图像数据来修改基准表面轮廓图像数据。
35.计算机的处理器还可以执行计算机的存储器中的指令以使用机器学习模型来确定待检验的设备部件表示合规的检验准备、有风险的检验准备还是不合规的检验准备。在一个实施例中，移动手持设备可以是采集待检验设备部件的图像的数码相机。图像数据可以传送到计算机的存储器中，并且计算机的控制器可以使用机器学习模型来确定设备部件是否对应于表示合规的检验准备的基准表面轮廓图像数据。其它图像采集设备可用于采集待检验设备部件的图像数据。例如，为检验准备设备部件的检验员可以佩戴照相机。作为另一个示例，可以将相机设置在瞄准镜上以插入设备部件的内部或设置在无人驾驶飞行器(例如，无人机)上以采集远程设备部件上的图像数据。
36.该系统还可以包括云计算网络52。云计算网络可以存储图像采集数据，包括例如机器学习模型的训练数据和在设备部件检验过程中获得的图像采集数据。云计算网络可以包括移动手持设备和/或计算机可以与之通信的一个或多个云计算节点。这些节点在一个或多个网络中可以彼此通信并且可以进行物理或虚拟分组。云计算网络可以通过任何类型的网络和/或网络可寻址连接(例如，使用网络浏览器)与任何类型的计算机化设备进行通信，包括例如移动手持设备和计算机。
37.云计算网络还可以使用机器学习模型来评估由移动手持设备和/或计算机提供的采集的图像数据，以确定待检验的设备部件表示合规的检验准备、有风险的检验准备、还是不合规的检验准备。
38.采集的待检验的设备部件的图像数据可以包括从设备部件反射的可见光的一个或多个图像或视频帧。采集的待检验的设备部件的图像数据可以附加地或可替代地包括从
设备部件反射的可见光谱之外的光的一个或多个图像或视频帧。机器学习模型可以基于反射光识别模糊的图像。机器学习模型还可以确定多个采集的图像数据是否反射自相同或不同的设备部件。
39.参考图7，移动手持设备可以通过操作安装在移动手持设备上的应用来执行用于评估待检验的设备部件的程序或应用。根据其它实施例，该程序或应用可以在计算机上进行。该程序或应用通过例如触摸屏54接受输入并允许检验员指示待检验的特定设备部件，例如散热器风扇，并提供已经将设备部件添加到设备部件的检验历史的显示56。该程序或应用允许检验员输入标识信息58，标识信息58可以包括例如检验机构的名称和/或位置、待检验的设备部件的序列号或跟踪号以及检验日期。在确认标识信息后，该程序或应用提供输入60以开始检验。
40.参考图8，待检验的设备部件的图像62由机器学习模型评估。机器学习模型可以断定图像数据与机器学习模型的基准图像数据不对应，并且设备部件的准备表示有风险或不合规的准备。例如，机器学习模型可以提醒检验员界定检验区域的检验区域标记(例如，划线)不可见。机器学习模型还可以确定图像数据的其它特征使得对设备部件的图像数据的评估不可靠。例如，机器学习模型可以确定图像数据是模糊的，或者图像数据与之前采集的图像数据不是同一设备部件的。机器学习模型可以向检验员提供对图像数据的评估信息64，以识别可能导致检验有风险或不合规的准备或图像数据问题。该应用还包括输入66，以允许检验员从机器学习模型的最终评估中排除图像数据或将图像数据包括在机器学习模型的最终评估中。
41.参考图9，程序或应用在显示屏上呈现了待检验设备部件的多个图像数据68。机器学习模型确定每个图像是否来自同一设备部件。机器学习模型还确定图像数据的数量是否表示待检验设备部件的合规的准备，以及确定合规的图像数据的数量是否占设备部件的所有图像数据的指定百分比。如果表示可以进行合规的检验的图像数据的数量不足和/或表示可以进行合规的检验的图像数据的数量占所有图像数据的百分比是不足够的，则程序或应用可以例如通过电子邮件向账户或检验机构自动发送不应该对设备部件进行检验的警报，因为还没有正确地准备好设备部件并且设备部件表示检验有风险或不合规。该警报可以阻止对设备部件的检验。如果机器学习模型确定图像数据对应于将会提供合规检验的基准图像数据，则程序或应用包括允许检验员继续或暂停检验的输入70。
42.参考图10，方法100包括，步骤110，接收表示设备部件的外观的图像数据，该图像数据是在对设备部件进行检验流程之前获得的；以及，步骤120，利用定义了基准图像数据的机器学习模型评估图像数据以确定图像数据是否表示已经为检验流程准备好设备部件。该方法还包括，步骤130，当图像数据相对于基准图像数据的评估表示还没有为检验流程准备好设备部件时，阻止对设备部件进行检验流程。
43.参考图11，方法200包括，步骤210，接收表示设备部件的第一图像。该第一图像可以是在对设备部件进行检验流程之前获得的。该方法还包括步骤220，利用机器学习模型相对于第二图像或基准图像数据中的一项或多项评估第一图像以确定图像数据是否已经为检验流程准备好设备部件。该方法还包括步骤230，基于第一图像相对于第二图像或基准图像数据中的一项或多项的评估表示还没有为检验流程准备好设备部件时，阻止对设备部件进行检验流程。
44.一种方法可以包括接收表示设备部件的外观的图像数据，该图像数据是在对设备部件进行检验流程之前获得的，以及利用定义了基准图像数据的机器学习模型评估图像数据以确定图像数据是否表示已经为检验流程准备好设备部件。该方法还可以包括当图像数据相对于基准图像数据的评估表示还没有为检验流程准备好设备部件时，阻止对设备部件进行检验流程。
45.可以相对于基准图像数据评估图像数据以确定设备部件是否已被清洁、是否标注有检验标记或是否标注有标识标记中的一项或多项。基准图像数据可包括或基于设备部件的一个或多个历史图像。
46.该方法还可以包括基于设备部件的使用情况修改基准图像数据。该方法还可以包括相互评估图像数据的不同部分以确定图像数据的不同部分是否是设备部件的同一区域的图像，并且响应于图像数据的不同部分是设备部件的同一区域的图像，阻止对设备部件进行检验流程。
47.该方法还可以包括接收对设备部件进行的检验流程的检验结果，并基于接收到的图像数据修改检验结果。响应于图像数据表示还没有为检验流程准备好设备部件，可以将检验结果从无损坏或可接受的损坏量的第一结论修改为损坏或不可接受的损坏量的不同的第二结论。
48.图像数据可以包括从设备部件反射的可见光的一个或多个图像或视频帧。图像数据可以包括可见光谱之外的光的一个或多个图像或视频帧。
49.一种系统可以包括接收表示设备部件的外观的图像数据的控制器。该图像数据可以是在对设备部件进行检验流程之前获得的。控制器可以利用机器学习模型相对于基准图像数据评估图像数据，以确定是否已经为检验流程准备好设备部件。控制器可以基于图像数据相对于基准图像数据的评估表示还没有为检验流程准备好设备部件，阻止对设备部件进行检验流程。
50.控制器可以相对于基准图像数据评估图像数据，以确定设备部件是否已被清洁、是否标注有检验标记或是否标注有标识标记中的一项或多项。基准图像数据可包括或基于设备部件的一个或多个历史图像。
51.控制器可以基于设备部件的使用情况进一步修改基准图像数据。控制器还可以相互评估图像数据的不同部分，以确定图像数据的不同部分是否是设备部件的同一区域的图像，并响应于图像数据的不同部分是设备部件的同一区域的图像，阻止对设备部件进行检验流程。
52.控制器还可以接收在设备部件上进行的检验流程的检验结果，并基于接收到的图像数据修改检验结果，其中响应于图像数据表示还没有为检验流程准备好设备部件，可以将检验结果从无损坏或可接受的损坏量的第一结论修改为损坏或不可接受的损坏量的不同的第二结论。
53.图像数据可以包括从设备部件反射的可见光的一个或多个图像或视频帧。图像数据可以包括可见光谱之外的光的一个或多个图像或视频帧。
54.一种方法可以包括在对设备部件进行检验流程之前接收设备部件的第一图像，并且利用机器学习模型相对于第二图像或基准图像数据中的一项或多项评估第一图像以确定是否已经为检验流程准备好设备部件。该方法还可以包括当基于第一图像相对于第二图
像或基准图像数据中的一项或多项评估表示还没有为检验流程准备好设备部件，阻止对设备部件进行检验流程。
55.可以相对于基准图像数据评估第一图像，以确定设备部件是否已被清洁、是否标注有检验标记或是否标注有标识标记中的一项或多项。可以相对于第二图像评估第一图像，以确定第一图像和第二图像是否显示同一设备部件，并且可以响应于确定第一图像和第二图像显示同一设备部件，阻止检验流程的进行。
56.该方法还可以包括接收对设备部件进行的检验流程的检验结果，并基于接收到的图像数据修改检验结果。响应于图像数据表示还没有为检验流程准备好设备部件，可以将检验结果从无损坏或可接受的损坏量的第一结论修改为损坏或不可接受的损坏量的不同的第二结论。
57.如本文所用，以单数形式记载并以词语“一”或“一个”开头的元件或步骤不排除复数的所述元件或操作，除非明确声明此类排除。此外，参考本发明中的“一个实施例”不排除包含所述特征的其它实施例的存在。此外，除非相反地明确指出，否则实施例中“包括”、“包含”、“具有”具有特定属性的某个元件或多个元件也可以包括其它不具有这种属性的元件。在所附权利要求书中，术语“包含”和“其中”用作相应术语“包括”和“其中”的简明英语等同术语。此外，在以下权利要求书中，“第一”、“第二”、“第三”等术语仅用作标签，并不对其对象强加数字要求。此外，以下权利要求的限制不是以装置加功能的格式撰写的，也不想根据35u.s.c.
§
112(f)来解释，除非并且直到此权利要求限制明确使用短语“装置用于”，随后有功能陈述而没有进一步的结构。
58.以上描述是说明性的，而非限制性的。例如，上述实施例(和/或其方面)可以相互组合使用。此外，在不脱离本发明主题范围的情况下，可以进行许多修改，以使特定情况或材料适应本发明主题的教导。虽然本文描述的材料的尺寸和类型限定了本发明主题的参数，但其为示例性实施例。在阅读以上描述后，其它实施例对于本领域的普通技术人员来说将是显而易见的。因此，本发明主题的范围应参考所附权利要求书以及此类条款所授权的等效物的完整范围来确定。
59.本书面描述使用示例来公开本发明主题的若干实施例，包括最佳模式，并使本领域普通技术人员能够实践本发明主题的实施例，包括制作和使用任何设备或系统并进行任何合并的方法。本发明主题的可取得专利权的范围由权利要求书限定，并且可以包括本领域普通技术人员想到的其它示例。如果这些其它示例具有与权利要求书的字面语言没有区别的结构元件，或者如果其包括与权利要求书的字面语言没有实质区别的等效结构元件，则这些其它示例旨在落入本权利要求书的范围内。