诊断方法、深度学习训练方法及存储介质与流程

本发明涉及电路板故障诊断领域，具体提供一种诊断方法、深度学习训练方法及存储介质。

背景技术：

1、在现有的电路板故障诊断技术中，是通过技术人员的肉眼进行判断，不仅仅要求专业度，而且受限于技术人员起伏状态，使最终的诊断效果不佳。

2、如今随着人工智能的发展，人工智能的识别能力给诊断工作的自动化带来了希望。但是目前由于电路板的复杂性，包含众多小型、相似的元件，在处理复杂电路板图像时，人工智能常常会遇到所谓的“幻觉”现象，导致故障判断错误。

3、相应地，本领域需要一种新的诊断方案来解决上述问题。

技术实现思路

1、为了克服上述缺陷，提出了本发明，以提供解决或至少部分地解决现有技术中的人工智能诊断电路板时会遇到幻觉问题。

2、在第一方面，本发明提供一种诊断方法，所述方法包括：通过已经训练好的识别模型识别电路板图，得到电路板的标注图以及对应所述标注图中元件的类别信息；基于所述类别信息生成对应所述标注图的问题集；将所述标注图以及所述问题集输入至训练好的多模态大模型中，得到诊断结果。

3、作为以上方案的替代或补充，在根据本发明一实施例的方法中，所述多模态大模型至少包括视觉编码器、文本编码器以及大语言模型，所述将所述标注图以及所述问题集输入至训练好的多模态大模型中，得到诊断结果，包括：至少基于所述标注图以及视觉编码器，得到第一特征向量；将所述问题集发送至文本编码器中，得到第二特征向量；将所述第一特征向量和第二特征向量进行融合，得到第三特征向量；将所述第三特征向量输入至大语言模型中，得到诊断结果。

4、作为以上方案的替代或补充，在根据本发明一实施例的方法中，所述多模态大模型还包括感知层，其中所述感知层用于将视觉编码器的输出转换成所述大语言模型更容易理解的特征向量，所述至少基于所述标注图以及视觉编码器，得到第一特征向量，包括：将所述标注图发送至视觉编码器中，得到初始特征向量；将所述初始特征向量发送至所述感知层中，得到第一特征向量。

5、作为以上方案的替代或补充，在根据本发明一实施例的方法中，所述标注图包括：电路板图以及标注，其中所述标注用于以图像的方式标注元件。

6、作为以上方案的替代或补充，在根据本发明一实施例的方法中，所述标注包括：视觉标记以及与视觉标记对应的标识符，其中所述标识符以图像的形式位于对应的视觉标记处，所述视觉标记用于使多模态大模型处理中的注意力更集中于视觉标记附近。

7、在第二方面，本发明提供一种深度学习训练方法，所述方法包括：获取第一电路板图；通过已经训练好的识别模型识别所述第一电路板图，得到电路板的标注图以及对应所述标注图中元件的类别信息，其中所述标注图包括视觉标记以及与视觉标记对应的标识符；基于所述标注图以及所述类别信息，得到对应所述标注图的训练语料，其中所述训练语料中包括对所述元件的说明；将所述训练语料以及所述标注图输入至多模态大模型中，并基于反向传播的方式对所述多模态大模型进行训练。

8、作为以上方案的替代或补充，在根据本发明一实施例的方法中，所述多模态大模型至少包括视觉编码器、文本编码器以及大语言模型，所述将所述训练语料以及所述标注图输入至多模态大模型中，包括：基于所述标注图以及视觉编码器，得到第一特征向量；将所述训练语料发送至文本编码器中，得到第二特征向量；将所述第一特征向量和第二特征向量进行融合，得到第三特征向量；将所述第三特征向量输入至大语言模型中。

9、作为以上方案的替代或补充，在根据本发明一实施例的方法中，所述识别模型的训练方法包括：获取标注图样本以及类别信息样本；将所述标注图样本以及所述类别信息样本输入至所述识别模型中，并基于反向传播的方式对所述识别模型进行训练。

10、作为以上方案的替代或补充，在根据本发明一实施例的方法中，其中所述标注图包括视觉标记以及与视觉标记对应的标识符。

11、在第三方面，提供一种控制装置，该控制装置包括处理器和存储装置，所述存储装置适于存储多条计算机程序，所述计算机程序适于由所述处理器加载并运行以执行上述诊断方法的技术方案中任一项技术方案所述的诊断方法。

12、在第四方面，提供一种计算机可读存储介质，该计算机可读存储介质其中存储有多条计算机程序，所述计算机程序适于由处理器加载并运行以执行上述诊断方法的技术方案中任一项技术方案所述的诊断方法。

13、本发明上述一个或多个技术方案，至少具有如下一种或多种

14、有益效果：

15、在实施本发明的技术方案中，通过将已经训练好的识别模型应用于电路板图像分析中，有效地获取了电路板的标注图及元件的类别信息。进一步地，基于元器件类别信息生成的问题集，为多模态大模型提供了详细的依据，使得多模态大模型在处理复杂的电路板时能够更加准确地关联视觉数据和对应的类别。提升了电路板故障诊断的准确性和效率。

技术特征：

1.一种诊断方法，其特征在于，包括：

2.根据权利要求1所述的诊断方法，其特征在于，所述多模态大模型至少包括视觉编码器、文本编码器以及大语言模型，所述将所述标注图以及所述问题集输入至训练好的多模态大模型中，得到诊断结果，包括：

3.根据权利要求2所述的诊断方法，其特征在于，所述多模态大模型还包括感知层，所述至少基于所述标注图以及视觉编码器，得到第一特征向量，包括：

4.根据权利要求2或3所述的诊断方法，其特征在于，所述标注图包括：电路板图以及标注，其中所述标注用于以图像的方式标注元件。

5.根据权利要求4所述的诊断方法，其特征在于，所述标注包括：视觉标记以及与视觉标记对应的标识符，其中所述标识符以图像的形式位于对应的视觉标记处，所述视觉标记用于使多模态大模型处理中的注意力更集中于视觉标记附近。

6.一种深度学习训练方法，其特征在于，

7.根据权利要求6所述的深度学习训练方法，其特征在于，所述多模态大模型至少包括视觉编码器、文本编码器以及大语言模型，所述将所述训练语料以及所述标注图输入至多模态大模型中，包括：

8.根据权利要求6所述的深度学习训练方法，其特征在于，所述识别模型的训练方法包括：

9.根据权利要求7所述的深度学习训练方法，其特征在于，其中所述标注图包括视觉标记以及与视觉标记对应的标识符。

10.一种计算机可读存储介质，其中存储有多条计算机程序，其特征在于，所述计算机程序适于由处理器加载并运行以执行权利要求1至5中任一项所述的诊断方法或权利要求6至9中任一项所述的深度学习训练方法。

技术总结
本发明涉及诊断方法、深度学习训练方法及存储介质。所述方法包括：通过已经训练好的识别模型识别电路板图，得到电路板的标注图以及对应所述标注图中元件的类别信息；基于所述类别信息生成对应所述标注图的问题集；将所述标注图以及所述问题集输入至训练好的多模态大模型中，得到诊断结果。本技术通过将已经训练好的识别模型应用于电路板图像分析中，有效地获取了电路板的标注图及元件的类别信息。进一步地，基于元器件类别信息生成的问题集，为多模态大模型提供了详细的依据，使得多模态大模型在处理复杂的电路板时能够更加准确地关联视觉数据和对应的类别。提升了电路板故障诊断的准确性和效率。

技术研发人员：钟南昌
受保护的技术使用者：芜湖云从科技有限公司
技术研发日：
技术公布日：2024/10/21