基于红外光谱及热成像的人工智能故障定位方法及装置与流程

本发明本技术涉及故障定位方法和故障定位装置，特别是涉及故障ic载板的基于红外光谱及红外热成像的人工智能的故障定位方法和故障定位装置，属于电子产品智能检测领域。

背景技术：

1、现有技术一般通过阻抗测试结果预判疑似故障区域，但是这种检测是繁琐的，因为阻抗测试涉及到多个元器件的测试，从而还需要结合版图来分析大致的故障范围，其定位往往是不太精确，尤其对于复杂的电路。而ic元器件故障的一大特征是发热异常，从而导致ic板上存在至少一个热源。因此在光谱学意义上就产生的近红外和红外波段的异常。

2、因此红外成像成为现有技术ic载板准确确定发生位置的一种手段。但是需要对疑似故障区域进行研磨，这就制造了破坏非故障区域的风险。虽然适当的，成熟的研磨策略能够克服这一缺陷。但显然研发的时间成本是大的，但其优势也是明显低，最大限度地展现热源准确位置分布。因为如果不研磨则热扩散的速度可能是的成像速度跟不上，可能无法缩小范围精确确定热源。

3、因此如何利用现有技术的优缺点，又能整体上提高故障定位的准确性和识别效率，成为亟待解决的问题。

技术实现思路

1、鉴于现有技术上述的分析的问题，本发明考虑如下几点，第一通过光谱技术替代阻抗测试，从而快速获得疑似故障区域，第二利用人工标记和人工智能预测的差异，来不断优化的智能算法来准确识别故障的位置。

2、基于上述考虑，本发明一个方面提供基于红外光谱及红外热成像的人工智能的故障定位方法，包括如下步骤：

3、s1构建故障定位装置，所述故障定位装置包括上位机，以及在传送方向上依次分布在传送带附近的上料区，红外光谱检测区，研磨区，热成像区，下料区；

4、s2将ic载板从上料区进入，由传送带传送至红外光谱检测区，进行载板通电，在预设的时间起止时段内，扫描完红外光谱，将红外光谱实时上传至上位机，进行光谱异常识别；

5、s3 ic载板从红外光谱检测区传入研磨区，上位机仅对识别到的异常红外光谱的区域的载板，进行控制研磨区的多头研磨装置，以对所述异常红外光谱的区域进行研磨；

6、s4将研磨完毕的故障ic载板传入热成像区，将通电故障ic载板的热成像图传入上位机，进行人工智能识别，完成故障定位。

7、其中，步骤s2中所述红外光谱检测区包括设置在包含入口和出口的第一暗箱中的红外光谱扫描仪和通电探针，所述通电探针用于将探针与运输到位的ic载板进行搭接，以完成通电。优选地，所述预设的时间起止时段为通电后3-20s至通电后30s-3min。

8、步骤s3中所述多头研磨装置包括二维移动架，以及设置在二维移动架顶部升降架上的多头研磨头，其中每个研磨头上分别搭载了不同号的砂纸。

9、优选地，所述上位机根据多头研磨头上各研磨头的工作时长而判断砂纸需要更换与否，并在需要更换前一段时期内，发出更换预警。

10、优选地，所述研磨区具有受上位机控制的吸尘装置，将研磨过程中以及研磨完毕时故障ic载板表面的磨下物进行抽吸。

11、因此优选地，在研磨区还设置有受上位机控制的ic板限位装置，以让故障ic载板经过时暂停传送，而限制其因吸尘而产生的位置移动，所述吸尘装置的吸尘口安置在ic载板正上方可移动。

12、可选地，所述限位装置为在传送方向上依次设置的一对限位夹具。

13、步骤s4中的热成像区包括放入同样具有出口和入口的第二暗箱的热成像仪。

14、当故障定位识别为非正常，则在下料区通过分拣推动装置对非正常的故障ic载板进行从传送带上推除，进一步进行后续表征分析，对正常的ic载板进行人工或机械手收集存放。

15、步骤s2中光谱异常识别的方法包括如下步骤：

16、p1将光谱的波段范围4000-400cm-1按照预设的步长，划分成多个波段，将每一个波段内的光谱强度取波段两端点处强度的算术平均值，并且将所有波段内的算术平均值进行归一化，并映射成rgb彩色像素；

17、p2将映射完成的像素按照波长算术平均值由短至长，或由长至短顺序排列成测试矩形图，将测试矩形图与第一暗箱空载时，扫描的背景红外光谱同样通过步骤p1和p2所形成的背景矩形图作差分，形成差分图；

18、p3构建卷积神经网络，获取多个不同的故障情况(即不同位置的故障，以及非故障的)的ic载板对应形成的差分图分为训练集和验证集，通过训练集训练优化卷积神经网络，以完成获得光谱异常识别的卷积神经网络模型c。

19、优选地，所述步长为0.5cm-1-1cm-1。

20、优选地，所述卷积神经网络为具有残差机制的卷积神经网络resnet。

21、步骤s4中所述人工智能识别的方法包括：

22、q1获得多个不同的故障ic载板对应的热成像图，利用ic载板结构图与热成像图对照，人工标记出故障区域a，

23、q2对每一幅热成像图伪彩化，形成温度分布伪彩图，设定ic载板上各区域的温度阈值，并将温度分布伪彩图上对应各区域分别二值化，利用边缘检测识别出故障区域的轮廓区域p；q3将轮廓区域p输入roialign层，经全连接层fc，得到预测框p’，和故障区域a的人工框a’利用smooth(p',a')函数计算轮廓误差损失(例如p’和a’在预设方向上的平均间隙值)，反向传播来调整roialign层参数，进行框回归对预测框进行修正，使得轮廓误差趋于最小，停止训练，得到故障定位模型d；

24、q4将通过步骤q2处理的待测热成像图输入所述故障定位模型d中，输出预测结果。

25、可以理解的是，将预测框和人工的标记接近，使得最后训练的模型d具有人的标记习惯，从而更加能够体现人的经验，从而更加准确反映实际热源的精确范围，而无需热扩散范围，使得定位范围进一步精确。

26、步骤s4中，所述完成故障定位包括将预测结果配准到故障ic载板图和/或故障ic载板研磨后的影像图中。

27、在上述方法中，优选地，所述通电的电流小于等于10ma。

28、从传送带上被推除，进一步进行后续表征分析具体包括：根据配准结果对所述漏电故障位置进行纵向截面剖切处理以暴露具体故障位置，然后用显微镜对具体故障位置进行表征分析。

29、优选地，所述纵向截面剖切处理采用聚焦离子束、离子研磨或机械研磨方式进行。

30、本发明的另一个目的是，提供基于红外光谱及红外热成像的人工智能的故障定位装置，包括：上位机，以及在传送方向上依次分布在传送带附近的上料区，红外光谱检测区，研磨区，热成像区，下料区，其中，

31、所述红外光谱检测区包括设置在包含入口和出口的第一暗箱中的红外光谱扫描仪和通电探针，所述通电探针用于将探针与运输到位的ic载板进行搭接，以完成通电；

32、所述多头研磨装置包括二维移动架，以及设置在二维移动架顶部升降架上的多头研磨头，每个研磨头上分别搭载了不同号的砂纸；

33、热成像区包括放入第二暗箱的热成像仪；

34、所述上位机根据接收到的实时红外光谱进行光谱异常识别，仅对识别到的异常红外光谱的区域的载板，进行控制研磨区的多头研磨装置，以对所述异常红外光谱的区域进行研磨，并根据通电故障ic载板的热成像图进行人工智能识别，完成故障定位。优选地，所述红外光谱扫描仪为反射型。

35、优选地，所述上位机根据多头研磨头上各研磨头的工作时长而判断砂纸需要更换与否，并在需要更换前一段时期内，发出更换预警。

36、优选地，所述研磨区具有受上位机控制的吸尘装置，将研磨过程中以及研磨完毕时故障ic载板表面的磨下物进行抽吸。

37、因此优选地，在研磨区还设置有受上位机控制的ic板限位装置，以让故障ic载板经过时暂停传送，而限制其因吸尘而产生的位置移动，所述吸尘装置的吸尘口安置在ic载板正上方可移动。

38、可选地，所述限位装置为在传送方向上依次设置的一对限位夹具。

39、有益效果

40、1.通过红外光谱定位可疑故障源，将研磨区域进一步精确化，

41、2.通过人工智能模型分别对可疑故障的识别，以及研磨后故障区域进行精确定位。