一种大变形结构的视觉图像序列生成方法与装置

本发明涉及计算机仿真领域，尤其涉及多体系统刚柔耦合技术的仿真领域。

背景技术：

1、在航天领域，人们难以直接对卫星等大变形目标进行直接的现场观测，所以需要采用采集图像，然后再对图像进行分析处理的方式，来研究大变形目标场景的动力学问题。

2、近年来，卷积神经网络技术发展迅猛，其已经逐渐地应用到图像的分析处理过程中。卷积神经网络是计算机视觉智能化的重要一环，在采用卷积神经网络对图像进行分析处理的过程中，需要采用大规模标注数据即训练集对初始卷积神经网络进行训练，才能获得能处理图像问题的训练完成的卷积神经网络。

3、在卷积神经网络的训练过程中，训练集数据量的大小起到至关重要的作用，越是庞大的训练集越有利于对卷积神经网络中参数进行充分训练，只有充分训练才能保证卷积神经网络的准确率；相反，当训练集数据量较少时，模型训练可能存在以下问题：

4、1、模型训练时可能无法收敛：少量训练数据难以提供足够的信息供给模型学习，导致模型可能无法收敛；

5、2、过拟合问题：模型把训练数据中的完全不相关的信息纳入学习内容，容易受到噪声干扰导致过拟合；

6、3、容易陷入局部最优值；

7、4、难以衡量模型质量：训练数据与测试数据均较少，少量数据正确与否可能会对结果产生较大影响。

8、当将卷积神经网络技术应用于航天领域时，由于航天领域中含有大变形目标场景的在轨采集图像数据量比较稀少，导致没有办法提供大规模标注数据用于卷积神经网络训练，即：航天领域原始图像数据较少，无法满足卷积神经网络训练数据量要求的问题，针对该问题，本领域技术人员曾尝试过一些解决办法，例如使用迁移学习的方法，或者数据增强的方法：

9、其中，所述使用迁移学习的方法可以利用已经训练成熟的网络来解决新的问题，但是迁移学习本身也存在一定问题，即领域适应问题；所述领域适应问题，是由原网络的目标域和当前需要处理的目标域之间可能存在的较大差距引起的，如何针对领域差异对源领域知识进行调整优化是一个挑战；尤其是在航空航天行业，针对这一行业中特定目标域的预训练网络较少，迁移学习难度较大。

10、采用采用数据增强的方法，确实可以在一定程度上解决网络数据量小而导致的泛化能力差的问题；但是数据增强过程中可能引入噪声误差，从而大幅降低网络性能，也可能会损害未增强数据的性能。

11、综上所述，针对上述将卷积神经网络技术应用于航天领域时，出现的航天领域原始图像数据较少，无法满足卷积神经网络训练数据量要求的问题，本领域技术人员暂时没有提供太好的解决方案，这成为了本领域技术人员一直想要解决而没有解决的技术难题。

12、另外，针对这种空间大变形目标，还存在对其动力学信息进行辨识测量的问题。现有的辨识测量方法分为有标识点的视觉算法和无标识点的视觉算法：

13、所述有标识点的视觉算法，是指在空间大变形目标上引入标识点，然后利用不同更高精度的相机组对标识点运动情况进行测量的视觉算法；此种视觉算法可以很好地评估其自身算法的准确度，但是标识点的引入又会对模型本身动力学信息造成影响，从而影响测量准确性；所以人们更倾向于使用无标识点的视觉算法；

14、所述无标识点的视觉算法，因为无需引入标识点，所以不会因标识点的引入而影响测量的准确性，但是此种视觉算法的自身算法精度难以评估。

技术实现思路

1、本发明解决了现有技术所存在的将卷积神经网络技术应用于航天领域时，出现的航天领域原始图像数据较少，无法满足卷积神经网络训练数据量要求的问题，以及视觉算法的自身算法精度难以评估的问题。

2、本发明所述的一种大变形结构的视觉图像序列生成方法，其技术方案如下：

3、所述视觉图像序列生成方法包括以下步骤；

4、s1、绘制大变形目标的三维模型；所述三维模型包括刚体部分和柔性体部分；

5、s2、对所述柔性体部分进行有限元划分；

6、s3、根据有限元划分结果，对所述柔性体部分进行网格划分，并将网格划分后的柔性体部分存储为.msh文件；

7、s4、采用mbdyn对刚性部分和柔性体部分进行耦合连接，获得大变形目标的刚柔耦合模型；

8、s5、对大变形目标的刚柔耦合模型进行动力学仿真，获得大变形目标的仿真结果；

9、s6、将所述仿真结果进行模型可视化展示，获取仿真图像；

10、s7、在所述仿真图像中设置相机视角，对设置相机视角后的仿真图像进行渲染，获得相机视角下的图像序列。

11、进一步的，提供一个优选实施方式，所述方法还包括步骤s5.1；

12、s5.1、根据仿真结果，获取大变形目标的刚柔耦合模型的节点空间运动信息。

13、本发明还提出了一种大变形结构的视觉图像序列生成装置，其技术方案如下：所述视觉图像序列生成装置包括三维建模模块、有限元划分模块、网格划分模块、耦合建模模块、仿真模块、模型可视化模块以及图像序列生成模块；

14、所述三维建模模块，用于绘制大变形目标的三维模型；所述三维模型包括刚体部分和柔性体部分；

15、所述有限元划分模块，用于对所述柔性体部分进行有限元划分；

16、所述网格划分模块，用于根据有限元划分结果，对所述柔性体部分进行网格划分，并将网格划分后的柔性体部分存储为.msh文件；

17、所述耦合建模模块，用于采用mbdyn对刚性部分和柔性体部分进行耦合连接，获得大变形目标的刚柔耦合模型；

18、所述仿真模块，用于对大变形目标的刚柔耦合模型进行动力学仿真，获得大变形目标的仿真结果；

19、所述模型可视化模块，用于将所述仿真结果进行模型可视化展示，获取仿真图像；

20、所述图像序列生成模块，用于在所述仿真图像中设置相机视角，还用于对设置相机视角后的仿真图像进行渲染，获得相机视角下的图像序列。

21、进一步的，提供一个优选实施方式，所述耦合建模模块包括刚体配置单元、柔性体配置单元以及刚柔耦合模型配置；

22、所述刚体配置单元，用于采用rigidbody形式配置刚体部分；

23、所述柔性体配置单元，用于采用gmshele形式配置柔性体部分；

24、所述刚柔耦合模型配置，用于采用将柔性节点连接至刚体的形式，对刚体部分和柔性体部分进行耦合连接。

25、进一步的，提供一个优选实施方式，所述仿真模块，还用于根据仿真结果，获取大变形目标的刚柔耦合模型的节点空间运动信息。

26、进一步的，提供一个优选实施方式，所述图像序列生成模块包括相机视角设置单元、模型外观设置单元以及渲染单元；

27、所述相机视角设置单元，用于在所述仿真图像中添加相机，还有于定义所添加相机的位姿以及相机参数，完成相机视角设置；

28、所述模型外观设置单元，用于对所述仿真图像中的刚柔耦合模型的外观参数进行定义；

29、所述渲染单元，用于对所述相机视角设置完成且外观参数定义完成的仿真图像进行渲染，获得相机视角下的图像序列。

30、本发明还提出了一种大变形结构的视觉图像序列生成设备，其技术方案如下：一种大变形结构的视觉图像序列生成设备包括处理器和存储器，所述存储器用于存储所述处理器的可执行指令，所述处理器配置为经由执行所述可执行指令来执行上述的一种大变形结构的视觉图像序列生成方法。

31、本发明还提出了一种计算机存储介质，其技术方案如下：

32、所述存储介质中存储有计算机程序，所述计算机程序运行时，执行上述的一种大变形结构的视觉图像序列生成方法。

33、本发明还提出了无标识点的视觉算法的精度评估方法，其技术方案如下：

34、所述方法包括以下步骤：

35、st1、在大变形目标中选取节点作为测量点；

36、st2、采用无标识点的视觉算法计算测量点的运动信息，获得待评估计算数据；

37、st3、采用上述一种大变形结构的视觉图像序列生成方法，获取大变形目标的刚柔耦合模型的与测量点对应的节点的空间运动信息，并将所述与测量点对应的节点的空间运动信息作为精确参考数据；

38、st4、将所述待评估计算数据与所述精确参考数据进行对比分析，获得无标识点的视觉算法的精度评估结果。

39、本发明有以下有益效果：

40、1.本发明所述的一种大变形结构的视觉图像序列生成方法，通过获取所述相机视角下的图像序列，能够模拟大变形目标的真实拍摄情况，进而能够模拟大变形目标在不同光照条件、不同激励扰动等场景下的真实运动状态。

41、2.本发明所述的一种大变形结构的视觉图像序列生成方法，通过获取所述相机视角下的图像序列，可以代替大变形目标的真实拍摄数据，为卷积神经网络的训练提供大量的标注数据，进而解决了航天领域原始图像数据较少，无法满足卷积神经网络训练数据量要求的问题，即解决了本领域技术人员一直想要解决而没有解决的技术难题。

42、3.本发明所述的一种大变形结构的视觉图像序列生成方法，通过获取所述节点空间运动信息，能够模拟大变形目标在真实场景下各个节点的空间运动；所述节点空间运动信息，可以作为各种视觉算法(如无标识点的视觉算法)精度(或准确度)评估的依据。

43、本发明所述的一种大变形结构的视觉图像序列生成方法与装置，适用于对大变形目标进行多体动力学仿真。