基于图像-图谱多模态融合扩散模型的建筑结构设计方法

本发明涉及建筑结构设计，尤其涉及一种基于图像-图谱多模态融合扩散模型的建筑结构设计方法。

背景技术：

1、目前，在建筑结构初步设计阶段，主要依靠人工经验进行建筑结构的设计，设计效率较低，此外，目前依赖人工智能的设计存在仅依赖图像或图谱单一数据生成的问题，难以有效表达建筑结构设计条件。因此，亟需一种能够有效表达建筑结构设计各类条件，并快速可靠地完成建筑结构设计的智能化建筑结构设计方法。

技术实现思路

1、本发明提供一种基于图像-图谱多模态融合扩散模型的建筑结构设计方法，用以解决现有建筑结构智能设计仅依赖图像或图谱单一数据生成，设计结果质量较低的问题。

2、本发明提供一种基于图像-图谱多模态融合扩散模型的建筑结构设计方法，包括：

3、获取建筑设计图以及与所述建筑设计图相对应的设计条件结构化数据；

4、基于所述建筑设计图提取建筑空间信息特征数据，基于所述建筑空间信息特征数据提取建筑空间特征图谱；

5、将所述建筑空间特征图谱输入至预设的图像-图谱耦合编码器，生成输入第一特征数据；

6、基于从建筑设计图提取的建筑构件特征数据以及由设计条件结构化数据提取的设计条件特征数据，构建输入第二特征数据；

7、将所述输入第一特征数据及所述输入第二特征数据融合为输入特征数据；

8、将所述输入特征数据输入预获取的结构布置生成模型，得到结构布置生成模型输出的目标结构构件的布置特征数据；

9、提取所述布置特征数据中的建筑结构布置设计数据，生成针对于所述目标结构构件的建筑结构设计结果；

10、其中，所述预获取的结构布置生成模型为基于建筑构件特征样本数据，以及对应于所述建筑构件特征样本数据的第一特征样本数据及第二特征样本数据，使用扩散方法对神经网络模型进行训练得到的扩散模型。

11、根据本发明提供的一种基于图像-图谱多模态融合扩散模型的建筑结构设计方法，基于所述建筑设计图提取建筑空间信息特征数据，基于所述建筑空间信息特征数据提取建筑空间特征图谱，具体包括：

12、提取所述建筑设计图中建筑空间信息特征，其中所述建筑空间信息特征包括建筑空间的位置、尺寸、类型；

13、根据所述建筑空间信息特征，将建筑空间信息转化为建筑空间特征图谱。

14、根据本发明提供的一种基于图像-图谱多模态融合扩散模型的建筑结构设计方法，所述图像-图谱耦合编码器的训练过程为：

15、将所述建筑空间信息特征数据转化为建筑空间信息特征张量；

16、将所述建筑空间信息特征张量以及对应于所述建筑空间信息特征数据的建筑空间信息图谱组合形成建筑空间信息图像-图谱数据集；

17、利用所述建筑空间信息图像-图谱数据集，采用对比学习方法训练神经网络；

18、将训练完成的神经网络作为图像-图谱耦合编码器。

19、根据本发明提供的一种基于图像-图谱多模态融合扩散模型的建筑结构设计方法，利用所述建筑空间信息图像-图谱数据集，采用对比学习方法训练神经网络，具体包括：

20、将所述图像-图谱数据集中，所述建筑空间信息特征张量及对应于所述建筑空间信息特征数据的建筑空间信息图谱作为正样本，将所述建筑空间信息特征张量及不对应于所述建筑空间信息特征数据的建筑空间信息图谱作为负样本；

21、将所述正样本及所述负样本输入预先初始化的神经网络，利用对比损失函数优化所述神经网络权重；

22、当所述对比损失函数不再下降时，将此时的所述神经网络作为所述训练完成的神经网络。

23、根据本发明提供的一种基于图像-图谱多模态融合扩散模型的建筑结构设计方法，所述基于从建筑设计图提取的建筑构件特征数据以及由设计条件结构化数据提取的设计条件特征数据，构建输入第二特征数据，具体包括：

24、提取所述建筑设计图中的第一特征数据和第二特征数据，以及提取所述设计条件结构化数据中的设计条件特征数据，所述第一特征数据为所述建筑设计图中所有建筑构件的特征数据，所述第二特征数据为所述建筑设计图中所述目标结构构件的候选布置位置的特征数据；

25、将所述第一特征数据、所述第二特征数据和所述设计条件特征数据分别表征为特征张量；

26、将第一特征数据的特征张量和设计条件特征数据的特征张量融合，得到建筑特征张量；

27、基于第二特征数据的特征张量，将所述建筑特征张量的相应位置置为高斯噪声，得到输入张量，将所述输入张量作为所述输入第二特征数据。

28、根据本发明提供的一种基于图像-图谱多模态融合扩散模型的建筑结构设计方法，将所述输入第一特征数据及所述输入第二特征数据融合为输入特征数据，具体包括：

29、将所述输入第一特征数据与输入第二特征数据分别乘以预先设置的第一特征数据及第二特征数据权重，得到调幅后第一特征数据及第二特征数据；

30、将所述调幅后第一特征数据及第二特征数据按位乘法形成输入特征数据。

31、根据本发明提供的一种基于图像-图谱多模态融合扩散模型的建筑结构设计方法，所述提取所述布置特征数据中的建筑结构布置设计数据，生成针对于所述目标结构构件的建筑结构设计结果，具体包括：

32、将所述建筑结构布置设计数据表征为结构布置三阶张量；

33、将所述结构布置三阶张量中的所述建筑特征张量和所述目标结构构件的特征张量采用可视化方法通过仿射变换表达为设计图，作为针对于所述目标结构构件的所述建筑结构设计结果。

34、本发明还提供一种基于图像-图谱多模态融合扩散模型的建筑结构设计系统，所述系统包括：

35、数据获取模块，用于获取建筑设计图以及与所述建筑设计图相对应的设计条件结构化数据；

36、数据提取模块，用于基于所述建筑设计图提取建筑空间信息特征数据，基于所述建筑空间信息特征数据提取建筑空间特征图谱；

37、输入第一特征数据生成模块，用于将所述建筑空间特征图谱输入至预设的图像-图谱耦合编码器，生成输入第一特征数据；

38、输入第二特征数据生成模块，用于基于从建筑设计图提取的建筑构件特征数据以及由设计条件结构化数据提取的设计条件特征数据，构建输入第二特征数据；

39、融合模块，用于将所述输入第一特征数据及所述输入第二特征数据融合为输入特征数据；

40、布置特征数据生成模块，用于将所述输入特征数据输入预获取的结构布置生成模型，得到结构布置生成模型输出的目标结构构件的布置特征数据；

41、结果输出模块，用于提取所述布置特征数据中的建筑结构布置设计数据，生成针对于所述目标结构构件的建筑结构设计结果；

42、其中，所述预获取的结构布置生成模型为基于建筑构件特征样本数据，以及对应于所述建筑构件特征样本数据的第一特征样本数据及第二特征样本数据，使用扩散方法对神经网络模型进行训练得到的扩散模型。

43、本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述基于图像-图谱多模态融合扩散模型的建筑结构设计方法。

44、本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述基于图像-图谱多模态融合扩散模型的建筑结构设计方法。

45、本发明提供的基于图像-图谱多模态融合扩散模型的建筑结构设计方法，通过获取建筑设计图及建筑设计图的设计条件结构化数据，提取相关建筑空间特征图谱，将提取的建筑空间特征图谱通过图像-图谱耦合编码器进行耦合编码，将得到的多项数据录入至结构布置生成模型，得到结构布置生成模型输出的目标结构构件的布置特征数据；提取布置特征数据中的建筑结构布置设计数据，生成针对于目标结构构件的建筑结构设计结果；能够有效表达建筑结构设计各类条件，并快速可靠地完成建筑结构设计的智能化建筑结构设计，提升设计质量。