内容生成方法、装置、电子设备和计算机可读存储介质与流程

本公开实施例涉及图表图像处理，特别涉及一种内容生成方法、装置、电子设备和计算机可读存储介质。

背景技术：

1、在金融领域，每天都会产生大量的内容，例如证券市场的多种财经新闻、股市行情播报、行业和公司研报、上市公司财报和信息公告、基金信托保险公司的产品宣传等海量的内容信息，这些内容信息往往包含图表、图像、文字等内容，并以富文本格式的图像文档形式存在，很多金融机构会采集公开的金融图像文档，并提取其中的内容信息用于投资分析和辅助决策。其中，图表中蕴含有丰富的信息，并且能够直观的进行决策信息展示，例如：数据相关性、识别异常值以及趋势性。用户可以基于对图表的理解进行数据分析和生成见解，辅助其进行后续的决策。

技术实现思路

1、本公开实施例提供一种内容生成方法、装置、电子设备和计算机可读存储介质，能够提高数据分析效率。

2、第一方面，本公开实施例提供了一种内容生成方法，所述方法包括：

3、获取待处理的图表图像的图表图像特征向量；

4、获取预设的提示指令的提示指令文本向量；所述提示指令用于指示所需生成的所述图表图像的内容；

5、将所述图表图像特征向量和所述提示指令文本向量输入预设的图表图像语言特征提取模型，由所述图表图像语言特征提取模型根据所述提示指令文本向量中的提示指令信息提取所述图表图像特征向量中的语言特征信息，根据所述语言特征信息得到图表图像语言特征向量；

6、根据所述图表图像语言特征向量和所述提示指令文本向量生成所述图表图像的内容。

7、第二方面，本公开提供了一种内容生成装置，包括：

8、第一获取模块，用于获取待处理的图表图像的图表图像特征向量；

9、第二获取模块，用于获取预设的提示指令的提示指令文本向量；所述提示指令用于指示所需生成的该图表图像的内容；

10、输入模块，用于将所述图表图像特征向量和所述提示指令文本向量输入预设的图表图像语言特征提取模型，由所述图表图像语言特征提取模型根据所述提示指令文本向量中的提示指令信息提取所述图表图像特征向量中的语言特征信息，根据所述语言特征信息得到图表图像语言特征向量；

11、生成模块，用于根据所述图表图像语言特征向量和所述提示指令文本向量生成所述图表图像的内容。

12、第三方面，本公开提供了一种电子设备，可以包括：

13、至少一个处理器；以及

14、与所述至少一个处理器通信连接的存储器；其中，

15、所述存储器存储有可被所述至少一个处理器执行的一个或多个计算机程序，一个或多个所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行所述的内容生成方法。

16、第四方面，本公开提供了一种计算机可读存储介质，其上存储有计算机程序，其中，所述计算机程序在被处理器执行时实现所述的内容生成方法。

17、本公开实施例能够自动获取待处理的图表图像的图表图像特征向量，得到图表图像中的信息，并自动获取预设的提示指令的提示指令文本向量，得到提示指令信息，并根据提示指令文本向量中的提示指令信息从该图表图像特征向量中提取语言特征信息，以便能够得到与提示指令相匹配的语言特征信息，根据该语言特征信息生成图表图像语言特征向量，保证了图表图像语言特征向量所表征的图表图像的语言特征信息的准确性，最后根据图表图像语言特征向量和提示指令文本向量生成图表图像的内容，实现了对图表图像内容的自动提取，提高了数据分析效率，并保证了数据分析准确率。

18、应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

技术特征：

1.一种内容生成方法，其特征在于，所述方法包括：

2.根据权利要求1所述的内容生成方法，其特征在于，所述图表图像语言特征提取模型包括：图像变换器transformer、文本transformer和可学习的参数矩阵；

3.根据权利要求2所述的内容生成方法，其特征在于，所述根据所述语言特征信息得到图表图像语言特征向量，包括：

4.根据权利要求2所述的内容生成方法，其特征在于，所述图表图像语言特征提取模型的获取方法包括：

5.根据权利要求4所述的内容生成方法，其特征在于，所述图表图像数据包含：多个样本对以及每个所述样本对对应的样本标识，每个所述样本对包含图表图像样本和与所述图表图像样本配对的图表图像内容样本，所述样本标识用于指示所述图表图像样本与配对的所述图表图像内容样本的第一信息相似度；所述文本数据包含：预设的提示指令样本的文本。

6.根据权利要求5所述的内容生成方法，其特征在于，所述将参数矩阵和所述图表图像特征样本向量输入预设的图像transformer网络结构，获得所述图像transformer网络结构的输出结果，包括：

7.根据权利要求6所述的内容生成方法，其特征在于，所述根据所述图像transformer网络结构的输出结果和所述文本transformer网络结构的输出结果计算损失值，包括：

8.根据权利要求4所述的内容生成方法，其特征在于，所述根据所述损失值获得所述图表图像语言特征提取模型，包括：

9.根据权利要求8所述的内容生成方法，其特征在于，在保存所述文本transformer网络结构的参数、所述图像transformer网络结构的参数和所述参数矩阵的参数之前，所述图表图像语言特征提取模型的获取方法还包括：

10.根据权利要求9所述的内容生成方法，其特征在于，所述根据所述模型损失获得所述图表图像语言特征提取模型，包括：

11.根据权利要求2-10任意一项所述的内容生成方法，其特征在于，所述图像transformer网络结构包括：多个第一自注意力层、至少一个交叉注意力层和至少一个第一前馈神经网络层；

12.根据权利要求11所述的内容生成方法，其特征在于，所述文本transformer网络结构包括：多个第二自注意力层和至少一个第二前馈神经网络层；

13.根据权利要求1-10任意一项所述的内容生成方法，其特征在于，所述获取待处理的图表图像的图表图像特征向量，包括：

14.根据权利要求1-10任意一项所述的内容生成方法，其特征在于，所述根据所述图表图像语言特征向量和所述提示指令文本向量生成所述图表图像的内容，包括：

15.一种内容生成装置，其特征在于，包括：

16.一种电子设备，其特征在于，包括：

17.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序在被处理器执行时实现如权利要求1-14中任一项所述的内容生成方法。

技术总结
本公开实施例提供了一种内容生成方法、装置、电子设备和计算机可读存储介质，该方法包括：获取待处理的图表图像的图表图像特征向量；获取预设的提示指令的提示指令文本向量；提示指令用于指示所需生成的该图表图像的内容；将图表图像特征向量和提示指令文本向量输入预设的图表图像语言特征提取模型，由图表图像语言特征提取模型根据提示指令文本向量中的提示指令信息提取图表图像特征向量中的语言特征信息，根据语言特征信息得到图表图像语言特征向量；根据图表图像语言特征向量和提示指令文本向量生成图表图像的内容。通过该实施例方案提高了数据分析效率。

技术研发人员：李犇,张杰
受保护的技术使用者：北京中关村科金技术有限公司
技术研发日：
技术公布日：2024/1/15