图文数据的关系挖掘方法、装置、设备和可读存储介质与流程

本申请涉及数据处理，具体涉及一种图文数据的关系挖掘方法、装置、电子设备和计算机可读存储介质。

背景技术：

1、在互联网的浪潮下，人们经常会在一些社交平台上分享笔记、视频等一些包含图文数据的多媒体内容，以用于分享心得、发布广告等，有时需明确人们发布的图文数据中的一些图像和文字之间是否存在关系，以便于更好的应对用户需求，例如，在对一些商品进行精准检索和识别的场景中，需明确每一图文数据中的图像和文字之间的关系，来精准匹配相应的商品信息。

2、在现有技术中，一般是通过人为手动的方式来为图文数据中出现的图像和文字标注相应的信息，以实现两者之间关系的匹配，但由于需挖掘关系的图文数据过多，而且，人们手动标注所花费的时间过长，从而导致图文数据的关系挖掘效率较低。

技术实现思路

1、本申请实施例提供一种图文数据的关系挖掘方法、装置、电子设备和计算机可读存储介质，可以提高图文数据的关系挖掘效率。

2、第一方面，本申请实施例提供一种图文数据的关系挖掘方法，上述方法包括：

3、获取待挖掘的图文数据，上述图文数据中包括至少一个目标图像和至少一段描述文本；

4、确定上述图文数据中的各个目标图像在上述图文数据中的图像布局信息；

5、基于各个上述目标图像的图像布局信息，确定各个上述目标图像在上述图文数据中的至少一个排列方向上的排列指示信息；

6、基于各个上述目标图像在至少一个排列方向上的排列指示信息，确定出符合预设的顺序排列条件的第一排列方向；

7、基于各个上述目标图像在第一排列方向上的中心点对上述图文数据进行区域划分，得到每个目标图像对应的图像区域；

8、基于各段上述描述文本的文本区域，以及各个上述目标图像的图像区域，确定出上述图文数据中存在关系的描述文本和目标图像。

9、第二方面，本申请实施例还提供一种图文数据的关系挖掘装置，上述装置包括：

10、数据获取模块，用于获取待挖掘的图文数据，上述图文数据中包括至少一个目标图像和至少一段描述文本；

11、第一信息确定模块，用于确定上述图文数据中的各个目标图像在上述图文数据中的图像布局信息；

12、第二信息确定模块，用于基于各个上述目标图像的图像布局信息，确定各个上述目标图像在上述图文数据中的至少一个排列方向上的排列指示信息；

13、方向确定模块，用于基于各个上述目标图像在至少一个排列方向上的排列指示信息，确定出符合预设的顺序排列条件的第一排列方向；

14、区域划分模块，用于基于各个上述目标图像在第一排列方向上的中心点对上述图文数据进行区域划分，得到每个目标图像对应的图像区域；

15、关系确定模块，用于基于各段上述描述文本的文本区域，以及各个上述目标图像的图像区域，确定出上述图文数据中存在关系的描述文本和目标图像。

16、第三方面，本申请实施例还提供一种电子设备，包括存储器存储有多条指令；所述处理器从所述存储器中加载指令，以执行本申请实施例所提供的任一种图文数据的关系挖掘方法中的步骤。

17、第四方面，本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有多条指令，所述指令适于处理器进行加载，以执行本申请实施例所提供的任一种图文数据的关系挖掘方法中的步骤。

18、本申请实施例中通过获取待挖掘的图文数据，该图文数据中包括至少一个目标图像和至少一段描述文本，从而通过确定上述图文数据中的各个目标图像在上述图文数据中的图像布局信息，以基于各个上述目标图像的图像布局信息，来确定各个上述目标图像在上述图文数据中的至少一个排列方向上的排列指示信息，然后对该排列指示信息进行判断，基于各个上述目标图像在至少一个排列方向上的排列指示信息，确定出符合预设的顺序排列条件的第一排列方向，再基于各个上述目标图像在第一排列方向上的中心点对上述图文数据进行区域划分，得到每个目标图像对应的图像区域，最后，基于各段描述文本的文本区域，以及各个目标图像的图像区域，确定出图文数据中存在关系的描述文本和目标图像，从而通过图文数据中的目标图像和描述文本的相对位置关系，以及目标图像的排列情况，来确定目标图像和描述文本之间是否存在关系，提高了图文数据的关系挖掘效率。

技术特征：

1.一种图文数据的关系挖掘方法，其特征在于，所述方法包括：

2.如权利要求1所述的图文数据的关系挖掘方法，其特征在于，所述图像布局信息中包括图像位置，所述排列指示信息包括间距排列信息和图像尺寸排列信息，所述基于各个所述目标图像的图像布局信息，确定各个所述目标图像在所述图文数据中的至少一个排列方向上的排列指示信息，包括：

3.如权利要求2所述的图文数据的关系挖掘方法，其特征在于，所述间距排列信息包括间距标准差和间距均值，所述基于每个所述目标图像在所述第二排列方向上的中心点，确定所述第二排列方向上的目标图像对应的间距排列信息，包括：

4.如权利要求3所述的图文数据的关系挖掘方法，其特征在于，所述图像尺寸排列信息包括尺寸标准差和尺寸均值，所述基于各个所述目标图像在至少一个排列方向上的排列指示信息，确定出符合预设的顺序排列条件的第一排列方向，包括：

5.如权利要求1所述的图文数据的关系挖掘方法，其特征在于，还包括：

6.如权利要求1所述的图文数据的关系挖掘方法，其特征在于，还包括：

7.如权利要求1至6任一项所述的图文数据的关系挖掘方法，其特征在于，所述基于各个所述目标图像在第一排列方向上的中心点对所述图文数据进行区域划分，包括：

8.一种图文数据的关系挖掘装置，其特征在于，所述装置包括：

9.一种电子设备，其特征在于，包括处理器和存储器，所述存储器存储有多条指令；所述处理器从所述存储器中加载指令，以执行如权利要求1至7任一项所述的图文数据的关系挖掘方法中的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有多条指令，所述指令适于处理器进行加载，以执行权利要求1至7任一项所述的图文数据的关系挖掘方法中的步骤。

技术总结
本申请公开了一种图文数据的关系挖掘方法、装置、电子设备和计算机可读存储介质，本申请实施例通过获取待挖掘的图文数据；确定图文数据中的各个目标图像在图文数据中的图像布局信息；基于各个目标图像的图像布局信息，确定各个目标图像在图文数据中的至少一个排列方向上的排列指示信息；基于各个目标图像在至少一个排列方向上的排列指示信息，确定出符合预设的顺序排列条件的第一排列方向；基于各个目标图像在第一排列方向上的中心点对图文数据进行区域划分，得到每个目标图像对应的图像区域；基于各段描述文本的文本区域，以及各个目标图像的图像区域，确定出图文数据中存在关系的描述文本和目标图像，可以提高图文数据的关系挖掘效率。

技术研发人员：张伟
受保护的技术使用者：小红书科技有限公司
技术研发日：
技术公布日：2024/3/21