多模态植物知识查询方法、系统及计算机设备

本发明涉及知识图谱领域，特别是涉及一种多模态植物知识查询方法、系统及计算机设备。

背景技术：

1、植物是生命的主要形态之一，现存植物有几十万个物种，分为种子植物、苔藓植物、蕨类植物和藻类植物等不同类别。植物有重要的生态、经济和社会价值。例如，生长在热带和亚热带海岸潮间带的红树林，在净化水体、防风消浪、护岸固堤等方面发挥着重要作用。红树林还具有极高的生态系统服务价值，可以维持海岸带生态系统平衡，保护海岸生物多样性，减缓全球气候变化。同时，红树林能提供多种生物技术产品,具有生态旅游、自然教育和科学研究等功能和价值。准确认识植物的种类、特点、分布、功用和价值，是保护和合理利用植物资源的必要前提。

2、植物知识包括：(1)物种分类知识。包括门、纲、目、科、属、种的概念以及概念间的关系。(2)物种的器官及解剖结构知识。包括植物器官和解剖结构的概念以及概念间的关系，和物种与结构概念间的关系。(3)物种的形态特征知识。包括生长方式、形态、形状、颜色、质地的概念，以及物种及其器官、解剖结构与形态特征概念间的关系。(4)环境和地域知识。包括生境、栖息地、保护区、行政区域和环境条件的概念，以及物种与地域和环境概念间的关系。

3、但是，目前的植物知识仍以百科网站和植物志网站的半结构化图片和文本数据，或者植物图谱等纸质图集数据为主，有多源分散、碎片化、冗余、存在结构和语义冲突等问题，而且不同概念、概念属性文本、概念对应图像之间缺少关联关系或关系不明确。同时，半结构化或非结构化的数据形式使得这些数据难以被计算机自动处理和计算，也不支持逻辑推理，知识的查询检索功能较弱，较难进行诸如语义检索、问答等具体的知识应用。

技术实现思路

1、基于此，本发明的目的在于，提供一种多模态植物知识查询方法、系统及计算机设备，其具有利用多模态数据，强化植物知识的查询检索功能，提高对植物知识的查询应用的优点。可以支持植物学、农林、医药、海洋、生态、检验检疫等科研人员、教师和学生查询和学习，也可供普通大众全面学习植物科学使用。

2、一种多模态植物知识查询方法，包括以下步骤：

3、获取植物的图文多模态要素和图文跨模态关系，构建多模态植物知识图谱的模式层，其中，所述模式层包括植物本体；

4、根据所述植物本体，结合图文多模态数据，构建所述多模态植物知识图谱的文本数据层和图像数据层；

5、建立所述图文多模态数据与所述植物本体之间的映射关系；

6、根据所述映射关系，将所述文本数据层和所述图像数据层映射到所述模式层，构建多模态植物知识图谱；

7、将所述多模态植物知识图谱存入图数据库，通过图文检索，调用所述多模态植物知识图谱，查询植物知识。

8、一种植物知识查询系统，包括：

9、模式层构建模块，用于获取植物的图文多模态要素和图文跨模态关系，构建多模态植物知识图谱的模式层，其中，所述模式层包括所述植物本体；

10、数据层生成模块，用于根据所述植物本体，结合图文多模态数据，构建所述多模态植物知识图谱的文本数据层和图像数据层；

11、映射关系建立模块，用于建立所述图文多模态数据与所述植物本体之间的映射关系；

12、知识图谱生成模块，用于根据所述映射关系，将所述文本数据层和所述图像数据层映射到所述植物本体，构建多模态植物知识图谱；

13、查询模块，用于将所述多模态植物知识图谱存入图数据库，通过图文检索，调用所述多模态植物知识图谱，查询植物知识。

14、一种计算机设备，包括：处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述的多模态植物知识查询方法的步骤。

15、一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述的多模态植物知识查询方法的步骤。

16、本发明所述的多模态植物知识查询方法、系统及计算机设备，通过获取植物的多模态要素和图文跨模态关系，构建多模态植物知识图谱的模式层，结合图文多模态数据，分别生成所述多模态植物知识图谱的文本数据层和图像数据层。通过建立所述图文多模态数据与所述概念层次体系之间的映射关系，将所述文本数据层和图像数据映射到所述模式层，最终构建多模态植物知识图谱，并将所述多模态植物知识图谱存入图数据库中，用于知识查询。

17、本申请实施例中的多模态植物知识查询方法主要用于构建多模态红树林知识图谱，并存入图数据库中，用于红树林植物知识查询。

18、本申请中的多模态植物知识查询方法，通过构建多模态植物知识图谱，并存入图数据库中，明确了不同概念、概念属性文本、概念对应图像之间的关系，实现了植物知识及其复杂语义关系的形式化描述，利用多模态数据，实现了碎片化、扁平化知识的发现、表达、关联与融合、服务，支撑智能化植物知识服务，强化了植物知识检索查询功能，使得植物知识更加简单便捷的被应用。

19、为了更好地理解和实施，下面结合附图详细说明本发明。

技术特征：

1.一种多模态植物知识查询方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的多模态植物知识查询方法，其特征在于，所述构建多模态植物知识图谱的模式层，包括以下步骤：

3.根据权利要求2所述的多模态植物知识查询方法，其特征在于，构建所述多模态植物知识图谱的文本数据层和图像数据层，包括以下步骤：

4.根据权利要求3所述的多模态植物知识查询方法，其特征在于，构建所述多模态植物知识图谱的文本数据层和图像数据层，还包括以下步骤：

5.根据权利要求4所述的多模态植物知识查询方法，其特征在于，所述建立所述图文多模态数据与所述植物本体之间的映射关系，包括以下步骤：

6.根据权利要求4所述的多模态植物知识查询方法，其特征在于，在构建所述多模态植物知识图谱后，还包括以下步骤：

7.一种植物知识查询系统，其特征在于，包括：

8.一种计算机设备，包括：处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至6任意一项所述的多模态植物知识查询方法的步骤。

9.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现如权利要求1至6任意一项所述的多模态植物知识查询方法的步骤。

技术总结
本发明涉及一种多模态植物知识查询方法、系统及计算机设备；包括以下步骤：获取植物的图文多模态要素和图文跨模态关系，构建多模态植物知识图谱的模式层，其中，模式层包括植物本体；根据植物本体，结合图文多模态数据，构建多模态植物知识图谱的文本数据层和图像数据层；建立图文多模态数据与植物本体之间的映射关系；根据映射关系，将文本数据层和图像数据层映射到模式层，构建多模态植物知识图谱；将多模态植物知识图谱存入图数据库，通过图文检索，调用多模态植物知识图谱，查询植物知识。本发明所述的多模态植物知识查询方法、系统及计算机设备具有利用多模态数据，强化植物知识的查询检索功能，提高对植物知识的查询应用的优点。

技术研发人员：侯志伟,尹超,孙嘉,刘樾,荆文龙,杨骥,高真,邓应彬,李勇
受保护的技术使用者：广东省科学院广州地理研究所
技术研发日：
技术公布日：2024/1/13