多模态全文信息检索方法、系统及存储介质与流程

本发明涉及对多模态内容进行全文检索，尤其涉及一种多模态全文信息检索方法、系统及存储介质。

背景技术：

1、全文检索是一种用于从文档集合中查找特定词汇或短语的技术。它是数码信息时代中的一个关键技术，用于快速检索大量文本内容。如果不知道所有关键词，全文检索技术可以帮助快速找到需要的信息。

2、目前主要用于以下一些常见场景：

3、电商平台的搜索功能，帮助用户快速找到所需要的商品；

4、新闻媒体网站的文章检索功能，用户可以根据关键词搜索所有相关的新闻；

5、社交媒体平台的搜索功能，用户可以根据关键词搜索所有相关的用户、帖子、评论等内容。

6、目前市面上的全文检索系统都是围绕文本展开的。

7、全文检索技术已经比较成熟，目前市面上的全文检索系统可以有效处理各种文本资料。然而，随着信息时代的发展，人们生成的数据量也在不断地增长，资料数据类型也更加多样化。在处理这些数据时对于非文本内容例如：视频、音频和图像等的检索，现阶段仍存在困难，仍需要人工进行处理和搜索。

技术实现思路

1、本发明的主要目的在于提供一种多模态全文信息检索方法、系统及存储介质，旨在实现快速精确地检索各种类型的文件，实现对各种类型的文件进行更加高效的搜索和管理，提高文件自动化管理的效率，降低企业运营成本。

2、为实现上述目的，本发明提供一种多模态全文信息检索方法，所述方法包括以下步骤：

3、步骤s10，获取需要管理的不同类型的文件，所述文件的类型包括文本、图片、音频或视频中的一种或几种；

4、步骤s20，判断所述文件的类型；

5、步骤s30，根据所述文件的类型采用对应的识别策略对所述文件进行识别；

6、步骤s40，将识别结果以文本形式输出，供后续的数据处理和分析使用。

7、本发明的进一步技术方案是，所述步骤s30，根据所述文件的类型采用对应的识别策略对所述文件进行识别的步骤包括：

8、步骤s301，若所述文件的类型为音频或视频文件，则采用asr技术对所述文件进行语音内容识别。

9、本发明的进一步技术方案是，所述步骤s301，若所述文件的类型为音频或视频文件，则采用asr技术对所述文件进行语音内容识别的步骤包括：

10、步骤s3011，预处理语音数据：使用开源工具ffmpeg将音频视频文件统一转为采样率16k、单声道的音频数据文件；

11、步骤s3012，特征提取：采用mfcc特征提取将预处理后的语音信号转换成特征向量；

12、步骤s3013，识别：使用声学模型深度神经网络模型和神经网络语言模型，对特征向量序列进行识别，找出最合适的文本序列，即识别结果。

13、本发明的进一步技术方案是，所述步骤s30，根据所述文件的类型采用对应的识别策略对所述文件进行识别的步骤包括：

14、步骤s302，若所述文件的类型为不是文本或图片的文档文件，则将所述文档文件转为图片文件；

15、步骤s303，采用ocr技术提取图片文字内容与文字在图中的位置。

16、本发明的进一步技术方案是，所述步骤s303，采用ocr技术提取图片文字内容与文字在图中的位置的步骤包括：

17、步骤s3031，图像预处理：通过对图像进行光线校正、噪声去除、卷积平滑、图像二值化处理，将原始图像转换为适合特征提取和字符识别的格式；

18、步骤s3032，字符分割：在预处理后的图像中，基于直方图投影算法将每个字符从连续的字母词组中分割出来，以提高字符识别的精确度；

19、步骤s3033，特征提取：从字符的预处理图像中使用canny边缘检测算法提取有用的特征，这些特征用于表示字符的形状、轮廓、边界信息；

20、步骤s3034，字符识别：将提取的特征转化为计算机可处理的特征向量，使用卷积神经网络深度学习架构对特征向量来识别字符。

21、本发明的进一步技术方案是，所述步骤s30，根据所述文件的类型采用对应的识别策略对所述文件进行识别的步骤中，若所述文件的类型为图片文件，则直接执行所述步骤s50，采用ocr技术提取图片文字内容与文字在图中的位置。

22、本发明的进一步技术方案是，所述将识别结果以文本形式输出，供后续的数据处理和分析使用的步骤包括：将所述识别结果以文本形式上传至elasticsearch中进行保存，以便于系统进行检索。

23、本发明的进一步技术方案是，采用elasticsearch自带的检索算法实现平台上的相关搜索词推荐、风险搜索词推荐功能，其中，所述elasticsearch自带的检索算法为bm25算法。

24、为实现上述目的，本发明还提出一种多模态全文信息检索系统，所述系统包括存储器、处理器以及存储在所述处理器上的多模态全文信息检索程序，所述多模态全文信息检索程序被所述处理器运行时执行如上所述方法的步骤。

25、为实现上述目的，本发明还提出一种计算机可读存储介质，所述计算机可读存储介质存储有多模态全文信息检索程序，所述多模态全文信息检索程序被处理器运行时执行如上所述的方法的步骤。

26、本发明多模态全文信息检索方法、系统及存储介质的有益效果是：本发明通过上述技术方案，包括以下步骤：步骤s10，获取需要管理的不同类型的文件，所述文件的类型包括文本、图片、音频或视频中的一种或几种；步骤s20，判断所述文件的类型；步骤s30，根据所述文件的类型采用对应的识别策略对所述文件进行识别；步骤s40，将识别结果以文本形式输出，供后续的数据处理和分析使用，实现了快速精确地检索各种类型的文件，实现了对各种类型的文件进行更加高效的搜索和管理，提高了文件自动化管理的效率，降低了企业运营成本。

技术特征：

1.一种多模态全文信息检索方法，其特征在于，所述方法包括以下步骤：

2.根据权利要求1所述的多模态全文信息检索方法，其特征在于，所述步骤s30，根据所述文件的类型采用对应的识别策略对所述文件进行识别的步骤包括：

3.根据权利要求2所述的多模态全文信息检索方法，其特征在于，所述步骤s301，若所述文件的类型为音频或视频文件，则采用asr技术对所述文件进行语音内容识别的步骤包括：

4.根据权利要求1所述的多模态全文信息检索方法，其特征在于，所述步骤s30，根据所述文件的类型采用对应的识别策略对所述文件进行识别的步骤包括：

5.根据权利要求4所述的多模态全文信息检索方法，其特征在于，所述步骤s303，采用ocr技术提取图片文字内容与文字在图中的位置的步骤包括：

6.根据权利要求5所述的多模态全文信息检索方法，其特征在于，所述步骤s30，根据所述文件的类型采用对应的识别策略对所述文件进行识别的步骤中，若所述文件的类型为图片文件，则直接执行所述步骤s50，采用ocr技术提取图片文字内容与文字在图中的位置。

7.根据权利要求1至6任意一项所述的多模态全文信息检索方法，其特征在于，所述将识别结果以文本形式输出，供后续的数据处理和分析使用的步骤包括：将所述识别结果以文本形式上传至elasticsearch中进行保存，以便于系统进行检索。

8.根据权利要求7所述的多模态全文信息检索方法，其特征在于，采用elasticsearch自带的检索算法实现平台上的相关搜索词推荐、风险搜索词推荐功能，其中，所述elasticsearch自带的检索算法为bm25算法。

9.一种多模态全文信息检索系统，其特征在于，所述系统包括存储器、处理器以及存储在所述处理器上的多模态全文信息检索程序，所述多模态全文信息检索程序被所述处理器运行时执行如权利要求1至8任意一项所述方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有多模态全文信息检索程序，所述多模态全文信息检索程序被处理器运行时执行如权利要求1至8任意一项所述的方法的步骤。

技术总结
本发明公开了一种多模态全文信息检索方法、系统及存储介质，所述方法包括以下步骤：获取需要管理的不同类型的文件，所述文件的类型包括文本、图片、音频或视频中的一种或几种；判断所述文件的类型；根据所述文件的类型采用对应的识别策略对所述文件进行识别；将识别结果以文本形式输出，供后续的数据处理和分析使用。本发明实现了快速精确地检索各种类型的文件，实现了对各种类型的文件进行更加高效的搜索和管理，提高了文件自动化管理的效率，降低了企业运营成本。

技术研发人员：刘兆武,冯漪,凌霏
受保护的技术使用者：深圳匠人网络科技有限公司
技术研发日：
技术公布日：2024/1/14