技术特征:
1.一种数据处理方法,其特征在于,包括:在进行数据写入时,获取日志数据;根据写入分词器对所述日志数据进行分词,得到日志索引,并将所述日志索引和所述日志数据进行关联存储;在进行数据查询时,获取查询文本;根据查询分词器对所述查询文本进行分词,得到查询索引;其中,所述查询分词器的分词粒度粗于所述写入分词器的分词粒度;根据所述查询索引与所述日志索引的匹配结果,从所述日志数据中选取目标日志数据。2.根据权利要求1所述的方法,其特征在于,所述根据所述查询索引与所述日志索引的匹配结果,从所述日志数据中选取目标日志数据,包括:查找与所述查询索引相匹配的至少一个日志索引,并根据匹配结果,从所述日志数据中选取目标日志数据。3.根据权利要求2所述的方法,其特征在于,所述查找与所述查询索引相匹配的至少一个日志索引,并根据匹配结果,从所述日志数据中选取目标日志数据,包括:对所述查询索引进行拆分,得到至少一个查询字;分别查找与各所述查询字相匹配的日志索引;从相匹配的日志索引对应日志数据中,选取所述目标日志数据。4.根据权利要求3所述的方法,其特征在于,所述从相匹配的日志索引对应日志数据中,选取所述目标日志数据,包括:将相匹配的日志索引对应日志数据作为候选日志数据;根据所述候选日志数据中相匹配的日志索引,确定所述候选日志数据的匹配程度;将匹配程度最高的候选日志数据作为所述目标日志数据。5.根据权利要求4所述的方法,其特征在于,所述根据所述候选日志数据中相匹配的日志索引,确定所述候选日志数据的匹配程度,包括:根据所述候选日志数据中匹配的日志索引数量和位置连续性,确定所述候选日志数据的匹配程度。6.根据权利要求1-5任一项所述的方法,其特征在于,所述根据写入分词器对所述日志数据进行分词,得到日志索引,包括:过滤所述日志数据中的无效字符,以更新所述日志数据;根据所述写入分词器对更新后的日志数据进行分词,得到所述日志索引。7.根据权利要求1-5任一项所述的方法,其特征在于,所述根据查询分词器对所述查询文本进行分词,得到查询索引,包括:若所述查询文本为中文,则基于条件随机场算法对所述查询文本进行分词,得到所述查询索引。8.一种数据处理装置,其特征在于,包括:日志数据获取模块,用于在进行数据写入时,获取日志数据;日志索引获取模块,用于根据写入分词器对所述日志数据进行分词,得到日志索引,并将所述日志索引和所述日志数据进行关联存储;
查询文本获取模块,用于在进行数据查询时,获取查询文本;查询索引获取模块,用于根据查询分词器对所述查询文本进行分词,得到查询索引;其中,所述查询分词器的分词粒度粗于所述写入分词器的分词粒度;目标日志数据选取模块,用于根据所述查询索引与所述日志索引的匹配结果,从所述日志数据中选取目标日志数据。9.一种电子设备,其特征在于,所述电子设备包括:至少一个处理器;以及与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的计算机程序,所述计算机程序被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1-7中任一项所述的数据处理方法。10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机指令,所述计算机指令用于使处理器执行时实现权利要求1-7中任一项所述的数据处理方法。
技术总结
本发明实施例公开了一种数据处理方法、装置、设备及存储介质。具体实施方案为:在进行数据写入时,获取日志数据;根据写入分词器对所述日志数据进行分词,得到日志索引,并将日志索引和所述日志数据进行关联存储;在进行数据查询时,获取查询文本;根据查询分词器对查询文本进行分词,得到查询索引;其中,查询分词器的分词粒度粗于写入分词器的分词粒度;根据查询索引与日志索引的匹配结果,从日志数据中选取目标日志数据。上述方式避免了因查询分词器和写入分词器的分词粒度相同,而造成的仅能获取到与查询索引精细程度相同的日志索引的情况发生,进而有效提高了所确定目标日志数据的准确度,同时有助于提高相应目标日志数据确定的效率。的效率。的效率。
技术研发人员:张文强
受保护的技术使用者:中国农业银行股份有限公司
技术研发日:2022.07.15
技术公布日:2022/10/3