非结构化数据的存储查询方法、设备、介质及程序产品与流程

本技术涉及数据存储，具体而言，涉及一种非结构化数据的存储查询方法、电子设备、可读存储介质及计算机程序产品。

背景技术：

1、目前，现有技术通常采用直接遍历存储数据的方式响应查询请求，但在面对海量数据时，其查询效率较为低下。同时，该种方式在面对加密、压缩数据时，尚不能有效的完成查询的需求。另外，该种方式虽然能够实现一定的查询效果，但是其查询安全性并不能够得到保障，

技术实现思路

1、本技术的目的在于提供一种非结构化数据的存储查询方法、电子设备、可读存储介质及计算机程序产品，能够提高非结构化数据的查询能力、查询效率，同时还能够有效地保障数据查询的安全性。

2、本技术第一方面提供了一种非结构化数据的存储查询方法，包括：

3、获取非结构化数据对应的压缩数据，并对所述压缩数据进行分层存储，同时存储所述压缩数据对应的元数据集合；

4、接收用户查询请求；所述用户查询请求包括查询条件和用户身份信息；

5、当所述用户身份信息验证通过时，基于所述查询条件在元数据集合中检测目标数据集合；

6、对所述目标数据集合进行解压解密处理，得到查询数据集合；

7、对所述查询数据集合进行重组，得到查询结果；所述查询结果为非结构化数据。

8、在上述实现过程中，该方法能够获取非结构化数据对应的压缩数据，并对所述压缩数据和对应的元数据集合进行分层存储，从而使得数据的存放更加高效，进而有效地支持快速检索和查询的操作。然后，基于查询条件和用户身份信息确保查询的针对性和准确性，同时，对用户身份信息的验证处理还能够为后续的数据访问控制提供安全性保障。其次，该方法能够确保只有合法用户才能访问数据，从而有效防止了非法访问和数据泄露。再后，该方法还能够通过元数据包含的数据索引和描述信息快速定位到目标数据，从而提高查询效率。另外，该方法还能够通过解压和解密处理，确保数据的可读性和可用性。其中，数据在传输和存储过程中以加密形式存在，能够有效防止数据被未经授权的用户窃取或篡改。最后，该方法还能够根据用户需求生成有针对性且清晰准确的查询结果，从而保障了数据的查询效果。

9、进一步地，所述获取非结构化数据对应的压缩数据，并对所述压缩数据进行分层存储，同时存储所述压缩数据对应的元数据集合，包括：

10、获取非结构化数据经过分层、分块、查重、加密及压缩后得到的压缩数据；

11、基于所述压缩数据的元数据信息对所述压缩数据进行分层存储，并记录所述压缩数据的存储位置；其中，所述元数据信息包括加密信息、压缩信息及属性信息；

12、生成与所述压缩数据相对应的索引信息；

13、对所述压缩数据、所述元数据信息、所述存储位置和所述索引信息进行整合存储，得到元数据集合。

14、在上述实现过程中，该方法能够结合元数据信息对压缩数据进行分层存储与索引生成，从而以此实现了数据的高效组织与加密保护，同时确保了数据的快速定位与检索能力，优化了存储效率与查询性能。

15、进一步地，所述加密信息包括所述压缩数据的加密算法、加密状态和密钥信息；

16、所述压缩信息包括所述压缩数据的压缩算法、压缩状态、压缩比和校验和；

17、所述属性信息包括所述压缩数据的数据敏感度、访问频率、使用场景和数据类型；

18、所述存储位置包括所述压缩数据的存储层次和存储物理位置；

19、所述索引信息包括所述压缩数据的唯一哈希值和索引标识符。

20、在上述实现过程中，该方法能够通过详尽的元数据信息(含加密信息、压缩信息及属性信息等)与精确的存储位置记录，结合唯一哈希索引，有利于实现了数据的高效压缩存储与快速精准检索，从而能够提升数据管理的综合效能。

21、进一步地，所述基于所述压缩数据的元数据信息对所述压缩数据进行分层存储，包括：

22、当所述压缩数据的所述数据敏感度为高度敏感时，将所述压缩数据存储至位于高安全性存储介质中的高敏感度数据层；或

23、当所述压缩数据的所述数据敏感度为中度敏感时，将所述压缩数据存储至中敏感度数据层；或

24、当所述压缩数据的所述数据敏感度为低度敏感时，将所述压缩数据存储至位于高性能存储介质中的低敏感度数据层；

25、其中，所述高安全性存储介质相对于所述高性能存储介质的安全性更高，所述高性能存储介质相对于所述高安全性存储介质性能更高。

26、在上述实现过程中，该方法能够实现数据的安全性与存储性能之间的有效平衡，从而确保高敏感数据的安全存储，并能够提高低敏感数据的访问效率。

27、进一步地，所述对所述目标数据集合进行解压解密处理，得到查询数据集合，包括：

28、获取所述目标数据集合对应的元数据目标集合；

29、在所述元数据目标集合中，提取所述目标数据集合对应的压缩算法和加密算法；

30、基于所述压缩算法对应的解压缩算法对目标数据集合进行解压缩处理，得到解压数据集合；

31、基于所述加密算法对应的解密算法对所述解压数据集合进行解密处理，得到查询数据集合。

32、在上述实现过程中，该方法能够通过精确提取元数据中的压缩与加密算法信息，实现了对目标数据集合的高效解压与解密处理，从而确保了数据的准确还原与安全访问，有助于提升数据处理与查询的响应速度。

33、进一步地，所述方法还包括：

34、计算所述解压数据集合中每个解压数据的第一校验和；

35、判断所述第一校验和与所述元数据目标集合中存储的第二校验和是否一致；

36、若是，则执行所述的基于所述加密算法对应的解密算法对所述解压数据集合进行解密处理，得到查询数据集合。

37、在上述实现过程中，该方法能够通过校验和的一致性验证，确保数据的完整性与准确性，从而有效防止数据在解压过程中的损坏或篡改，增强了数据处理的可靠性，为后续的解密与查询提供了高质量的数据基础。

38、进一步地，所述方法还包括：

39、获取用户的查询行为记录；

40、基于所述查询行为记录，动态调整所述元数据集合。

41、在上述实现过程中，该方法能够通过获取并分析用户查询行为，动态优化元数据集合，从而有利于提升数据检索的个性化与效率。

42、进一步地，所述基于所述查询行为记录，动态调整所述元数据集合，包括：

43、当所述查询行为记录示出目标数据集合的查询频率高于第一预设频率阈值时，提高所述目标数据集合对应元数据在所述元数据集合中的优先级；或

44、当所述查询行为记录示出目标数据集合的查询频率低于第二预设频率阈值时，降低所述目标数据集合对应元数据在所述元数据集合中的优先级，或在所述元数据集合中剔除所述目标数据集合对应元数据；或

45、当所述查询行为记录示出存在异常查询或存在潜在攻击时，增加所述元数据集合的索引复杂度。

46、在上述实现过程中，该方法能够基于用户查询行为优化数据存储与检索策略，从而有利于提升高频数据的访问效率，同时降低低频数据的存储成本，并且还能够增强对异常查询的防御能力，进而于整体层面提升了数据管理与访问的安全性、效率与灵活性。

47、本技术第二方面提供了一种非结构化数据的存储查询装置，所述非结构化数据的存储查询装置包括：

48、存储单元，用于获取非结构化数据对应的压缩数据，并对所述压缩数据进行分层存储，同时存储所述压缩数据对应的元数据集合；

49、接收单元，用于接收用户查询请求；所述用户查询请求包括查询条件和用户身份信息；

50、检测单元，用于当所述用户身份信息验证通过时，基于所述查询条件在元数据集合中检测目标数据集合；

51、处理单元，用于对所述目标数据集合进行解压解密处理，得到查询数据集合；

52、重组单元，用于对所述查询数据集合进行重组，得到查询结果；所述查询结果为非结构化数据。

53、进一步地，所述存储单元包括：

54、第一获取子单元，用于获取非结构化数据经过分层、分块、查重、加密及压缩后得到的压缩数据；

55、存储子单元，用于基于所述压缩数据的元数据信息对所述压缩数据进行分层存储，并记录所述压缩数据的存储位置；其中，所述元数据信息包括加密信息、压缩信息及属性信息；

56、生成子单元，用于生成与所述压缩数据相对应的索引信息；

57、存储子单元，用于对所述压缩数据、所述元数据信息、所述存储位置和所述索引信息进行整合存储，得到元数据集合。

58、进一步地，所述加密信息包括所述压缩数据的加密算法、加密状态和密钥信息；

59、所述压缩信息包括所述压缩数据的压缩算法、压缩状态、压缩比和校验和；

60、所述属性信息包括所述压缩数据的数据敏感度、访问频率、使用场景和数据类型；

61、所述存储位置包括所述压缩数据的存储层次和存储物理位置；

62、所述索引信息包括所述压缩数据的唯一哈希值和索引标识符。

63、进一步地，所述存储子单元，具体用于当所述压缩数据的所述数据敏感度为高度敏感时，将所述压缩数据存储至位于高安全性存储介质中的高敏感度数据层；或

64、当所述压缩数据的所述数据敏感度为中度敏感时，将所述压缩数据存储至中敏感度数据层；或

65、当所述压缩数据的所述数据敏感度为低度敏感时，将所述压缩数据存储至位于高性能存储介质中的低敏感度数据层；

66、其中，所述高安全性存储介质相对于所述高性能存储介质的安全性更高，所述高性能存储介质相对于所述高安全性存储介质性能更高。

67、进一步地，所述处理单元包括：

68、第二获取子单元，用于获取所述目标数据集合对应的元数据目标集合；

69、提取子单元，用于在所述元数据目标集合中，提取所述目标数据集合对应的压缩算法和加密算法；

70、解压缩子单元，用于基于所述压缩算法对应的解压缩算法对目标数据集合进行解压缩处理，得到解压数据集合；

71、解密子单元，用于基于所述加密算法对应的解密算法对所述解压数据集合进行解密处理，得到查询数据集合。

72、进一步地，所述处理单元还包括：

73、计算子单元，用于计算所述解压数据集合中每个解压数据的第一校验和；

74、判断子单元，用于判断所述第一校验和与所述元数据目标集合中存储的第二校验和是否一致；

75、所述解密子单元，具体用于在所述判断子单元的判断结果为是时，基于所述加密算法对应的解密算法对所述解压数据集合进行解密处理，得到查询数据集合。

76、进一步地，所述非结构化数据的存储查询装置还包括：

77、获取单元，用于获取用户的查询行为记录；

78、调整单元，用于基于所述查询行为记录，动态调整所述元数据集合。

79、进一步地，所述调整单元，具体用于当所述查询行为记录示出目标数据集合的查询频率高于第一预设频率阈值时，提高所述目标数据集合对应元数据在所述元数据集合中的优先级；或

80、当所述查询行为记录示出目标数据集合的查询频率低于第二预设频率阈值时，降低所述目标数据集合对应元数据在所述元数据集合中的优先级，或在所述元数据集合中剔除所述目标数据集合对应元数据；或

81、当所述查询行为记录示出存在异常查询或存在潜在攻击时，增加所述元数据集合的索引复杂度。

82、本技术第三方面提供了一种电子设备，所述电子设备包括存储器以及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述电子设备执行本技术第一方面中任一项所述的非结构化数据的存储查询方法。

83、本技术第四方面提供了一种计算机可读存储介质，所述可读存储介质中存储有计算机程序指令，所述计算机程序指令被一处理器读取并运行时，执行本技术第一方面中任一项所述的非结构化数据的存储查询方法。

84、本技术第五方面提供了一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序被处理器运行时，执行本技术第一方面中任一项所述的非结构化数据的存储查询方法。