提高数据库SQL查询效率的方法、装置、设备、介质与流程

提高数据库sql查询效率的方法、装置、设备、介质
技术领域
1.本发明涉及数据库查询管理技术领域，具体涉及一种提高数据库sql查询效率的方法、装置、设备、介质。


背景技术：

2.oracle数据库使用的是行存储方式，当数据读取到内存的时候，在内存中也是以行存储方式存储。当查询sql只需要某一列或少数几列时，也会将列所在行的数据块从硬盘读取到内存，从数据块中提取所有行数据，再从中提取需要的列值，由此可见在sql中当条件和结果只需要少数几个列时，却花费大量的时间读取无关数据，耗费了大量i/o及cpu时间，也就是即使查询只涉及少数字段，也需要读取完整的行记录。
3.虽然行存储数据库会引入索引技术来避免全量读取，但由于索引创建不合理、未创建索引、读取索引也会额外增加i/o等原因，在某些情况下可能对提升查询性能并不明显。


技术实现要素：

4.针对行存储数据库会引入索引技术来避免全量读取，但由于索引创建不合理、未创建索引、读取索引也会额外增加i/o等原因，在某些情况下可能对提升查询性能并不明显的问题，本发明提供一种提高数据库sql查询效率的方法、装置、设备、介质。
5.本发明的技术方案是：
6.第一方面，本发明技术方案提供一种提高数据库sql查询效率的方法，包括如下步骤：
7.当触发查询时，根据列存储语句记录表判断sql语句是否适用于列存储；
8.若是，查找sql语句使用的数据是否在列存储内存区域中；
9.当数据不在列存储内存区域中时，查找该数据是否在原数据缓存区中；若数据在原数据缓存区中，在原数据缓存区中提取所需数据进行转换后存储到列存储内存区域；根据语句使用列存储内存区域中的数据进行查询；
10.当数据在列存储内存区域中时，根据语句使用列存储内存区域中的数据进行查询；
11.若否，根据语句使用原数据缓存区中的数据进行查询。
12.进一步的，查找该数据是否在原数据缓存区中的步骤之后还包括：
13.若数据不在原数据缓存区中，从硬盘中读取数据，将需要的数据全部读取到原数据缓存区内；执行步骤：在原数据缓存区中提取所需数据进行转换后存储到列存储内存区域。
14.进一步的，在原数据缓存区中提取所需数据进行转换后存储到列存储内存区域的步骤包括：
15.在原数据缓存区中提取数据所在数据块；
16.从数据块中提取所有行数据，再从行数据中提取需要的列值；
17.将提取的数据按列存储方式整合到新数据块，存储到列存储内存区域中。
18.进一步的，当触发查询时，根据列存储语句记录表判断sql语句是否适用于列存储的步骤之前包括：
19.开启列存储优化时，获取数据库负载信息库中语句进行列存储优化建议分析，并根据分析结果将适用于列存储的语句生成列存储语句记录表。
20.进一步的，开启列存储优化时，获取数据库负载信息库中语句进行列存储优化建议分析，并根据分析结果将适用于列存储的语句生成列存储语句记录表的步骤包括：
21.开启列存储优化时，获取数据库负载信息库中语句；给数据库提供一个是否开启使用列存储方式对语句进行查询的开关，提供数据库级别的开关及针对单个语句的开关。当打开数据库级别开关后，数据库根据前边列存储优化建议的结果，判断语句是否采用列存储方式执行。
22.将语句涉及的硬盘中的数据块全部读取到原数据缓存区内；
23.在原数据缓存区中的数据块中提取所有行数据；
24.将所有数据按列进行提取分离，再将分离提取的列数据按列存储方式整合到新数据块，然后存储到列存储内存区域中；
25.分别使用列存储内存区域中的数据和原数据缓存区中的数据执行一次sql语句查询；
26.对sql语句的两种存储方式的执行效率进行比对；
27.若列存储方式下sql语句执行效率是原执行效率的第一阈值倍数，则记录该语句在列存储语句记录表中列存储方式的值；否则记录该语句在列存储语句记录表中原存储方式的值。
28.获取数据库负载信息库中语句，从单次执行时间长、i/o消耗多的sql语句开始对其进行列存储优化建议分析，该操作会在每天晚上数据库不繁忙的时候自动开始执行，分析完一条sql后再进行另一条sql的分析。将需要进行列存储优化的语句涉及的数据块全部读取到原数据缓存区内(该缓存区中数据为行存储的数据块)，从这些已经放在原数据缓存区中的数据块中提取所有行数据，将所有数据按列进行提取分离，再将分离提取的列数据按列存储方式整合到新数据块，然后存储到列存储内存区域中。经过上面步骤，sql语句涉及的数据已经按列存储方式存储到了列存储内存区域中，使用列存储内存区域中的数据执行一次sql语句，对sql语句的两种存储方式的执行效率进行比对。如果列存储方式下sql语句效率比原执行效率能提高一倍及以上，则数据库记录该语句以后使用列存储方式执行；如果列存储方式下sql语句效率并不能比原执行效率能提高一倍，则数据库依然使用存储方式执行该sql语句。
29.进一步的，该方法还包括：
30.当数据被修改或删除后，修改原数据缓存区中该数据所在数据块，同时将修改的数据记录到列存储内存区域中的缓存变更区域中；
31.根据所述缓存变更区域中的数据定期变更到列存储内存区域中。
32.进一步的，该方法还包括：
33.当数据新插入时，在原数据缓存区中构建数据块，同时将新插入的数据记录到列
存储内存区域中的缓存变更区域中；
34.根据所述缓存变更区域中的数据定期更新到列存储内存区域中。
35.为了使数据尽可能多的存储在列存储内存区域中，建议列存储内存区域越大越好，当无法存储新数据后，就需要对列存储内存区域中数据进行清理，采用最少使用最先出的方式将近期没被使用或很少使用的数据移出内存区，以便腾出新的空间。
36.当sql语句使用列存储方式进行执行时，首先查找sql语句使用的数据是否在列存储内存区域中。当发现数据不在列存储内存区域中时，就需要查找该数据是否在原数据缓存区中，如果所需数据在原数据缓存中，提读取数据所在数据块，从这些数据块中提取所有行数据，再从中提取需要的列值，再将提取的数据按列存储方式整合到数据块，然后存储到列存储内存区域中供sql语句进行列存储方式查询使用。如果所需数据即不在原数据缓存中也不在列存储内存区域中，则需要从硬盘中读取数据，将需要的数据全部读取原数据缓存区内，从这些数据块中提取分享出所有行数据，再从中提取需要的列值(即，并非表的所有列都会存储在列存储内存区中，目的是节省空间)，再将提取的数据按列存储方式整合到数据块，然后存储到列存储内存区域中供sql语句进行列存储方式查询使用。
37.实现在不改变数据在硬盘及原缓存空间中行存储方式的情况下，在内区域中开辟一块列存储方式的内存空间，用于存储从行存储缓存区中分离出来的列存储数据。当对sql语句进行列存储优化建议后，提取该语句涉及表的数据放入原数据缓存内存区中，然后将其中记录转换成列存储，存储到列存储内存区域中，只存储语句涉及的列，用不到的列不再放到列存储内存区域中(只保留需要的列，不需要的列值抛弃)，以减少列存储内存区域数据存储量。列存储内存区域中的数据主要用于查询，当某个数据要进行修改时，首先修改的是放在原数据缓存内存区中的数据，提交后写入redo和数据文件，然后再修改列存储内存区域中相应的数据，这样就保证了列存储内存区域中的数据与原数据缓存内存区中数据一致。当触发查询时，数据库判断语句是否适用于列存储，如果适用于列存储，则根据语句使用列存储内存区域中的数据进行查询，列存储内存区域中不包含的数据，会从硬盘或原数据缓存内存区中提取后存入列存储内存区域。本专利是通过在内存中将行存储数据块转换成列存储数据块，在sql查询的时候直接调用列存储数据块，从而提高查询效率，并且通过逻辑控制，保证列存储数据块中数据与行存储数据保持一致。
38.第二方面，本发明技术方案还提供一种提高数据库sql查询效率的装置，包括列存储判断模块、数据查找模块、列存储处理模块、查询响应模块；
39.列存储判断模块，用于当触发查询时，根据列存储语句记录表判断sql语句是否适用于列存储；
40.数据查找模块，用于列存储判断模块判断sql语句适用于列存储时，查找sql语句使用的数据是否在列存储内存区域中；当数据不在列存储内存区域中时，查找该数据是否在原数据缓存区中；
41.列存储处理模块，用于若数据查找模块查找到数据在原数据缓存区中，在原数据缓存区中提取所需数据进行转换后存储到列存储内存区域；
42.查询响应模块，用于数据在列存储内存区域中时，根据语句使用列存储内存区域中的数据进行查询；还用于数据不在列存储内存区域中根据语句使用原数据缓存区中的数据进行查询。
43.进一步的，该装置还包括硬盘读取模块；
44.硬盘读取模块，用于数据查找模块输出数据不在原数据缓存区中时，从硬盘中读取数据，将需要的数据全部读取到原数据缓存区内，读取完成后输出信息到列存储处理模块。
45.进一步的，列存储处理模块包括数据块提取单元、行列数据提取单元、整合执行单元；
46.数据块提取单元，用于在原数据缓存区中提取数据所在数据块；
47.行列数据提取单元，用于从数据块中提取所有行数据，再从行数据中提取需要的列值；
48.整合执行单元，用于将提取的数据按列存储方式整合到新数据块，存储到列存储内存区域中。
49.进一步的，该装置还包括控制模块和列存储优化建议分析模块；
50.控制模块，用于开启或关闭列存储优化开关；
51.列存储优化建议分析模块，用于控制模块开启列存储优化开关后，获取数据库负载信息库中语句进行列存储优化建议分析，并根据分析结果将适用于列存储的语句生成列存储语句记录表。
52.进一步的，列存储优化建议分析模块包括语句获取单元、数据读取单元、查询执行单元、比较单元、记录单元；
53.语句获取单元，用于开启列存储优化时，获取数据库负载信息库中语句；
54.数据读取单元，用于将语句涉及的硬盘中的数据块全部读取到原数据缓存区内，读取完成后输出信息到列存储处理模块；
55.查询执行单元，用于列存储处理模块处理完成后分别使用列存储内存区域中的数据和原数据缓存区中的数据执行一次sql语句查询；
56.比较单元，用于对sql语句的两种存储方式的执行效率进行比对；
57.记录单元，用于若列存储方式下sql语句执行效率是原执行效率的第一阈值倍数，则记录该语句在列存储语句记录表中列存储方式的值；否则记录该语句在列存储语句记录表中原存储方式的值。
58.进一步的，该装置还包括数据改删处理模块；
59.数据改删处理模块，用于当数据被修改或删除后，修改原数据缓存区中该数据所在数据块，同时将修改的数据记录到列存储内存区域中的缓存变更区域中；根据所述缓存变更区域中的数据定期变更到列存储内存区域中。
60.进一步的，该方法还包括数据插入处理模块；
61.数据插入处理模块，用于当数据新插入时，在原数据缓存区中构建数据块，同时将新插入的数据记录到列存储内存区域中的缓存变更区域中；根据所述缓存变更区域中的数据定期更新到列存储内存区域中。
62.第三方面，本发明技术方案还提供一种电子设备，所述电子设备包括：
63.至少一个处理器；以及，
64.与所述至少一个处理器通信连接的存储器；其中，
65.存储器存储有可被至少一个处理器执行的计算机程序指令，所述计算机程序指令
被所述至少一个处理器执行，以使所述至少一个处理器能够执行如第一方面所述的提高数据库sql查询效率的方法。
66.第四方面，本发明技术方案还提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行如第一方面所述的提高数据库sql查询效率的方法。
67.从以上技术方案可以看出，本发明具有以下优点：提高oracle数据库sql查询效率的功能设计，实现在不改变数据在硬盘及原缓存空间中行存储方式的情况下，在内区域中开辟一块列存储方式的内存空间，用于存储从行存储缓存区中分离出来的列存储数据。对数据库中效率较低、执行时间较长、i/o消耗较多的sql语句所涉及的表在内存中转换成列存储。当sql语句使用列存储方式可以提高查询语句执行效率以及减少i/o，提高数据库性能。对于存在大量并行查询的数据库，使用列存储方式进行查询可以极大提高数据库性能，同时通过逻辑处理可以控制sql语句不用列存储方式，使本专利的使用更具灵活性。
68.此外，本发明设计原理可靠，结构简单，具有非常广泛的应用前景。
69.由此可见，本发明与现有技术相比，具有突出的实质性特点和显著地进步，其实施的有益效果也是显而易见的。
附图说明
70.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
71.图1是本发明一个实施例的方法的示意性流程图。
72.图2是本发明实施例中数据块从行存储转成列存储的逻辑示意图。
73.图3是本发明一个实施例的装置的示意性框图。
具体实施方式
74.为了使本技术领域的人员更好地理解本发明中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
75.oracle数据库：一种大型的关系型数据。oracle数据库以行存储方式将数据存储在硬盘上，当数据读取到内存的时候，在内存中也是以行存储方式存储。
76.数据块：数据库由数据文件组成，每个数据文件又由大小统一的block块组成(默认为8k大小)，每个数据块被划分为一定格式(块头、块体等)。
77.行存储：每行记录都会包含多个列，多个连续的行记录存储在数据块中。在数据块中的行存储类似如下，存储完一行所有列后，再接着存储另一行；
78.列存储：每行记录都会包含多个列，按列存储在数据块中，将所有行的同一列顺序存储。
79.如图1所示，本发明实施例提供一种提高数据库sql查询效率的方法，包括如下步
骤：
80.步骤1：当触发查询时，根据列存储语句记录表判断sql语句是否适用于列存储；若是，执行步骤2，否则，执行步骤7；
81.步骤2：查找sql语句使用的数据是否在列存储内存区域中；若否，执行步骤3，若是，执行步骤6；
82.步骤3：查找该数据是否在原数据缓存区中；若是，执行步骤5；若否，执行步骤4；
83.步骤4：从硬盘中读取数据，将需要的数据全部读取到原数据缓存区内；执行步骤5；
84.步骤5：在原数据缓存区中提取所需数据进行转换后存储到列存储内存区域；执行步骤6；
85.步骤6：根据语句使用列存储内存区域中的数据进行查询；
86.步骤7：根据语句使用原数据缓存区中的数据进行查询。
87.当触发查询时，数据库判断语句是否适用于列存储，如果适用于列存储，则根据语句使用列存储内存区域中的数据进行查询，列存储内存区域中不包含的数据，会从硬盘或原数据缓存内存区中提取后存入列存储内存区域。
88.当sql语句使用列存储方式进行执行时，首先查找sql语句使用的数据是否在列存储内存区域中。当发现数据不在列存储内存区域中时，就需要查找该数据是否在原数据缓存区中，如果所需数据在原数据缓存区中，提读取数据所在数据块，从这些数据块中提取所有行数据，再从中提取需要的列值，再将提取的数据按列存储方式整合到新数据块，然后存储到列存储内存区域中供sql语句进行列存储方式查询使用。如果所需数据即不在原数据缓存区中也不在列存储内存区域中，则需要从硬盘中读取数据，将需要的数据全部读取原数据缓存区内，从这些数据块中提取分享出所有行数据，再从中提取需要的列值(即，并非表的所有列都会存储在列存储内存区中，目的是节省空间)，再将提取的数据按列存储方式整合到新数据块，然后存储到列存储内存区域中供sql语句进行列存储方式查询使用。
89.在有些实施例中，步骤5中在原数据缓存区中提取所需数据进行转换后存储到列存储内存区域的步骤包括：
90.步骤51：在原数据缓存区中提取数据所在数据块；
91.步骤52：从数据块中提取所有行数据，再从行数据中提取需要的列值；
92.步骤53：将提取的数据按列存储方式整合到新数据块，存储到列存储内存区域中。
93.在数据库内存区域中新增加一块列存储内存区域，用于存放转换成列存储的数据。当对语句进行列存储优化后，提取该语句涉及表的数据放入原数据缓存内存区中，然后将其中记录转换成列存储，存储到列存储内存区域中，只存储语句涉及的列，用不到的列不再放到列存储内存区域中，以减少列存储内存区域数据存储量。列存储内存区域中的数据主要用于查询。
94.在有些实施例中，当触发查询时，根据列存储语句记录表判断sql语句是否适用于列存储的步骤之前包括：
95.s0：开启列存储优化时，获取数据库负载信息库中语句进行列存储优化建议分析，并根据分析结果将适用于列存储的语句生成列存储语句记录表。
96.增加数据库对语句列存储方式测试的参数sql_col_advice，取值为on/off，默认
为off，当设置为on时，开启列存储优化。当设置为on时，获取数据库负载信息库中语句，从执行时间长、i/o消耗多的sql语句开始对其进行列存储优化建议分析，该操作会在每天晚上数据库不繁忙的时候自动开始执行。将需要进行列存储优化的语句涉及的数据块全部读取原数据缓存区内(该缓存区中数据为行存储的数据块)，从这些数据块中提取所有行数据，再从中提取需要的列值，再将提取的数据按列存储方式整合到新数据块，然后存储到列存储内存区域中。经过上面步骤，sql语句涉及的数据已经按列存储方式存储到了列存储内存区域中，使用列存储内存区域中的数据执行一次sql语句。对sql语句的两种存储方式的执行效率进行比对，并将结果记录到表t_sql_col_advice中供后面使用。
97.增加一张sql语句是否执行列存储方式的记录表t_sql_col_advice，即列存储语句记录表，如表1所示，当打开“触发对特定语句的列存储优化建议”参数后，数据库对数据库中语句进行列存储性能比对，当使用列存储方式执行sql语句性能要比常规行存储方式高一倍时，将该语句在“列存储语句记录表”中的is_col值置为y，否则is_col值置为n。语句行存储时的执行时长记录在row_time，语句列存储时的执行时长记录在col_time。
98.表1
99.sql_id语句sql idis_col是否可以采用列存储方式执行语句y/nrow_time行存储执行时长col_time列存储执行时长comp_time比对时间
100.增加db_colstor_cache_size参数，用于指定列存储内存区域大小，该区域存储列存储数据块。给数据库提供一个是否开启使用列存储方式对语句进行查询的开关，提供数据库级别的开关及针对单个语句的开关。当打开数据库级别开关后，数据库根据前边列存储优化建议的结果，判断语句是否采用列存储方式执行。
101.需要说明的是，开启列存储优化时，获取数据库负载信息库中语句进行列存储优化建议分析，并根据分析结果将适用于列存储的语句生成列存储语句记录表的步骤包括：
102.s01：开启列存储优化时，获取数据库负载信息库中语句；
103.s02：将语句涉及的硬盘中的数据块全部读取到原数据缓存区内；
104.s03：在原数据缓存区中的数据块中提取所有行数据；
105.s04：将所有数据按列进行提取分离，再将分离提取的列数据按列存储方式整合到新数据块，然后存储到列存储内存区域中；如图2所示，行存储转成列存储，并剔除不需要的列；
106.s05：分别使用列存储内存区域中的数据和原数据缓存区中的数据执行一次sql语句查询；
107.s06：对sql语句的两种存储方式的执行效率进行比对；
108.s07：若列存储方式下sql语句执行效率是原执行效率的第一阈值倍数，则记录该语句在列存储语句记录表中列存储方式的值；否则记录该语句在列存储语句记录表中原存储方式的值。
109.获取数据库负载信息库中语句，从单次执行时间长、i/o消耗多的sql语句开始对其进行列存储优化建议分析，该操作会在每天晚上数据库不繁忙的时候自动开始执行，分
析完一条sql语句后再进行另一条sql语句的分析。
110.将需要进行列存储优化的语句涉及的数据块全部读取到原数据缓存区内(该缓存区中数据为行存储的数据块)，从这些已经放在原数据缓存区中的数据块中提取所有行数据，将所有数据按列进行提取分离，再将分离提取的列数据按列存储方式整合到新数据块，然后存储到列存储内存区域中。经过上面步骤，sql语句涉及的数据已经按列存储方式存储到了列存储内存区域中，使用列存储内存区域中的数据执行一次sql语句，对sql语句的两种存储方式的执行效率进行比对。如果列存储方式下sql语句效率比原执行效率能提高一倍及以上，则数据库记录该语句以后使用列存储方式执行；如果列存储方式下sql语句效率并不能比原执行效率能提高一倍，则数据库依然使用存储方式执行该sql语句。
111.为了使数据尽可能多的存储在列存储内存区域中，建议列存储内存区域越大越好，当无法存储新数据后，就需要对列存储内存区域中数据进行清理，采用最少使用最先出的方式将最近设定时间阈值内没被使用或使用次数少于次数阈值的数据移出列存储内存区域，以便腾出新的空间。
112.在有些会实例中，该方法还包括：
113.当数据被修改或删除后，修改原数据缓存区中该数据所在数据块，同时将修改的数据记录到列存储内存区域中的缓存变更区域中；
114.根据所述缓存变更区域中的数据定期变更到列存储内存区域中。
115.需要说明的是，当数据被修改或删除后，数据库修改原数据缓存中该数据所在数据块，同时将修改的数据(非整个数据块)记录到列存储内存区域中的缓存变更区域中，以使列存储内存区域中数据与原数据缓存区和硬盘中数据一致。
116.在有些会实例中，该方法还包括：
117.当数据新插入时，在原数据缓存区中构建数据块，同时将新插入的数据记录到列存储内存区域中的缓存变更区域中；
118.根据所述缓存变更区域中的数据定期更新到列存储内存区域中。当数据是新插入时，数据库在原数据缓存中构建数据块，同时将新插入的数据(非整个数据块)记录到列存储内存区域中的缓存变更区域中，以使列存储内存区域中数据与原数据缓存区和硬盘中数据一致。
119.在内区域中开辟一块列存储方式的内存空间，即列存储内存区域，用于存储从行存储缓存区中分离出来的列存储数据。当对sql语句进行列存储优化建议后，提取该语句涉及表的数据放入原数据缓存内存区中，然后将其中记录转换成列存储，存储到列存储内存区域中，只存储语句涉及的列，用不到的列不再放到列存储内存区域中(只保留需要的列，不需要的列值抛弃)，以减少列存储内存区域数据存储量。列存储内存区域中的数据主要用于查询，当某个数据要进行修改时，首先修改的是放在原数据缓存内存区中的数据，提交后写入redo和数据文件，然后再修改列存储内存区域中相应的数据，这样就保证了列存储内存区域中的数据与原数据缓存内存区中数据一致。当触发查询时，数据库判断语句是否适用于列存储，如果适用于列存储，则根据语句使用列存储内存区域中的数据进行查询，列存储内存区域中不包含的数据，会从硬盘或原数据缓存内存区中提取后存入列存储内存区域。本专利是通过在内存中将行存储数据块转换成列存储数据块，在sql查询的时候直接调用列存储数据块，从而提高查询效率，并且通过逻辑控制，保证列存储数据块中数据与行存
储数据保持一致。
120.如图3所示，本发明实施例还提供一种提高数据库sql查询效率的装置，包括列存储判断模块、数据查找模块、列存储处理模块、查询响应模块；
121.列存储判断模块，用于当触发查询时，根据列存储语句记录表判断sql语句是否适用于列存储；
122.数据查找模块，用于列存储判断模块判断sql语句适用于列存储时，查找sql语句使用的数据是否在列存储内存区域中；当数据不在列存储内存区域中时，查找该数据是否在原数据缓存区中；
123.列存储处理模块，用于若数据查找模块查找到数据在原数据缓存区中，在原数据缓存区中提取所需数据进行转换后存储到列存储内存区域；
124.查询响应模块，用于数据在列存储内存区域中时，根据语句使用列存储内存区域中的数据进行查询；还用于数据不在列存储内存区域中根据语句使用原数据缓存区中的数据进行查询。
125.在有些实施例中，该装置还包括硬盘读取模块；
126.硬盘读取模块，用于数据查找模块输出数据不在原数据缓存区中时，从硬盘中读取数据，将需要的数据全部读取到原数据缓存区内，读取完成后输出信息到列存储处理模块。
127.在有些实施例中，列存储处理模块包括数据块提取单元、行列数据提取单元、整合执行单元；
128.数据块提取单元，用于在原数据缓存区中提取数据所在数据块；
129.行列数据提取单元，用于从数据块中提取所有行数据，再从行数据中提取需要的列值；
130.整合执行单元，用于将提取的数据按列存储方式整合到新数据块，存储到列存储内存区域中。
131.在有些实施例中，该装置还包括控制模块和列存储优化建议分析模块；
132.控制模块，用于开启或关闭列存储优化开关；
133.列存储优化建议分析模块，用于控制模块开启列存储优化开关后，获取数据库负载信息库中语句进行列存储优化建议分析，并根据分析结果将适用于列存储的语句生成列存储语句记录表。
134.在有些实施例中，列存储优化建议分析模块包括语句获取单元、数据读取单元、查询执行单元、比较单元、记录单元；
135.语句获取单元，用于开启列存储优化时，获取数据库负载信息库中语句；
136.数据读取单元，用于将语句涉及的硬盘中的数据块全部读取到原数据缓存区内，读取完成后输出信息到列存储处理模块；
137.查询执行单元，用于列存储处理模块处理完成后分别使用列存储内存区域中的数据和原数据缓存区中的数据执行一次sql语句查询；
138.比较单元，用于对sql语句的两种存储方式的执行效率进行比对；
139.记录单元，用于若列存储方式下sql语句执行效率是原执行效率的第一阈值倍数，则记录该语句在列存储语句记录表中列存储方式的值；否则记录该语句在列存储语句记录
表中原存储方式的值。
140.在有些实施例中，该装置还包括数据改删处理模块；
141.数据改删处理模块，用于当数据被修改或删除后，修改原数据缓存区中该数据所在数据块，同时将修改的数据记录到列存储内存区域中的缓存变更区域中；根据所述缓存变更区域中的数据定期变更到列存储内存区域中。
142.在有些实施例中，该方法还包括数据插入处理模块；
143.数据插入处理模块，用于当数据新插入时，在原数据缓存区中构建数据块，同时将新插入的数据记录到列存储内存区域中的缓存变更区域中；根据所述缓存变更区域中的数据定期更新到列存储内存区域中。
144.本发明实施例还提供一种电子设备，所述电子设备包括：处理器、通信接口、存储器和总线，其中，处理器，通信接口，存储器通过总线完成相互间的通信。总线可以用于电子设备与传感器之间的信息传输。处理器可以调用存储器中的逻辑指令，以执行如下方法：步骤1：当触发查询时，根据列存储语句记录表判断sql语句是否适用于列存储；若是，执行步骤2，否则，执行步骤7；步骤2：查找sql语句使用的数据是否在列存储内存区域中；若否，执行步骤3，若是，执行步骤6；步骤3：查找该数据是否在原数据缓存区中；若是，执行步骤5；若否，执行步骤4；步骤4：从硬盘中读取数据，将需要的数据全部读取到原数据缓存区内；执行步骤5；步骤5：在原数据缓存区中提取所需数据进行转换后存储到列存储内存区域；执行步骤6；步骤6：根据语句使用列存储内存区域中的数据进行查询；步骤7：根据语句使用原数据缓存区中的数据进行查询。
145.在一些具体的实施例中，处理器可以调用存储器中的逻辑指令，以执行如下方法：步骤51：在原数据缓存区中提取数据所在数据块；步骤52：从数据块中提取所有行数据，再从行数据中提取需要的列值；步骤53：将提取的数据按列存储方式整合到新数据块，存储到列存储内存区域中。
146.此外，上述的存储器中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
147.本发明实施例提供一种非暂态计算机可读存储介质，该非暂态计算机可读存储介质存储计算机指令，该计算机指令使计算机执行上述方法实施例所提供的方法，例如包括：步骤1：当触发查询时，根据列存储语句记录表判断sql语句是否适用于列存储；若是，执行步骤2，否则，执行步骤7；步骤2：查找sql语句使用的数据是否在列存储内存区域中；若否，执行步骤3，若是，执行步骤6；步骤3：查找该数据是否在原数据缓存区中；若是，执行步骤5；若否，执行步骤4；步骤4：从硬盘中读取数据，将需要的数据全部读取到原数据缓存区内；执行步骤5；步骤5：在原数据缓存区中提取所需数据进行转换后存储到列存储内存区域；执行步骤6；步骤6：根据语句使用列存储内存区域中的数据进行查询；步骤7：根据语句使用原数
据缓存区中的数据进行查询。
148.在一些具体的实施例中，所述可读存储介质中被处理器执行的程序指令，具体可以实现以下步骤：步骤51：在原数据缓存区中提取数据所在数据块；步骤52：从数据块中提取所有行数据，再从行数据中提取需要的列值；步骤53：将提取的数据按列存储方式整合到新数据块，存储到列存储内存区域中。
149.在一些具体的实施例中，所述可读存储介质中被处理器执行的程序指令，具体可以实现以下步骤：s01：开启列存储优化时，获取数据库负载信息库中语句；s02：将语句涉及的硬盘中的数据块全部读取到原数据缓存区内；s03：在原数据缓存区中的数据块中提取所有行数据；s04：将所有数据按列进行提取分离，再将分离提取的列数据按列存储方式整合到新数据块，然后存储到列存储内存区域中；如图2所示，行存储转成列存储，并剔除不需要的列；s05：分别使用列存储内存区域中的数据和原数据缓存区中的数据执行一次sql语句查询；s06：对sql语句的两种存储方式的执行效率进行比对；s07：若列存储方式下sql语句执行效率是原执行效率的第一阈值倍数，则记录该语句在列存储语句记录表中列存储方式的值；否则记录该语句在列存储语句记录表中原存储方式的值。
150.尽管通过参考附图并结合优选实施例的方式对本发明进行了详细描述，但本发明并不限于此。在不脱离本发明的精神和实质的前提下，本领域普通技术人员可以对本发明的实施例进行各种等效的修改或替换，而这些修改或替换都应在本发明的涵盖范围内/任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。