技术特征：
1.一种存储格式转换方法，其特征在于，应用于协处理器，包括：获取主处理器发送的行存储页面数据与配置信息，所述配置信息包括所述行存储页面内各列字段的格式信息；根据所述配置信息对所述行存储页面数据进行解析，获得列描述符，所述列描述符包括各所述列字段在行存储页面中的首偏移地址和字段长度；根据所述列描述符计算获得关于列存储页面的填充信息，所述填充信息包括各数据列在所述列存储页面中的首偏移地址和列长度，其中，具有相同字段属性的各所述列字段组成一个数据列；根据所述填充信息对所述列存储页面进行填充，生成列存储页面数据；将所述列存储页面数据反馈至所述主处理器。2.根据权利要求1所述的存储格式转换方法，其特征在于，所述根据所述配置信息对所述行存储页面数据进行解析，获得列描述符，包括：确定所述行存储页面数据的数据存储格式；根据所述数据存储格式和所述配置信息对所述行存储页面数据进行解析，获得所述列描述符；其中，所述配置信息由所述主处理器基于所述行存储页面数据对应的元组描述符生成。3.根据权利要求1所述的存储格式转换方法，其特征在于，所述填充信息还包括各变长列字段的首偏移地址和字段长度，定长数据列的最大值和最小值，所述根据所述填充信息对所述列存储页面进行填充，生成列存储页面数据，包括：根据各所述数据列在所述列存储页面中的首偏移地址和列长度，将各所述列字段填充至所述列存储页面的字段区域；将各所述变长列字段的首偏移地址和字段长度填充至所述列存储页面的变长字段索引区域；将各所述数据列的首偏移地址和列长度、所述定长数据列的最大值和最小值填充至所述列存储页面的列数据索引区域。4.根据权利要求1所述的存储格式转换方法，其特征在于，所述对所述行存储页面数据进行解析，获得列描述符之后，还包括：获取排序使能信息；根据所述排序使能信息确定排序数据列；根据所述排序数据列的排序方式对所述列描述符进行排序，获得排序后的列描述符。5.根据权利要求1所述的存储格式转换方法，其特征在于，所述协处理器包括第一预设数量个计算单元和所述第一预设数量个存储器，每一所述计算单元对应于一个所述存储器，所述获取主处理器发送的行存储页面数据，包括：从当前计算单元对应的存储器中读取获得所述行存储页面数据，所述行存储页面数据由所述主处理器发送至所述存储器。6.根据权利要求5所述的存储格式转换方法，其特征在于，每一所述计算单元包括第二预设数量个执行通道，所述从当前计算单元对应的存储器中读取获得所述行存储页面数据，包括：
从所述当前计算单元对应的存储器中读取获得所述第二预设数量个行存储页面数据；所述从当前计算单元对应的存储器中读取获得所述行存储页面数据之后，还包括：将所述第二预设数量个行存储页面数据分发至所述第二预设数量个执行通道，以利用各所述执行通道执行所述对所述行存储页面数据进行解析，获得列描述符的步骤。7.根据权利要求6所述的存储格式转换方法，其特征在于，所述将所述列存储页面数据反馈至所述主处理器，包括：将各所述列存储页面回写至所述当前计算单元对应的存储器，以使所述主处理器从各所述存储器中读取获得各所述列存储页面数据。8.根据权利要求1至7任一项所述的存储格式转换方法，其特征在于，所述将所述列存储页面数据反馈至所述主处理器之前，还包括：根据各数据列对应的预设压缩算法对所述列存储页面数据中的各列字段进行压缩处理，获得压缩处理后的列存储页面数据。9.一种存储格式转换方法，其特征在于，应用于主处理器，包括：获取行存储页面数据以及所述行存储页面数据对应的元组描述符；根据所述元组描述符生成关于所述行存储页面数据的配置信息，所述配置信息包括所述行存储页面数据中各列字段的格式信息；将所述行存储页面数据和所述配置信息发送至协处理器，以使所述协处理器根据所述配置信息将所述行存储页面数据转换为列存储页面数据；获取所述协处理器反馈的所述列存储页面数据。10.一种存储格式转换系统，其特征在于，包括主处理器和协处理器；所述主处理器，用于发送行存储页面数据和配置信息至所述协处理器，并获取所述协处理器反馈的列存储页面数据；所述协处理器，用于根据所述配置信息对所述行存储页面数据进行解析，获得列描述符，所述列描述符包括各列字段在行存储页面中的首偏移地址和字段长度；根据所述列描述符计算获得关于列存储页面的填充信息，所述填充信息包括各数据列在所述列存储页面中的首偏移地址和列长度，其中，具有相同字段属性的各所述列字段组成一个数据列；根据所述填充信息对所述列存储页面进行填充，生成所述列存储页面数据。11.根据权利要求10所述的存储格式转换系统，其特征在于，所述主处理器为cpu，所述协处理器为fpga。12.一种存储格式转换装置，其特征在于，应用于协处理器，包括：获取模块，用于获取主处理器发送的行存储页面数据与配置信息，所述配置信息包括所述行存储页面内各列字段的格式信息；解析模块，用于根据所述配置信息对所述行存储页面数据进行解析，获得列描述符，所述列描述符包括各所述列字段在行存储页面中的首偏移地址和字段长度；计算模块，用于根据所述列描述符计算获得关于列存储页面的填充信息，所述填充信息包括各数据列在所述列存储页面中的首偏移地址和列长度，其中，具有相同字段属性的各所述列字段组成一个数据列；填充模块，用于根据所述填充信息对所述列存储页面进行填充，生成列存储页面数据；反馈模块，用于将所述列存储页面数据反馈至所述主处理器。
13.一种存储格式转换装置，其特征在于，应用于主处理器，包括：第一获取模块，用于获取行存储页面数据以及所述行存储页面数据对应的元组描述符；生成模块，用于根据所述元组描述符生成关于所述行存储页面数据的配置信息，所述配置信息包括所述行存储页面数据中各列字段的格式信息；发送模块，用于将所述行存储页面数据和所述配置信息发送至协处理器，以使所述协处理器根据所述配置信息将所述行存储页面数据转换为列存储页面数据；第二获取模块，用于获取所述协处理器反馈的所述列存储页面数据。14.一种电子设备，其特征在于，包括：存储器，用于存储计算机程序；处理器，用于执行所述计算机程序时实现如权利要求1至8任一项所述的存储格式转换方法的步骤或者如权利要求9所述的存储格式转换方法的步骤。15.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至8任一项所述的存储格式转换方法的步骤或者如权利要求9所述的存储格式转换方法的步骤。
技术总结
本申请公开了一种存储格式转换方法、系统、装置、电子设备及存储介质，应用于存储技术领域，方法应用于协处理器，包括获取主处理器发送的行存储页面数据与配置信息，配置信息包括行存储页面内各列字段的格式信息；根据配置信息对行存储页面数据进行解析获得列描述符，列描述符包括各列字段在行存储页面中的首偏移地址和字段长度；根据列描述符计算获得关于列存储页面的填充信息，填充信息包括各数据列在列存储页面中的首偏移地址和列长度，具有相同字段属性的各列字段组成一个数据列；根据填充信息对列存储页面进行填充，生成列存储页面数据；将列存储页面数据反馈至主处理器。可支持变长字段数据的行列存储格式转换，提高行列转换方法的适用性。转换方法的适用性。转换方法的适用性。
技术研发人员：刘科
受保护的技术使用者：浪潮电子信息产业股份有限公司
技术研发日：2022.11.09
技术公布日：2022/12/6