技术特征：
技术总结
本发明公开了一种数据处理方法及装置，该方法包括：将分布式计算平台中存储的待处理数据转换成按列存储的Parquet格式；利用Spark将Parquet格式的待处理数据按行组加载入内存中，并在内存中对待处理数据进行解压和反序列化后发送至FPGA异构计算装置进行对应计算。本申请公开的技术方案中，先将分布式计算平台中存储的待处理数据转换成按列存储的Parquet格式，再按照行组将Parquet格式的待处理数据加载入内存中进行相关处理后发送至FPGA异构计算装置进行对应计算。本申请中对Parquet格式的待处理数据按照行组进行读取，大大提高了FPGA异构计算装置的数据处理速度。
技术研发人员：丁良奎
受保护的技术使用者：广东浪潮大数据研究有限公司
技术研发日：2017.04.18
技术公布日：2017.08.25