一种快速响应式遥感大数据处理系统的制作方法
一种快速响应式遥感大数据处理系统的制作方法
【专利摘要】一种快速响应式遥感大数据处理系统，所述系统硬件层包括有与集群节点连接的主控服务器，软件包括有数据整编子系统、数据管理子系统和用户服务子系统；本发明对原有的遥感数据系统进行了优化，提高了系统的响应速度和计算速度，可以对海量的遥感图像原始数据进行快速处理，避免了数据延误造成的巨大损失。
【专利说明】一种快速响应式遥感大数据处理系统
【技术领域】
[0001]本发明涉及遥感信息和计算机领域，特别是一种用于遥感大数据处理的系统。
【背景技术】
[0002]遥感大数据处理系统是由人和计算机设备或其他信息处理手段组成并用于管理遥感数据的系统。遥感数据管理系统涉及到大量遥感数据信息的采集、传递、储存、加工、和维护等方面的操作。
[0003]随着全球观测时代的到来，卫星遥感信息正对人类社会发展的各个领域发挥着重大作用。高分辨率遥感卫星的升空使得每天产生的遥感影像也急剧增长。
[0004]遥感影像作为一种特殊的大数据，以其快速获取高分辨率影像的特点占有着越来越重要的地位，海量遥感数据的快速处理成为了最大的需求，而目前的遥感处理软件无法满足快速实时性的要求，造成了海量的遥感数据得不到及时的处理，延误了遥感数据的应用，造成了巨大的损失。
[0005]当前遥感大数据处理系统在实时性上的问题主要表现为响应时间长和计算速度慢，原因有以下几点:
[0006]集群节点间的通信存在带宽和延迟问题，系统的通信响应时间未达到3秒以内的标准，原因归结为使用TCP通讯容易造成资源的浪费，可尝试使用其他的协议；
[0007]计算节点在初始化时，任务的发送速度及计算节电能力估计值不稳定，系统运行一段时间后才趋于稳定，未达到控制并行计算节点的每个子任务计算时间不超过10秒的技术指标；
[0008]影响的计算速度与时间未达到理想目标，原因为GPU处理时数据传输时间占据了GPU处理总时间的一半以上，以至于未达到提高40倍以上的性能指标的要求；
[0009]系统在运行时CPU与内存的占用率偏高,数据传输速率偏低,系统利用率和吞吐率不闻;
[0010]由此可见，遥感大数据处理系统的架构并不完善，在响应时间和计算速度上存在着很大问题。为了遥感应用的推广和遥感大数据的处理，需要提出一种新的遥感大数据处理系统的架构方法，可以对海量大数据遥感影像数据进行快速的处理，以免延误遥感数据的应用和造成巨大的损失。
【发明内容】
[0011]本发明的目的就是提供一种快速响应式遥感大数据处理系统，它将系统分为数据整编子系统、数据管理子系统和用户服务子系统，对遥感图像原始数据进行系统的处理和管理，显著提高了数据的处理效率，操作简单。
[0012]本发明的目的是通过这样的技术方案实现的，所述系统硬件层包括有与集群节点连接的主控服务器，软件包括有数据整编子系统、数据管理子系统和用户服务子系统；
[0013]数据整编子系统，接收来自集群节点的遥感图像原始数据，对原始数据进行影像纠正、影像切分和大气纠正处理；
[0014]数据管理子系统，调取并储存数据整编子系统处理后的数据，对用户输入的控制指令以及数据整编子系统的数据处理任务进行统一管理，并生成工作日志；
[0015]用户服务子系统，用户通过服务子系统输入检索信息，并展示检索结果，提供信息下载服务和工作日志查看服务。
[0016]进一步，所述数据整编子系统包括有导入影像模块、影像纠正模块、影像切分模块、大气纠正模块和系统自动模块；
[0017]导入影像模块，导入来自集群节点的遥感图像原始数据；
[0018]影像纠正模块，纠正导入影像模块的遥感图像原始数据；
[0019]影像切分板块，对经过影像纠正模块纠正后的图像数据进行影像切分；
[0020]系统自动模块，用户通过该模块输入遥感图像原始数据的处理参数。
[0021]进一步，所述数据管理子系统包括有数据入库模块、任务单监控模块、存储站点监控模块和工作日志生成模块；
[0022]数据入库模块，调取数据整编子系统处理后的数据信息；
[0023]任务单监控模块，对用户输入的控制指令进行排序管理，并对数据整编子系统的数据处理流程进行任务管理；
[0024]存储站点监控模块，监控存储内存的容易状态；
[0025]工作日志生成模块，根据任务单监控模块所监控的任务信息，自动生成工作日志。
[0026]进一步，所述用户服务子系统包括有本地检索模块、展示模块和数据下载模块；
[0027]本地检索模块，用户通过该模块输入检索信息；
[0028]展示模块，根据本地检索模块输入的检索信息，从数据入库模块和任务单监控模块中调取对应信息，并展示出来；
[0029]数据下载模块，根据本地检索模块输入的检索信息,从数据入库模块和任务单监控模块中调取对应信息，并提供下载服务。
[0030]进一步，所述系统包括具有大内存的主控服务器，具有快速读写和热备份功能的磁盘阵列，具备多个可扩展功能的单机磁盘，且主控服务器分别与InfiniBand架构交换机和光纤交换机连接。
[0031]进一步，所述主控服务器包括有I个CPU和2个GPU，CPU读取遥感图像原始数据后，内两个GPU对遥感图像原始数据进行并行处理。
[0032]进一步，所述GPU选用型号为Tesla C2050，显存为3G。
[0033]由于采用了上述技术方案，本发明具有如下的优点:
[0034]本发明对原有的遥感数据系统进行了优化，提高了系统的响应速度和计算速度，可以对海量的遥感图像原始数据进行快速处理，避免了数据延误造成的巨大损失。
[0035]本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书和权利要求书来实现和获得。
【专利附图】
【附图说明】[0036]本发明的【专利附图】
【附图说明】如下。
[0037]图1为本发明的结构示意图。
【具体实施方式】
[0038]下面结合附图和实施例对本发明作进一步说明。
[0039]一种快速响应式遥感大数据处理系统，其特征在于:所述系统硬件层包括有与集群节点连接的主控服务器，软件包括有数据整编子系统、数据管理子系统和用户服务子系统；
[0040]数据整编子系统，接收来自集群节点的遥感图像原始数据，对原始数据进行影像纠正、影像切分和大气纠正处理；
[0041]数据管理子系统，调取并储存数据整编子系统处理后的数据，对用户输入的控制指令以及数据整编子系统的数据处理任务进行统一管理，并生成工作日志；
[0042]用户服务子系统，用户通过服务子系统输入检索信息，并展示检索结果，提供信息下载服务和工作日志查看服务。
[0043]所述数据整编子系统包括有导入影像模块、影像纠正模块、影像切分模块、大气纠正模块和系统自动模块；
[0044]导入影像模块，导入来自集群节点的遥感图像原始数据；
[0045]影像纠正模块，纠正导入影像模块的遥感图像原始数据；
[0046]影像切分板块，对经过影像纠正模块纠正后的图像数据进行影像切分；
[0047]系统自动模块，用户通过该模块输入遥感图像原始数据的处理参数。
[0048]所述数据管理子系统包括有数据入库模块、任务单监控模块、存储站点监控模块和工作日志生成模块；
[0049]数据入库模块，调取数据整编子系统处理后的数据信息；
[0050]任务单监控模块，对用户输入的控制指令进行排序管理，并对数据整编子系统的数据处理流程进行任务管理；
[0051]存储站点监控模块，监控存储内存的容易状态；
[0052]工作日志生成模块，根据任务单监控模块所监控的任务信息，自动生成工作日志。
[0053]所述用户服务子系统包括有本地检索模块、展示模块和数据下载模块；
[0054]本地检索模块，用户通过该模块输入检索信息；
[0055]展示模块，根据本地检索模块输入的检索信息，从数据入库模块和任务单监控模块中调取对应信息，并展示出来；
[0056]数据下载模块，根据本地检索模块输入的检索信息,从数据入库模块和任务单监控模块中调取对应信息，并提供下载服务。
[0057]所述主控服务器的内存要求不低于16G，建议为24G，磁盘阵列的容量不低于14TB,建议为20TB，单机磁盘数量扩展不低于16个，建议为24个，主控服务器分别与高速网络InfiniBand架构交换机和光纤交换机连接，其中端口带宽分别不低于IOOOMbps和IOGbps0
[0058]所述主控服务器应包括有至少I个CPU和2个GPU，CPU读取遥感图像原始数据后，内2个GPU对遥感图像原始数据进行并行处理。[0059]所述GPU所需显存为不低于3G。
[0060]遥感大数据处理系统是软硬件一体化的通用平台，主要由一台高配置主控服务器节点和一台高速光线磁盘存储节点组成，主控服务器与一台数据交换机连接。
[0061]本发明所提到的快速响应式遥感大数据处理系统
[0062]对硬件配置参数进行优化，主控服务器的内存扩展为24G，内含GPU的显存容量提升为6GB，磁盘阵列的容量增多为20TB，单机磁盘数量扩展为24个，同时引进了新的设备:InfiniBand交换机、光纤交换机、防火墙、入侵检测设备和病毒检测防护；
[0063]对数据处理流程进行有效控制，具体对策如下:
[0064](I)数据处理流程有效控制是由CPU来完成的，其中CPU是充分利用线程并行性的有效手段，线程的有效分配可以优化cache的利用，提高程序的执行效率和吞吐量；
[0065](2)在数据处理流程中，如果没有空闲的任务生产计算节点，则将订单放入待执行订单缓冲区，等到当前订单执行完成后，从缓冲区取出订单再进行解析和生产；
[0066](3)通过定义节点计算能力来衡量一个计算节点的性能。
[0067]对GPU集群采用协同工作方式具体描述如下:
[0068](I) CPU与GPU异步执行优化，第一步为读取影像，第二步用GPU对影像进行并行处理；
[0069](2)选用型号为Tesla C2050的GPU，该型号显存为3G，可以明显减少数据在传输过程中消耗掉的时间。本发明采用双GPU来进一步获取更快的速度，任务分配为首先由两个GPU先处理第一和第二波段，处理完成后该两个GPU再同时处理第三和第四波段；
[0070]对所需数据快速存取具体描述如下:
[0071](I)将Infiniband和光纤快速存储技术相结合,光纤技术可以实现高速传输,米用此技术的存储设备可以使用多种链接，点对点、环、交换结构等，方便了扩展和冗余；
[0072](2)存储空间用光线交换机连接，由于遥感影像存储在存储空间上，保证了每台主控服务器接收到订单后可以从存储空间中通过万兆光纤和千兆光纤链路快速地取出数据；
[0073]对用户服务子系统，根据遥感数据处理的特点和面向大数据的安全存储问题添加了新闻动态、用户资源管理和用户安全验证功能，具体如下:
[0074](I)用户安全验证功能:用户在登录时增加对用户身份的鉴别与验证，主要实现了用户的身份验证和用户权限的分配；
[0075](2)用户分类功能:一名用户在登录后，该子系统能够识别该用户是普通用户还是特殊用户，界面也根据用户级别分级显示，内容也根据用户的级别显示的不同；
[0076](3)状态监控功能:通过监控界面可以监视用户提交的订单执行情况，具体执行到哪一步骤都可以通过状态监控获得，管理界面可以监控存储系统的性能，可以提供历史分析报告，便于对应用的性能监控和故障分析；
[0077]对数据处理子系统，由于遥感数据处理系统只需通过TCP/IP通信将订单发送给任务调度管服务器，无须传数据，所以可以使用UDP协议，面向非连接的协议适用于一次传送少量数据。
[0078]数据整编子系统的数据处理方法如下:
[0079]首先将输入图像分成若干个粗网格，利用正向变换函数式I计算这些粗网格点上的坐标(Xi，yi)在输出图像上的位置(Ui, Vi),其中1≤i≤K，K粗网格点的个数:然后利用K个(Ui, Vi)与(Xi，yi)点对，根据最小二乘法解算出逆变换函数式2。
[0080]u = fx (X，y) = a0+a1x+a2y+a3x2+a4xy+a5y2+a6x3+a7x2y+a8xy2+a9y3
[0081]V = f1 (x, y) = b0+b1x+b2y+b3x2+b4xy+b5y2+b6x3+b7x2y+b8xy2+b9y3 式 I
【权利要求】
1.一种快速响应式遥感大数据处理系统，其特征在于:所述系统硬件层包括有与集群节点连接的主控服务器，软件包括有数据整编子系统、数据管理子系统和用户服务子系统； 数据整编子系统，接收来自集群节点的遥感图像原始数据，对原始数据进行影像纠正、影像切分和大气纠正处理； 数据管理子系统，调取并储存数据整编子系统处理后的数据，对用户输入的控制指令以及数据整编子系统的数据处理任务进行统一管理，并生成工作日志； 用户服务子系统，用户通过服务子系统输入检索信息，并展示检索结果，提供信息下载服务和工作日志查看服务。
2.如权利要求1所述的一种快速响应式遥感大数据处理系统，其特征在于:所述数据整编子系统包括有导入影像模块、影像纠正模块、影像切分模块、大气纠正模块和系统自动模块； 导入影像模块，导入来自集群节点的遥感图像原始数据； 影像纠正模块，纠正导入影像模块的遥感图像原始数据； 影像切分板块，对经过影像纠正模块纠正后的图像数据进行影像切分； 系统自动模块，用户通过该模块输入遥感图像原始数据的处理参数。
3.如权利要求1所述的一种快速响应式遥感大数据处理系统，其特征在于:所述数据管理子系统包括有数据入库模块、任务单监控模块、存储站点监控模块和工作日志生成模块； 数据入库模块，调取数据整编子系统处理后的数据信息； 任务单监控模块，对用户输入的控制指令进行排序管理，并对数据整编子系统的数据处理流程进行任务管理； 存储站点监控模块，监控存储内存的容易状态； 工作日志生成模块，根据任务单监控模块所监控的任务信息，自动生成工作日志。
4.如权利要求1所述的一种快速响应式遥感大数据处理系统，其特征在于:所述用户服务子系统包括有本地检索模块、展示模块和数据下载模块； 本地检索模块，用户通过该模块输入检索信息； 展示模块，根据本地检索模块输入的检索信息，从数据入库模块和任务单监控模块中调取对应信息，并展示出来； 数据下载模块，根据本地检索模块输入的检索信息，从数据入库模块和任务单监控模块中调取对应信息，并提供下载服务。
5.如权利要求1所述的一种快速响应式遥感大数据处理系统，其特征在于:所述系统包括具有大内存的主控服务器，具有快速读写和热备份功能的磁盘阵列，具备多个可扩展功能的单机磁盘，且主控服务器分别与InfiniBand架构交换机和光纤交换机连接。
6.如权利要求5所述的一种快速响应式遥感大数据处理系统，其特征在于:所述主控服务器包括有I个CPU和2个GPU，CPU读取遥感图像原始数据后，内两个GPU对遥感图像原始数据进行并行处理。
7.如权利要求6所述的一种快速响应式遥感大数据处理系统，其特征在于:所述GPU选用型号为Tesla C2050，显存为3G。
【文档编号】G06F17/30GK103970904SQ201410228045
【公开日】2014年8月6日 申请日期:2014年5月27日 优先权日:2014年5月27日
【发明者】张可, 柴毅, 刘建环, 田甜, 钱锟 申请人:重庆大学
【专利摘要】一种快速响应式遥感大数据处理系统，所述系统硬件层包括有与集群节点连接的主控服务器，软件包括有数据整编子系统、数据管理子系统和用户服务子系统；本发明对原有的遥感数据系统进行了优化，提高了系统的响应速度和计算速度，可以对海量的遥感图像原始数据进行快速处理，避免了数据延误造成的巨大损失。
【专利说明】一种快速响应式遥感大数据处理系统
【技术领域】
[0001]本发明涉及遥感信息和计算机领域，特别是一种用于遥感大数据处理的系统。
【背景技术】
[0002]遥感大数据处理系统是由人和计算机设备或其他信息处理手段组成并用于管理遥感数据的系统。遥感数据管理系统涉及到大量遥感数据信息的采集、传递、储存、加工、和维护等方面的操作。
[0003]随着全球观测时代的到来，卫星遥感信息正对人类社会发展的各个领域发挥着重大作用。高分辨率遥感卫星的升空使得每天产生的遥感影像也急剧增长。
[0004]遥感影像作为一种特殊的大数据，以其快速获取高分辨率影像的特点占有着越来越重要的地位，海量遥感数据的快速处理成为了最大的需求，而目前的遥感处理软件无法满足快速实时性的要求，造成了海量的遥感数据得不到及时的处理，延误了遥感数据的应用，造成了巨大的损失。
[0005]当前遥感大数据处理系统在实时性上的问题主要表现为响应时间长和计算速度慢，原因有以下几点:
[0006]集群节点间的通信存在带宽和延迟问题，系统的通信响应时间未达到3秒以内的标准，原因归结为使用TCP通讯容易造成资源的浪费，可尝试使用其他的协议；
[0007]计算节点在初始化时，任务的发送速度及计算节电能力估计值不稳定，系统运行一段时间后才趋于稳定，未达到控制并行计算节点的每个子任务计算时间不超过10秒的技术指标；
[0008]影响的计算速度与时间未达到理想目标，原因为GPU处理时数据传输时间占据了GPU处理总时间的一半以上，以至于未达到提高40倍以上的性能指标的要求；
[0009]系统在运行时CPU与内存的占用率偏高,数据传输速率偏低,系统利用率和吞吐率不闻;
[0010]由此可见，遥感大数据处理系统的架构并不完善，在响应时间和计算速度上存在着很大问题。为了遥感应用的推广和遥感大数据的处理，需要提出一种新的遥感大数据处理系统的架构方法，可以对海量大数据遥感影像数据进行快速的处理，以免延误遥感数据的应用和造成巨大的损失。
【发明内容】
[0011]本发明的目的就是提供一种快速响应式遥感大数据处理系统，它将系统分为数据整编子系统、数据管理子系统和用户服务子系统，对遥感图像原始数据进行系统的处理和管理，显著提高了数据的处理效率，操作简单。
[0012]本发明的目的是通过这样的技术方案实现的，所述系统硬件层包括有与集群节点连接的主控服务器，软件包括有数据整编子系统、数据管理子系统和用户服务子系统；
[0013]数据整编子系统，接收来自集群节点的遥感图像原始数据，对原始数据进行影像纠正、影像切分和大气纠正处理；
[0014]数据管理子系统，调取并储存数据整编子系统处理后的数据，对用户输入的控制指令以及数据整编子系统的数据处理任务进行统一管理，并生成工作日志；
[0015]用户服务子系统，用户通过服务子系统输入检索信息，并展示检索结果，提供信息下载服务和工作日志查看服务。
[0016]进一步，所述数据整编子系统包括有导入影像模块、影像纠正模块、影像切分模块、大气纠正模块和系统自动模块；
[0017]导入影像模块，导入来自集群节点的遥感图像原始数据；
[0018]影像纠正模块，纠正导入影像模块的遥感图像原始数据；
[0019]影像切分板块，对经过影像纠正模块纠正后的图像数据进行影像切分；
[0020]系统自动模块，用户通过该模块输入遥感图像原始数据的处理参数。
[0021]进一步，所述数据管理子系统包括有数据入库模块、任务单监控模块、存储站点监控模块和工作日志生成模块；
[0022]数据入库模块，调取数据整编子系统处理后的数据信息；
[0023]任务单监控模块，对用户输入的控制指令进行排序管理，并对数据整编子系统的数据处理流程进行任务管理；
[0024]存储站点监控模块，监控存储内存的容易状态；
[0025]工作日志生成模块，根据任务单监控模块所监控的任务信息，自动生成工作日志。
[0026]进一步，所述用户服务子系统包括有本地检索模块、展示模块和数据下载模块；
[0027]本地检索模块，用户通过该模块输入检索信息；
[0028]展示模块，根据本地检索模块输入的检索信息，从数据入库模块和任务单监控模块中调取对应信息，并展示出来；
[0029]数据下载模块，根据本地检索模块输入的检索信息,从数据入库模块和任务单监控模块中调取对应信息，并提供下载服务。
[0030]进一步，所述系统包括具有大内存的主控服务器，具有快速读写和热备份功能的磁盘阵列，具备多个可扩展功能的单机磁盘，且主控服务器分别与InfiniBand架构交换机和光纤交换机连接。
[0031]进一步，所述主控服务器包括有I个CPU和2个GPU，CPU读取遥感图像原始数据后，内两个GPU对遥感图像原始数据进行并行处理。
[0032]进一步，所述GPU选用型号为Tesla C2050，显存为3G。
[0033]由于采用了上述技术方案，本发明具有如下的优点:
[0034]本发明对原有的遥感数据系统进行了优化，提高了系统的响应速度和计算速度，可以对海量的遥感图像原始数据进行快速处理，避免了数据延误造成的巨大损失。
[0035]本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书和权利要求书来实现和获得。
【专利附图】
【附图说明】[0036]本发明的【专利附图】
【附图说明】如下。
[0037]图1为本发明的结构示意图。
【具体实施方式】
[0038]下面结合附图和实施例对本发明作进一步说明。
[0039]一种快速响应式遥感大数据处理系统，其特征在于:所述系统硬件层包括有与集群节点连接的主控服务器，软件包括有数据整编子系统、数据管理子系统和用户服务子系统；
[0040]数据整编子系统，接收来自集群节点的遥感图像原始数据，对原始数据进行影像纠正、影像切分和大气纠正处理；
[0041]数据管理子系统，调取并储存数据整编子系统处理后的数据，对用户输入的控制指令以及数据整编子系统的数据处理任务进行统一管理，并生成工作日志；
[0042]用户服务子系统，用户通过服务子系统输入检索信息，并展示检索结果，提供信息下载服务和工作日志查看服务。
[0043]所述数据整编子系统包括有导入影像模块、影像纠正模块、影像切分模块、大气纠正模块和系统自动模块；
[0044]导入影像模块，导入来自集群节点的遥感图像原始数据；
[0045]影像纠正模块，纠正导入影像模块的遥感图像原始数据；
[0046]影像切分板块，对经过影像纠正模块纠正后的图像数据进行影像切分；
[0047]系统自动模块，用户通过该模块输入遥感图像原始数据的处理参数。
[0048]所述数据管理子系统包括有数据入库模块、任务单监控模块、存储站点监控模块和工作日志生成模块；
[0049]数据入库模块，调取数据整编子系统处理后的数据信息；
[0050]任务单监控模块，对用户输入的控制指令进行排序管理，并对数据整编子系统的数据处理流程进行任务管理；
[0051]存储站点监控模块，监控存储内存的容易状态；
[0052]工作日志生成模块，根据任务单监控模块所监控的任务信息，自动生成工作日志。
[0053]所述用户服务子系统包括有本地检索模块、展示模块和数据下载模块；
[0054]本地检索模块，用户通过该模块输入检索信息；
[0055]展示模块，根据本地检索模块输入的检索信息，从数据入库模块和任务单监控模块中调取对应信息，并展示出来；
[0056]数据下载模块，根据本地检索模块输入的检索信息,从数据入库模块和任务单监控模块中调取对应信息，并提供下载服务。
[0057]所述主控服务器的内存要求不低于16G，建议为24G，磁盘阵列的容量不低于14TB,建议为20TB，单机磁盘数量扩展不低于16个，建议为24个，主控服务器分别与高速网络InfiniBand架构交换机和光纤交换机连接，其中端口带宽分别不低于IOOOMbps和IOGbps0
[0058]所述主控服务器应包括有至少I个CPU和2个GPU，CPU读取遥感图像原始数据后，内2个GPU对遥感图像原始数据进行并行处理。[0059]所述GPU所需显存为不低于3G。
[0060]遥感大数据处理系统是软硬件一体化的通用平台，主要由一台高配置主控服务器节点和一台高速光线磁盘存储节点组成，主控服务器与一台数据交换机连接。
[0061]本发明所提到的快速响应式遥感大数据处理系统
[0062]对硬件配置参数进行优化，主控服务器的内存扩展为24G，内含GPU的显存容量提升为6GB，磁盘阵列的容量增多为20TB，单机磁盘数量扩展为24个，同时引进了新的设备:InfiniBand交换机、光纤交换机、防火墙、入侵检测设备和病毒检测防护；
[0063]对数据处理流程进行有效控制，具体对策如下:
[0064](I)数据处理流程有效控制是由CPU来完成的，其中CPU是充分利用线程并行性的有效手段，线程的有效分配可以优化cache的利用，提高程序的执行效率和吞吐量；
[0065](2)在数据处理流程中，如果没有空闲的任务生产计算节点，则将订单放入待执行订单缓冲区，等到当前订单执行完成后，从缓冲区取出订单再进行解析和生产；
[0066](3)通过定义节点计算能力来衡量一个计算节点的性能。
[0067]对GPU集群采用协同工作方式具体描述如下:
[0068](I) CPU与GPU异步执行优化，第一步为读取影像，第二步用GPU对影像进行并行处理；
[0069](2)选用型号为Tesla C2050的GPU，该型号显存为3G，可以明显减少数据在传输过程中消耗掉的时间。本发明采用双GPU来进一步获取更快的速度，任务分配为首先由两个GPU先处理第一和第二波段，处理完成后该两个GPU再同时处理第三和第四波段；
[0070]对所需数据快速存取具体描述如下:
[0071](I)将Infiniband和光纤快速存储技术相结合,光纤技术可以实现高速传输,米用此技术的存储设备可以使用多种链接，点对点、环、交换结构等，方便了扩展和冗余；
[0072](2)存储空间用光线交换机连接，由于遥感影像存储在存储空间上，保证了每台主控服务器接收到订单后可以从存储空间中通过万兆光纤和千兆光纤链路快速地取出数据；
[0073]对用户服务子系统，根据遥感数据处理的特点和面向大数据的安全存储问题添加了新闻动态、用户资源管理和用户安全验证功能，具体如下:
[0074](I)用户安全验证功能:用户在登录时增加对用户身份的鉴别与验证，主要实现了用户的身份验证和用户权限的分配；
[0075](2)用户分类功能:一名用户在登录后，该子系统能够识别该用户是普通用户还是特殊用户，界面也根据用户级别分级显示，内容也根据用户的级别显示的不同；
[0076](3)状态监控功能:通过监控界面可以监视用户提交的订单执行情况，具体执行到哪一步骤都可以通过状态监控获得，管理界面可以监控存储系统的性能，可以提供历史分析报告，便于对应用的性能监控和故障分析；
[0077]对数据处理子系统，由于遥感数据处理系统只需通过TCP/IP通信将订单发送给任务调度管服务器，无须传数据，所以可以使用UDP协议，面向非连接的协议适用于一次传送少量数据。
[0078]数据整编子系统的数据处理方法如下:
[0079]首先将输入图像分成若干个粗网格，利用正向变换函数式I计算这些粗网格点上的坐标(Xi，yi)在输出图像上的位置(Ui, Vi),其中1≤i≤K，K粗网格点的个数:然后利用K个(Ui, Vi)与(Xi，yi)点对，根据最小二乘法解算出逆变换函数式2。
[0080]u = fx (X，y) = a0+a1x+a2y+a3x2+a4xy+a5y2+a6x3+a7x2y+a8xy2+a9y3
[0081]V = f1 (x, y) = b0+b1x+b2y+b3x2+b4xy+b5y2+b6x3+b7x2y+b8xy2+b9y3 式 I
【权利要求】
1.一种快速响应式遥感大数据处理系统，其特征在于:所述系统硬件层包括有与集群节点连接的主控服务器，软件包括有数据整编子系统、数据管理子系统和用户服务子系统； 数据整编子系统，接收来自集群节点的遥感图像原始数据，对原始数据进行影像纠正、影像切分和大气纠正处理； 数据管理子系统，调取并储存数据整编子系统处理后的数据，对用户输入的控制指令以及数据整编子系统的数据处理任务进行统一管理，并生成工作日志； 用户服务子系统，用户通过服务子系统输入检索信息，并展示检索结果，提供信息下载服务和工作日志查看服务。
2.如权利要求1所述的一种快速响应式遥感大数据处理系统，其特征在于:所述数据整编子系统包括有导入影像模块、影像纠正模块、影像切分模块、大气纠正模块和系统自动模块； 导入影像模块，导入来自集群节点的遥感图像原始数据； 影像纠正模块，纠正导入影像模块的遥感图像原始数据； 影像切分板块，对经过影像纠正模块纠正后的图像数据进行影像切分； 系统自动模块，用户通过该模块输入遥感图像原始数据的处理参数。
3.如权利要求1所述的一种快速响应式遥感大数据处理系统，其特征在于:所述数据管理子系统包括有数据入库模块、任务单监控模块、存储站点监控模块和工作日志生成模块； 数据入库模块，调取数据整编子系统处理后的数据信息； 任务单监控模块，对用户输入的控制指令进行排序管理，并对数据整编子系统的数据处理流程进行任务管理； 存储站点监控模块，监控存储内存的容易状态； 工作日志生成模块，根据任务单监控模块所监控的任务信息，自动生成工作日志。
4.如权利要求1所述的一种快速响应式遥感大数据处理系统，其特征在于:所述用户服务子系统包括有本地检索模块、展示模块和数据下载模块； 本地检索模块，用户通过该模块输入检索信息； 展示模块，根据本地检索模块输入的检索信息，从数据入库模块和任务单监控模块中调取对应信息，并展示出来； 数据下载模块，根据本地检索模块输入的检索信息，从数据入库模块和任务单监控模块中调取对应信息，并提供下载服务。
5.如权利要求1所述的一种快速响应式遥感大数据处理系统，其特征在于:所述系统包括具有大内存的主控服务器，具有快速读写和热备份功能的磁盘阵列，具备多个可扩展功能的单机磁盘，且主控服务器分别与InfiniBand架构交换机和光纤交换机连接。
6.如权利要求5所述的一种快速响应式遥感大数据处理系统，其特征在于:所述主控服务器包括有I个CPU和2个GPU，CPU读取遥感图像原始数据后，内两个GPU对遥感图像原始数据进行并行处理。
7.如权利要求6所述的一种快速响应式遥感大数据处理系统，其特征在于:所述GPU选用型号为Tesla C2050，显存为3G。
【文档编号】G06F17/30GK103970904SQ201410228045
【公开日】2014年8月6日 申请日期:2014年5月27日 优先权日:2014年5月27日
【发明者】张可, 柴毅, 刘建环, 田甜, 钱锟 申请人:重庆大学
相关技术
网友询问留言
已有0条留言
- 还没有人留言评论。精彩留言会获得点赞！
1