一种多源遥感数据归档处理方法及装置与流程

本发明涉及遥感技术领域，具体而言，涉及一种多源遥感数据归档处理方法及装置。

背景技术：

随着近年来我国在卫星应用领域的不断扩展，在诸如环境保护，城市建设，土地整治，综合减灾等不同行业中，不同种类的卫星和载荷的遥感数据综合应用的势头逐渐兴起。因此，如何共同存储，联合查询和综合提取的需求就成为迫切解决的问题。国内遥感产品的元数据文件绝大多数采用的是xml文件格式进行描述，国外的遥感数据除了xml格式的源文件还存在着大量的txt格式的元数据文件。目前采用的方式是对一般的所需信息均在叶子节点的xml文件构建可统一的属性提取工具，而对于结构复杂或存在层次相同的叶子节点的xml文件，就必须针对这种数据单独建立相应的解析模块，这使系统添加新种类数据时，需要进行大量的开发工作。而相比较xml格式的文件，txt格式的元数据描述文件具有更大的灵活性，解析的难度更大。

现有的遥感数据数据管理系统采用的是确定数据文件格式的归档处理流程，因此相关查询均是基于元数据所含信息的查询，难以扩展。

技术实现要素：

针对现有技术中存在的问题，本发明提供了一种多源遥感数据归档处理方法及装置，该方法操作简单，无需根据元数据文件形式进行单独的元数据属性解析，即使新增遥感数据类型，也只需更新标准属性数据库即可实现兼容，无需开发相应解析模块。

本发明的技术方案是：

一种多源遥感数据归档处理方法，包括：

提取待归档数据的元数据信息，所述元数据信息中包含个性化属性名称列表及各所述个性化属性名称对应的属性值；

将所述个性化属性名称与标准属性数据库中的标准属性名称进行匹配，确定各所述个性化属性名称对应的标准属性名称及属性值获取方式；

根据确定的属性值获取方式，从所述元数据信息中获取各所述个性化属性名称对应的属性值，生成所述待归档数据的新的元数据信息，所述新的元数据信息中包含所述标准属性名称与其对应的属性值；

根据所述新的元数据信息，对所述待归档数据进行分类存储。

在一可选实施例中，所述将所述个性化属性名称与标准属性数据库中的标准属性名称进行匹配，确定各所述个性化属性名称对应的标准属性名称及属性值获取方式，包括：

基于数据名称判别正则式，对待归档数据名称进行判断，以判别所述待归档数据是否为有效格式数据；

若是，则将所述个性化属性名称列表中的各所述个性化属性名称逐一与标准属性数据库中的标准属性名称进行匹配，当所述个性化属性列表中的个性化名称数量与所述标准属性数据库中的标准属性名称数量一致且所述个性化属性名称与所述标准属性名称一一对应时，确定各所述个性化属性名称对应的标准属性名称及属性值获取方式。

在一可选实施例中，还包括：

若否，则将所述待归档数据标记为不可识别数据。

在一可选实施例中，还包括：

确定数据需要进行归档记录的属性列表，所述属性列表中各属性名称为统一的标准属性名称；

根据归档数据的元数据信息，建立所述属性列表中各所述标准属性名称与不同的个性化属性名称之间的对应关系，并确定各所述标准属性名称对应的属性值的获取方式，得到标准属性数据库。

在一可选实施例中，所述元数据信息为xml格式和/或txt格式。

在一可选实施例中，所述根据所述新的元数据信息，对所述待归档数据进行分类存储之后，还包括：

根据所述待归档数据对应的各标准属性名称，确定所述待归档数据对应的数据处理方案；

采用确定的所述数据处理方案，对所述待归档数据进行数据处理，并将处理后得到的数据进行存储。

一种多源遥感数据归档处理装置，包括：

数值提取模块，用于提取待归档数据的元数据信息，所述元数据信息中包含个性化属性名称列表及各所述个性化属性名称对应的属性值；

匹配模块，用于将所述个性化属性名称与标准属性数据库中的标准属性名称进行匹配，确定各所述个性化属性名称对应的标准属性名称及属性值获取方式；

更新模块，用于根据确定的属性值获取方式，从所述元数据信息中获取各所述个性化属性名称对应的属性值，生成所述待归档数据的新的元数据信息，所述新的元数据信息中包含所述标准属性名称与其对应的属性值；

数据存储模块，用于根据所述新的元数据信息，对所述待归档数据进行分类存储。

在一可选实施例中，所述匹配模块，用于：

基于数据名称判别正则式，对待归档数据名称进行判断，以判别所述待归档数据是否为有效格式数据；

若是，则将所述个性化属性名称列表中的各所述个性化属性名称逐一与标准属性数据库中的标准属性名称进行匹配，当所述个性化属性列表中的个性化名称数量与所述标准属性数据库中的标准属性名称数量一致且所述个性化属性名称与所述标准属性名称一一对应时，确定各所述个性化属性名称对应的标准属性名称及属性值获取方式。

在一可选实施例中，还包括异常数据处理模块，用于：

若否，则将所述待归档数据标记为不可识别数据。

在一可选实施例中，还包括标准属性数据库建立模块，用于：

确定数据需要进行归档记录的属性列表，所述属性列表中各属性名称为统一的标准属性名称；

根据归档数据的元数据信息，建立所述属性列表中各所述标准属性名称与不同的个性化属性名称之间的对应关系，并确定各所述标准属性名称对应的属性值的获取方式，得到标准属性数据库。

在一可选实施例中，所述元数据信息为xml格式和/或txt格式。

在一可选实施例中，还包括数据处理模块，用于：

根据所述待归档数据对应的各标准属性名称，确定所述待归档数据对应的数据处理方案；

采用确定的所述数据处理方案，对所述待归档数据进行数据处理，并将处理后得到的数据进行存储。

本发明实施例提供的多源遥感数据归档处理方法，通过将各不同形式元数据文件中标记同一属性的个性化属性名称统一成一致的标准属性名称，并根据所述标准属性名称归类存储对应的数据信息，数据入库后，在进行相关查询时，可以根据个性化属性名称对应的标准属性名称查找到相关数据，该方法操作简单，无需根据元数据文件形式进行单独的元数据属性解析，即使新增遥感数据类型，也只需更新标准属性数据库即可实现兼容，无需开发相应解析模块。

附图说明

图1为本发明实施例提供的一种多源遥感数据归档处理方法流程图；

图2为本发明实施例提供的多源遥感数据管理系统归档示意图；

图3是本发明实施例提供的一种多源遥感数据归档处理装置示意图。

具体实施方式

以下将结合附图和具体实施例对本发明的具体实施方式做进一步详细说明。

参见图1，本发明实施例提供了一种多源遥感数据归档处理方法，包括：

步骤101：提取待归档数据的元数据信息，所述元数据信息中包含个性化属性名称列表及各所述个性化属性名称对应的属性值；

具体地，参见图2，数据管理服务器集群的数据源(待归档数据)可以是来自不同卫星获取的数据，例如拍摄的影像数据、采集的物理量数据等，也可以是针对同一颗卫星遥感数据而由不同地面接收站接收并处理后形成的产品数据；所述元数据信息包括卫星名称、载荷传感器编号、拍摄时间、星下点经纬度等不同属性的信息，各属性名称均为个性化属性名称，例如，“左上角经度”在xml格式描述文件中可以命名为“ullong”、“upperleftlongitude”或“ullongitude”等个性化名称，在txt格式描述文件中可以命名为“ullong”、“upleftlongitude”等个性化名称；

数据管理服务器集群通过获取待归档数据的存储地址，将元数据文件从待归档数据对应的压缩文件或是目录中直接抽取出来，并保存于缓冲区中，以便从缓存区中获取元数据文件；

步骤102：将所述个性化属性名称与标准属性数据库中的标准属性名称进行匹配，确定各所述个性化属性名称对应的标准属性名称及属性值获取方式；

具体地，本发明实施例中，所述标准属性数据库包含有标准属性名称与对应的多个个性化属性名称的对应关系及对应的属性值获取方式；在一可选实施例中，标准属性数据库的建立方法包括：

确定数据需要进行归档记录的属性列表，所述属性列表中各属性名称为统一的标准属性名称；根据归档数据的元数据信息，建立所述属性列表中各所述标准属性名称与不同的个性化属性名称之间的对应关系及属性值获取方式，得到标准属性数据库。

具体地，本发明实施例中，标准属性数据库中包含不同类型的元数据描述文件以实现个性化属性名称与标准属性名称的对应并约定属性值获取方式，例如，对于xml形式的元数据描述文件，将源数据需要进行归档记录的属性逐一列出，同时标注出对应的标准属性名称，并以xpath的形式记录对应属性值的获取方式；对于txt形式的元数据描述文件，其不仅需要进行归档记录的属性逐一列出，并标注出对应的标准属性名称，还需要记录有属性名与属性值之间的分隔符、属性与属性间的分割标志、表征父属性与子属性间层次递进的符号、以及属性段的段起始符与结束符的标志等信息，对应属性值的获取方式也以类似xpath的形式保存。

针对xml形式的元数据文件直接通过xpath搜索个性化属性名称及对应的属性值，对于txt形式的元数据文件则先根据层级递进关系转换成xml形式文件，再参照xml形式的元数据文件进行搜索，直到找出各个性化属性名称；

步骤103：根据确定的属性值获取方式，从所述元数据信息中获取各所述个性化属性名称对应的属性值，生成所述待归档数据的新的元数据信息，所述新的元数据信息中包含所述标准属性名称与其对应的属性值；

步骤104：根据所述新的元数据信息，对所述待归档数据进行分类存储。

例如，在某卫星数据产品的元数据文件中影像数据所覆盖范围的经纬度，其左上角经度的描述字段为“ullong”，其对应的xpath表述是“/product/imageinfo/corner/ullong”,根据xpath数值提取规则获取到其属性值为“106.6374”，而“ullong”在标准属性数据库中对应的标准属性名称为“upper_left_longitude”，因此将待归档数据中“upper_left_longitude”存储为“106.6374”。

本发明实施例在分类存储时既可将数据直接存储到所述标准属性数据库中，也可单独进行归类存储，本发明不作限定。

数据入库后，用户可以根据遥感数据本身的元数据属性和空间信息属性对数据进行检索，针对筛选出的数据的提取操作可分为两种形式，一种是查询结果数据的完整提取，另一种是根据用户提交的空间多边形范围对影像进行裁切，实现数据的局部提取。

本发明实施例提供的多源遥感数据归档处理方法，通过将各不同形式元数据文件中标记同一属性的个性化属性名称统一成一致的标准属性名称，同时约定好属性数值的提取方式，并根据所述标准属性名称归类存储对应的数据信息，数据入库后，在进行相关查询时，可以根据个性化属性名称对应的标准属性名称查找到相关数据，该方法操作简单，无需根据元数据文件形式进行单独的元数据属性解析，即使新增遥感数据类型，也只需添加或更新标准属性数据库即可实现兼容，无需开发相应解析模块。

进一步地，所述将所述个性化属性名称与标准属性数据库中的标准属性名称进行匹配，确定各所述个性化属性名称对应的标准属性名称及属性值获取方式，，包括：

102a：基于数据名称判别正则式，对待归档数据名称进行判断，以判别所述待归档数据是否为有效格式数据；

具体地，归档数据按照同种类数据文件名的命名规则，可以提取出相应的正则表达式(名称判别正则式)，提取出的正则表达式可以记录在元数据描述文件中；通过建立有效格式数据正则表达式列表，即可根据待测归档数据的名称判别正则式确定其是否为有效格式数据；

例如：高分3号卫星fsi传感器数据文件名判别正则表达式为gf3_[a-z]{3}_fsi_\d{6}_(w|e)\d{1,3}.\d{1}_(n|s)\d{1,3}.#{1}_l\d(a|b)？_(hhhv|vhvv)_l\d{1,11}.tar.gz，通过正则表达式判别后gf3_kmn_fsi_123456_e103.6_n39.2_l1a_hhhv_l20170203201.tar.gz被认为是有效数据。

若是，则进行步骤102b：则将所述个性化属性名称列表中的各所述个性化属性名称逐一与标准属性数据库中的标准属性名称进行匹配，当所述个性化属性列表中的个性化名称数量与所述标准属性数据库中的标准属性名称数量一致且所述个性化属性名称与所述标准属性名称一一对应时，确定所述待归档数据为有效数据；例如：某类卫星数据中应包含卫星名称、传感器编号、拍摄时间和拍摄中心点经纬度坐标等属性，依据xpath方式进行搜索后可以得到全部属性的有效数值(属性值)，则认为该数据为有效数据，否则被视为无效数据。

若否，则进行102b’：则将所述待归档数据标记为不可识别数据。

通过名称判别正则式可以先筛除不可识别数据，避免部不必要的处理工作，提高归档效率。

102c：确定所述有效数据的各所述个性化属性名称对应的标准属性名称及属性值获取方式；

进一步地，所述根据所述新的元数据信息，对所述待归档数据进行分类存储之后，还包括：

根据所述待归档数据对应的各标准属性名称，确定所述待归档数据对应的数据处理方案；

采用确定的所述数据处理方案，对所述待归档数据进行数据处理，并将处理后得到的数据进行存储。

例如：光学卫星的某类数据产品元数据中未包含云覆盖度等参数，为了便于检索和数据提取，需要在数据归档时针对该类数据进行特殊处理以获得云覆盖度。又如，在归档宽幅卫星影像时，根据预先设定的空间范围对数据进行裁切后存储。因此在数据归档处理流程中需要针对各类数据编制有针对性的数据处理方案。

参见图3，本发明还提供了一种多源遥感数据归档处理装置，包括：

一种多源遥感数据归档处理装置，包括：

数值提取模块10，用于提取待归档数据的元数据信息，所述元数据信息中包含个性化属性名称列表及各所述个性化属性名称对应的属性值；

匹配模块20，用于将所述个性化属性名称与标准属性数据库中的标准属性名称进行匹配，确定各所述个性化属性名称对应的标准属性名称及属性值获取方式；

更新模块30，用于根据确定的属性值获取方式，从所述元数据信息中获取各所述个性化属性名称对应的属性值，生成所述待归档数据的新的元数据信息，所述新的元数据信息中包含所述标准属性名称与其对应的属性值；

数据存储模块40，用于根据所述新的元数据信息，对所述待归档数据进行分类存储。

在一可选实施例中，所述匹配模块，用于：

基于数据名称判别正则式，对待归档数据名称进行判断，以判别所述待归档数据是否为有效格式数据；

若是，则将所述个性化属性名称列表中的各所述个性化属性名称逐一与标准属性数据库中的标准属性名称进行匹配，当所述个性化属性列表中的个性化名称数量与所述标准属性数据库中的标准属性名称数量一致且所述个性化属性名称与所述标准属性名称一一对应时，确定各所述个性化属性名称对应的标准属性名称及属性值获取方式。

在一可选实施例中，还包括异常数据处理模块，用于：

若否，则将所述待归档数据标记为不可识别数据。

在一可选实施例中，还包括标准属性数据库建立模块，用于：

确定数据需要进行归档记录的属性列表，所述属性列表中各属性名称为统一的标准属性名称；

根据归档数据的元数据信息，建立所述属性列表中各所述标准属性名称与不同的个性化属性名称之间的对应关系，并确定各所述标准属性名称对应的属性值的获取方式，得到标准属性数据库。

在一可选实施例中，所述元数据信息为xml格式和/或txt格式。

在一可选实施例中，还包括数据处理模块，用于：

根据所述待归档数据对应的各标准属性名称，确定所述待归档数据对应的数据处理方案；

采用确定的所述数据处理方案，对所述待归档数据进行数据处理，并将处理后得到的数据进行存储。

本发明装置实施例与方法实施例一一对应，具体描述和效果参见方法实施例，在此不再赘述。

以上所述，仅为本发明最佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。

本发明说明书中未作详细描述的内容属于本领域专业技术人员的公知技术。