一种多源遥感信息数据共享系统及方法与流程

本发明涉及遥感，具体为一种多源遥感信息数据共享系统及方法。

背景技术：

1、随着遥感技术的不断发展，遥感技术在农业、林业、海洋、气象、水文、环保等多领域广泛应用，随之出现了众多遥感数据处理与分析平台和遥感数据共享方法，平台和方法的主要作用是对遥感数据进行预处理及分析分类，然后将数据提供给行业客户、个人客户。遥感数据共享平台的发展解决了非遥感专业公司、个人获取和使用遥感数据的技术壁垒，极大地促进了遥感在各行业的应用。

2、现有技术中，遥感数据的获取、存储、处理、分析、共享等各个环节往往是分散、独立的，缺乏全链条流程统一规划，导致业务流程割裂，难以提供全套的解决方案。现有技术缺乏统一高效的数据管理规划，导致数据存储、提取、分析等方面存在困难，数据无法充分发挥其价值。虽然遥感技术发展迅猛，但在人工智能等先进技术的应用方面仍然存在问题，流程依赖大量人工干预，难以简化流程和提高行业匹配准确性。

3、对比专利号：cn109905464a一种基于区块链的分布式遥感数据共享系统，本发明涵盖了数据接入、存储、智能处理、展示、共享全业务流程；在数据存储层除基础的遥感数据存储外，还设计了热点数据存储支撑热点数据共享；运用人工智能技术快速、智能地对遥感影像进行行业分类。

技术实现思路

1、本发明的目的在于提供一种多源遥感信息数据共享系统及方法，以解决上述背景技术中提出的问题。

2、为了解决上述技术问题，本发明提供如下技术方案：

3、一种多源遥感信息数据共享系统包括数据接入层、数据存储层、数据处理层、数据展示层、数据共享层；

4、所述数据接入层包含气象卫星获取系统、资源卫星获取系统、海洋卫星获取系统、航空遥感数据获取系统和其他数据获取系统，接入多源遥感数据；

5、所述数据存储层包含不同类型的数据库，所述数据库用于数据的存储，包含分布式文件系统、关系型数据库、非关系型数据库、内存数据库；

6、所述数据处理层包含图像处理模块、人工智能模块、汇聚叠加模块、统计分析模块；负责遥感数据的预处理生成标准化数据，利用人工智能进行分类、汇聚、叠加自动化生成根据行业、场景分类的遥感数据；

7、所述数据展示层包含分行业检索、分级别检索、分地域检索、分场景检索、影像展示，根据检索条件展示数据；

8、所述数据共享层的共享方式包含api、ftp、光盘，涵盖的行业包含智慧城市、智慧应急、智慧农林、智慧渔业、智慧环境。

9、在数据接入层中，所述气象卫星获取系统收集的数据包括卫星图像、温度、湿度、云覆盖、降水、风速、风向、气压、太阳辐射、地表温度；

10、所述资源卫星获取系统收集的数据包括多光谱图像、红外线图像、合成孔径雷达图像、数字高程模型、土壤湿度数据、地表水质数据、土地变化监测数据；

11、所述海洋卫星获取系统收集的数据包括海洋表面温度数据、海洋表面高度数据、海洋风速和风向数据、海洋生态系统监测数据、海洋色素数据、海洋表面溢油监测数据、海洋冰川和冰盖监测数据、海洋地形数据；

12、所述航空遥感数据获取系统收集的数据包括航拍图像、红外线图像、激光雷达数据、多光谱图像、热红外线图像、多光谱lidar数据、电磁谱数据、航空磁力数据、视频数据。

13、所述其他数据获取系统包括水文测量系统、空气质量监测站、地震和地质监测网络、太空望远镜。

14、所述数据存储层存储原始遥感数据、预处理遥感数据、元数据、热点数据、切片数据；所述原始遥感数据是从各种遥感数据源直接获取的未经处理的原始数据；所述预处理遥感数据是对原始遥感数据进行一系列处理步骤后生成的数据；所述元数据包括数据标识符、数据来源、数据采集时间、数据类型、数据格式、地理坐标系统、分辨率、数据质量信息、数据处理历史、数据访问权限、关联数据、数据所有者、数据使用说明、数据关键词、数据文件大小、数据版本信息；所述热点数据是在特定时间段内或特定地理区域内具有高度关注或重要性的数据；所述切片数据是将大型遥感数据集分成较小的切片或块的过程。

15、原始遥感数据通常以各种格式(如图像、传感器读数等)存在，并可能具有不同的分辨率和数据类型。这些数据在存储层中以原始状态保存，以保留数据的完整性和准确性。经过预处理的遥感数据是在数据处理层进行预处理操作(如辐射校正、几何校正、投影变换等)后，生成的标准化数据被存储在这一层，这些数据更容易分析和共享。

16、部分数据会被标识为热点数据，所述热点数据存储用于存储经常访问的、具有高价值的数据，以提高数据访问速度。这些数据是常用的图层、地理信息系统(gis)数据等，用于支持快速查询和可视化。

17、切片数据存储用于存储已经处理过的遥感图像的切片，以便于实时地图渲染和在线地图服务。这对于地理信息系统应用非常重要。

18、数据存储层使用数据库管理系统(dbms)来管理和组织数据。这些系统是关系型数据库(如mysql、postgresql)、非关系型数据库(如mongodb、cassandra)或内存数据库(如redis)。不同的数据库类型用于不同的数据存储需求，例如事务处理、文档存储或缓存。

19、所述分布式文件系统是一种用于管理大型文件和数据的系统，以下是分布式文件系统的执行步骤：

20、s5-1、用户将原始遥感数据或处理后数据上传到分布式文件系统，上传通过文件传输协议ftp或api进行；

21、s5-2、对于大型文件，分布式文件系统将其分割成块或切片，每个切片具有唯一的标识符；所述每个切片的大小为b百兆字节，其中b是用户设置的一个正整数；

22、s5-3、分布式文件系统将文件块或切片复制到多个存储节点上；

23、s5-4、分布式文件系统存储元数据；

24、s5-5、用户和应用程序通过分布式文件系统的接口或api访问存储的数据；文件系统负责管理数据的分发和访问权限；

25、所述大型文件是单个文件大小超过a千兆字节的文件，其中a是用户设置的一个正整数。

26、在数据处理层中，预处理生成标准化数据的步骤如下：

27、s6-1、从数据存储层中获取原始遥感数据；

28、s6-2、对于光学遥感数据，进行辐射校正；所述辐射校正是校正图像以消除来自大气和传感器的辐射效应；

29、s6-3、通过几何校正将遥感数据校正为地球表面的真实坐标；

30、s6-4、通过投影变换将遥感数据转换为所需的坐标系统；

31、s6-5、通过图像修饰，对遥感图像进行改进，以增强图像的可视化质量和解释性；所述图像修饰包括色彩平衡、对比度增强、噪声降低；

32、s6-6、根据用户需求和应用场景，将图像裁剪为特定的区域或兴趣区域；

33、s6-7、生成元数据；

34、s6-8、将数据采用标准数据格式，所述标准数据格式包括geotiff、netcdf、hdf；

35、s6-9、对处理后的数据进行质量控制检查；

36、s6-10、将经过预处理的标准化数据存储回数据存储层。

37、在数据处理层中，利用人工智能进行分类、汇聚和叠加的步骤如下：

38、s7-1、使用卷积神经网络提取遥感图像的特征；

39、s7-2、针对所需的行业和场景分类任务，训练深度学习模型；训练模型需要大量的标记数据，其中包括图像和相应的分类标签；

40、s7-3、模型训练完成后，使用模型自动分类遥感图像；

41、s7-4、汇聚将相同行业或场景类别的图像叠加在一起，通过地理信息系统技术实现；

42、s7-5、将不同数据源的信息叠加在一起；

43、s7-6、将整个过程自动化，通过批量处理和脚本编程实现；

44、s7-7、持续监控模型的性能，并根据需要对其进行改进；通过不断添加新的标记数据、微调模型参数或采用迁移学习的方法实现。

45、图像处理模块负责对遥感图像进行一系列的处理操作，以确保数据的质量和准确性。这些操作包括辐射校正(对抗光照变化)、几何校正(修复地球表面的形状和位置偏差)、投影变换(将数据投射到标准坐标系统中)、图像整饰(去除噪声、云、阴影等)、图像镶嵌(将多个图像拼接成一个连续图像)以及图像裁剪(提取感兴趣的区域)。

46、人工智能模块是数据处理层的核心组件之一。它使用机器学习和深度学习技术，包括目标识别模型、场景分类模型、行业分类模型、影像融合模型、变化检测模型等，对遥感数据进行自动化分类、识别和分析。这些模型可以根据具体的应用需求，将遥感数据分类为不同的行业、场景或物体，并提供有关这些数据的详细信息。

47、汇聚叠加模块负责多源遥感数据的集成和叠加。它可以进行多维度的汇聚，将不同来源的数据融合在一起，以创建更丰富的信息图层。这个模块可以细粒度分层、图层智能叠加、智能切片等，以生成更高级别的遥感数据产品。

48、统计分析模块用于对处理后的遥感数据进行分析和统计。它可以执行各种统计操作，如影像质量统计(分析数据的准确性和可用性)、影像数量统计(统计数据的数量)、行业热度统计(分析行业的关注度)以及级别热度统计(分析数据级别的使用频率)。这些统计信息可以帮助业务管理员进行科学决策。

49、在数据展示层中，用户根据不同的行业需求，使用数据展示层进行检索；支持按照不同级别进行检索，用户能够选择特定地理区域或分辨率级别，以获取所需数据；用户能够根据地理位置进行检索，数据展示层提供地图界面，允许用户在地图上选择区域，并获取与该区域相关的遥感数据；用户能够根据不同的场景或应用需求进行检索，系统提供场景分类或关键词搜索功能；用户能够下载所需的遥感数据；

50、数据展示层向用户呈现遥感数据的影像，提供可视化工具进行展示，所述可视化工具包括图像浏览器、交互式地图、图表生成工具。

51、数据共享层提供了应用程序编程接口(api)，使其他系统能够实时获取遥感数据。通过api，开发人员可以编写应用程序来自动化数据访问和集成，以支持各种遥感数据应用。api共享通常是最灵活的数据共享方式，适用于实时数据访问和集成。数据共享层支持文件传输协议(ftp)等方式，将数据以文件形式共享给其他系统或用户。用户可以通过ftp服务器下载数据文件，以供后续分析和使用。这种方式适用于批量数据下载和离线处理。

52、对于大量数据或需要物理交付的情况，数据共享层可以将数据刻录到光盘或其他可移动媒体上，然后邮寄给用户。这种方式适用于需要离线数据访问的场景。数据共享层包括访问控制机制，以确保只有授权用户能够访问敏感或有限制的数据。访问控制可以基于用户身份、角色、权限等进行管理，以保护数据的安全性和隐私。

53、数据共享层记录每次数据访问的信息，包括访问者、访问时间、访问内容等。这些记录有助于跟踪数据的使用情况和合规性，并可以用于审计和监控。

54、数据共享层可以提供一套数据服务套件，包括数据查询、数据下载、数据订阅等服务。这些服务可以根据用户需求提供不同的访问方式，以满足各种需求。数据共享层提供数据格式转换服务，以将数据转换为不同的文件格式或数据结构，以适应不同应用程序或系统的要求。

55、一种多源遥感信息数据共享方法，步骤如下：

56、s9-1、数据获取；获取气象卫星数据、资源卫星数据、海洋卫星数据、航空遥感数据和其他数据；所述其他数据是来自水文测量系统、空气质量监测站、地震和地质监测网络、太空望远镜的遥感信息；

57、s9-2、对获取的数据进行完整性校验，确保数据未损坏或丢失；进行数据质量校验时，排除低质量或不准确的数据；确保数据类型符合预期；

58、s9-3、存储原始获取的遥感数据，保留数据的完整性；存储经过预处理的遥感数据；记录元数据；存储热点数据；存储根据需要生成的数据切片；

59、s9-4、进行辐射校正、几何校正、投影变换、图像整饰、图像镶嵌、图像剪裁的预处理操作；

60、s9-5、使用人工智能模型对数据进行行业分类、场景分类、图层数据整合、数据源汇聚；

61、s9-6、通过api或其他接口实时共享数据给其他系统或用户；将数据刻录到光盘上，提供离线共享方式；

62、s9-7、对分类结果、场景分类、数据的时效性进行评估，根据评价结果提出改进建议，优化流程和模型。

63、在步骤s9-2中，所述排除低质量或不准确的数据的方法如下：

64、检查数据是否完整，包括确保文件没有损坏或缺失任何重要部分，使用文件校验和来验证文件的完整性；进行异常值检测，识别数据中的不寻常或不合理的值，通过标准差完成；检查数据是否在不同字段或数据源之间保持一致性；检测并删除重复的数据记录；检查数据是否在预期范围内；确保数据的格式符合预期；处理缺失值，使用填充缺失值、删除包含缺失值的记录、使用插值的方法。

65、本发明采用容器化云平台来实现ci/cd(持续集成/持续交付)全流程的自动化，以提高系统的部署效率、质量和可维护性。

66、首先，开发团队将应用程序和相关组件进行容器化。这意味着将应用程序、依赖项、配置文件等打包到容器镜像中。容器镜像是一个独立的、可移植的单元，可以在不同的环境中运行，确保了应用程序的一致性。

67、开发团队使用版本控制系统(如git)来管理应用程序的源代码。每次代码更改都会提交到版本控制系统，并触发ci流程。

68、ci服务器(如jenkins、travis ci等)会自动检测版本控制系统中的代码更改。一旦有新的代码提交，ci服务器会触发自动构建过程。在构建过程中，ci服务器会将容器镜像重新构建，运行测试套件以确保代码质量，然后创建新的镜像版本。

69、容器编排工具(如docker compose、kubernetes等)用于管理和编排容器的部署。ci服务器可以使用容器编排工具来部署新的容器化应用程序。一旦构建和测试通过，容器镜像就可以被部署到生产环境。cd流程可以根据需要包括多个阶段，例如预生产环境和生产环境。容器编排工具能够自动扩展应用程序的副本，以适应流量的变化。

70、使用容器编排工具，容器化应用程序可以自动部署到云平台或私有云中。容器编排工具负责管理应用程序的生命周期、自动扩展和故障恢复。ci/cd流程中的每个阶段都可以通过脚本和自动化工具来执行，以减少人工干预和错误。

71、ci/cd流程还包括监控和反馈机制，以确保应用程序的运行状态和性能。监控工具可以实时监测应用程序的健康状况，并在出现问题时发出警报。如果出现问题，ci/cd流程可以自动回滚到先前的稳定版本，以降低风险。

72、在ci/cd流程中，自动化测试是关键的一环。包括单元测试、集成测试和端到端测试等多种类型的测试，以确保应用程序在各个阶段都具备高质量和可靠性。

73、与现有技术相比，本发明所达到的有益效果是：

74、本发明通过从遥感数据获取、数据存储、数据过滤、数据预处理、数据分类、数据共享、评价反馈的全流程进行系统规划，实现了业务全流程闭环，提供了更全面、高效的解决方案。

75、通过引入分布式文件系统、关系型数据库、非关系型数据库、内存数据库的种类丰富的数据库，本发明有效组织了数据的存储、提取和分析，使得遥感数据更容易发挥其价值。

76、本发明引入人工智能技术，包括目标识别模型、场景分类模型、行业分类模型、影像融合模型、变化检测模型，实现了遥感数据的自动化处理和分类，大大简化了处理流程，提高了分类识别的准确性。

77、采用容器化云平台实现了ci/cd全流程自动化，提供了流程和质量管控以及持续交付的能力，从而杜绝了系统升级迭代繁琐的问题，使系统更具敏捷性和可维护性。