工业大数据沙箱系统及工业大数据系统的制作方法

本发明涉及工业大数据，具体地涉及一种工业大数据沙箱系统及工业大数据系统。

背景技术：

1、目前，大数据技术已经在工业企业中广泛应用，工业大数据平台汇聚了经营、研发、制造等全业务环节的数据，为了更好地让数据产生价值和为企业服务，需要在市场分析、审计稽查、数据驱动研发、数据稽核等多个过程中依赖于使用真实数据进行数据分析，然而如何在安全的环境中对数据进行探索、分析和处理等对于企业至关重要，不仅需要避免分析过程中对生产环境的影响，而且需要防止分析过程可能造成的数据敏感信息泄露。

2、大数据沙箱是一种大数据安全技术，主要用于保护大数据存储和处理的安全。通过大数据沙箱技术，可以建立一个隔离的环境，对工业大数据进行分析和挖掘，提取有价值的信息和知识，以发现问题和优化机会。这样可以有效地降低分析数据对实际生产环境的影响，提高数据分析的安全性和可靠性。大数据沙箱技术可以通过例如数据脱敏/模拟、多方计算、联邦学习、加密和虚拟化等方式来进行安全防护，但上述技术都只是从系统安全或提升部署效率等单一方面进行考虑，虽然引入了隐私计算技术来实现数据隐私保护，但也存在明显缺陷，没有对于工业大数据的实际使用场景，从安全、成本、效率、稳定性、灵活性和通用性等方面综合应用大数据沙箱技术。

技术实现思路

1、本发明实施例的目的是提供一种工业大数据沙箱系统，该工业大数据沙箱系统更适用于工业大数据的实际使用场景。

2、为了实现上述目的，本发明实施例提供一种工业大数据沙箱系统，用于对存储系统的访问进行保护，所述工业大数据沙箱系统包括元数据管理模块、沙箱管理模块、权限管理模块和存储网关模块。所述元数据管理模块用于提供外部元数据；所述沙箱管理模块用于：根据对所述存储系统的访问指令，基于docker容器技术，创建对应的沙箱实例，所述沙箱实例被配置为根据所述访问指令、所需要的元数据及根据该元数据获取的访问数据，进行相关任务的计算处理，所述元数据包括所述元数据管理模块提供外部元数据和/或该沙箱实例的内部元数据；所述权限管理模块用于管理对所述元数据管理模块和所述沙箱管理模块的访问权限；所述存储网关模块用于支持所述沙箱管理模块与所述存储系统之间进行数据交互。

3、可选的，所述元数据管理模块包括：元数据集成模块，用于采集生产系统的生产元数据和其他沙箱实例提供的元数据；元数据转换模块，用于通过元数据模型，将所采集的元数据转换成具有预设的数据结构的外部元数据进行存储；以及元数据分发模块，用于响应于所述沙箱实例的元数据访问指令，将根据所述元数据访问指令获取的外部元数据发送至该沙箱实例。

4、可选的，所述工业大数据沙箱系统还包括元数据网关模块，用于：存储预设的转换策略，以所述元数据分发模块在将所述外部元数据发送至该沙箱实例之前，调用该转换策略，将该外部元数据参数信息转换为参数变量，将所述外部元数据和所述参数变量发送至该沙箱实例；存储所述参数变量和所述参数信息的映射关系，以在所述沙箱实例从所述存储系统获取所述访问数据时，提供所述参数信息，所述参数信息包括该外部元数据的数据源和该外部元数据对应的数据位于所述存储系统的存储信息。

5、可选的，所述沙箱实例包括元数据客户端和计算引擎，所述元数据客户端，用于在所述沙箱实例内，管理所述元数据，所述计算引擎，用于根据所述访问指令生成计算进程，用以根据所述访问指令、对应的元数据及根据该元数据获取的访问数据进行计算，得到相关任务的计算结果。

6、可选的，所述元数据客户端还用于：向所述权限管理模块申请获取所述外部元数据的权限；当得到对应的授权时，根据所述访问指令生成对应的元数据访问指令；以及发送所述元数据访问指令，得到响应于该元数据访问指令的外部元数据及对应的参数变量。

7、可选的，所述元数据客户端还用于：获取所述计算引擎在计算过程中生成的内部元数据和/或根据计算结果生成的内部元数据；以及根据任务需求，将所述内部元数据发送至所述元数据管理模块，该内部元数据允许该元数据客户端所属的沙箱实例和通过所述权限管理模块授权的其他沙箱实例访问。

8、可选的，根据所述访问指令生成的计算进程包括driver进程和executor进程，所述driver进程，被配置为接收所述权限管理模块已授权的访问指令，根据所述访问指令，从所述元数据客户端获取所需的元数据及对应的参数变量，并根据所述访问指令，生成用于进行相关任务计算的读写请求指令，将所述读写请求指令发送至所述executor进程，所述executor进程，根据所述参数变量对应的参数信息，从所述存储系统获取所述元数据对应的访问数据，并根据所述读写请求指令和所述访问数据进行计算，得到相关任务的计算结果。

9、可选的，所述存储系统包括用于存储生产应用数据的生产应用存储区域和用于存储所述沙箱实例所产生的数据的沙箱存储区域，所述存储网关模块还用于作为所述沙箱实例的读写代理，根据所述沙箱实例发送的读写请求指令，建立与所述生产应用存储区域和/或沙箱存储区域的连接。

10、可选的，所述权限管理模块还用于：根据访问权限，允许对所述生产应用存储区域进行读访问；以及根据访问权限允许对所述沙箱存储区域进行读访问，允许对沙箱实例内部元数据对应的数据存储区域进行写访问。

11、可选的，所述权限管理模块还用于对于相关任务的计算过程和计算结果的数据访问进行权限管理。

12、可选的，所述存储网关模块还用于：获取所述沙箱实例发送的读请求指令，所述读请求指令包括读命令及相应的过滤条件；根据所述读命令，从所述存储系统中读取相应的访问数据；根据所述过滤条件对所读取的访问数据进行过滤；以及将过滤后的访问数据返回给所述沙箱实例。

13、可选的，所述存储网关模块还用于：获取所述沙箱实例的写请求指令，所述写请求指令包括写命令、相应的读命令及过滤条件；根据所述读命令，从所述存储系统中读取相应的访问数据；根据所述过滤条件对所读取的访问数据进行过滤；根据所述写命令对过滤后的访问数据执行对应的写操作；以及将写操作成功后的访问数据返回至所述存储系统，并发送成功指令给所述沙箱实例。

14、本发明实施例还提供一种工业大数据系统，所述工业大数据系统包括存储系统和上述的工业大数据沙箱系统。

15、通过上述技术方案，本发明实施例基于docker容器技术和存算分离架构，结合元数据隔离和采集同步技术构建的工业大数据沙箱系统，更适合工业实际使用场景。不仅能够保证应用和数据之间的隔离，还能够利用元数据来根据数据操作类型进行权限控制，能更加有效地降低成本、提升性能和便捷性。

16、本发明实施例的其它特征和优点将在随后的具体实施方式部分予以详细说明。

技术特征：

1.一种工业大数据沙箱系统，用于对存储系统的访问进行保护，其特征在于，所述工业大数据沙箱系统包括元数据管理模块、沙箱管理模块、权限管理模块和存储网关模块，

2.根据权利要求1所述的工业大数据沙箱系统，其特征在于，所述元数据管理模块包括：

3.根据权利要求2所述的工业大数据沙箱系统，其特征在于，所述工业大数据沙箱系统还包括元数据网关模块，用于：

4.根据权利要求1所述的工业大数据沙箱系统，其特征在于，所述沙箱实例包括元数据客户端和计算引擎，

5.根据权利要求4所述的工业大数据沙箱系统，其特征在于，所述元数据客户端还用于：

6.根据权利要求4所述的工业大数据沙箱系统，其特征在于，所述元数据客户端还用于：

7.根据权利要求5所述的工业大数据沙箱系统，其特征在于，根据所述访问指令生成的计算进程包括driver进程和executor进程，

8.根据权利要求1所述的工业大数据沙箱系统，其特征在于，所述存储系统包括用于存储生产应用数据的生产应用存储区域和用于存储所述沙箱实例所产生的数据的沙箱存储区域，

9.根据权利要求8所述的工业大数据沙箱系统，其特征在于，所述权限管理模块还用于：

10.根据权利要求1所述的工业大数据沙箱系统，其特征在于，所述权限管理模块还用于对于相关任务的计算过程和计算结果的数据访问进行权限管理。

11.根据权利要求1所述的工业大数据沙箱系统，其特征在于，所述存储网关模块还用于：

12.根据权利要求1所述的工业大数据沙箱系统，其特征在于，所述存储网关模块还用于：

13.根据权利要求3所述的工业大数据沙箱系统，其特征在于，所述存储网关模块还用于：

14.一种工业大数据系统，其特征在于，所述工业大数据系统包括存储系统和权利要求1-13中任意一项所述的工业大数据沙箱系统。

技术总结
本发明实施例提供一种工业大数据沙箱系统及工业大数据系统，属于工业大数据技术领域。该工业大数据沙箱系统包括元数据管理模块用于提供外部元数据；沙箱管理模块用于：根据对存储系统的访问指令，基于docker容器技术，创建对应的沙箱实例，所述沙箱实例被配置为根据所述访问指令、所需要的元数据及根据该元数据获取的访问数据，进行相关任务的计算处理；权限管理模块用于管理对所述元数据管理模块和所述沙箱管理模块的访问权限；存储网关模块用于支持所述沙箱管理模块与所述存储系统之间进行数据交互。基于docker容器技术和存算分离架构，结合元数据隔离和采集同步技术构建工业大数据沙箱系统，更适合工业实际使用场景。

技术研发人员：俞笛,刘文虎,路培杰,龙灵芝,张泽瑞
受保护的技术使用者：中科云谷科技有限公司
技术研发日：
技术公布日：2024/1/15