用于异构多媒体数据的存储架构的制作方法

所公开的主题涉及数据访问存储方法和系统领域，并且具体地涉及用于在分布式环境中管理和查询半结构化的异构类型的传感器数据的系统和方法。

背景技术：

1、用户设备或计算节点通常通过使用分布式文件系统来与存储在网络附接存储(nas)中的数据交互，该分布式文件系统是一种计算机程序，其提供对存储在nas中的数据进行访问和操纵的例程。公知的示例包括hadoop文件系统(hdfs)和网络文件系统(nfs)协议。nas的三个主要问题是安全性、效率和易用性。安全性表示只允许授权人员或机器访问数据，效率表示数据访问应当尽可能快，而易用性表示对于应用程序员，访问nas中的数据应当很简单。但是，常规的数据存储架构在不需要作出任何取舍的情况下无法提供一种有效的解决方案来解决所有这些需求。另外，当前的数据存储架构无法在共享环境中提供有效的数据存储访问以支持易于使用的半结构化的异构类型的传感器数据。

2、因此，需要一种有效的数据存储访问系统来支持半结构化的异构类型的传感器数据。

技术实现思路

1、本文档公开了用于在分布式环境中管理和查询半结构化的异构类型的传感器数据的技术。所公开的技术可以在包括多个计算节点、多个物理数据存储设备和在这两者之间实现数据通信的数据存储系统的系统的实施例中实现。

2、在一个示例方面，一种系统包括多个计算节点、多个物理存储设备和数据存储访问系统。多个计算节点与数据网络通信。多个物理数据存储设备与数据网络通信。数据存储访问系统使得能够经由应用编程接口(api)层、高速缓存管理层、服务器层和存储层在多个计算节点与多个物理数据存储设备之间进行数据通信，数据存储访问系统在api层处接收来自多个计算节点中的至少一个计算节点的数据请求，该数据请求包括数据集的主题的标识，该主题包括元数据文件、数据文件和索引文件，该索引文件包括指向该数据文件的至少一个指针。

3、在另一方面，公开了一种方法，该方法用于使得能够经由应用程序编程接口(api)层、高速缓存管理层、服务器层和存储层在多个计算节点与多个物理数据存储设备之间进行数据通信，以及在api层处接收来自多个计算节点中的至少一个计算节点的数据请求，该数据请求包括数据集的主题的标识，该主题包括元数据文件、数据文件和索引文件，该索引文件包括指向该数据文件的至少一个指针。

4、这些和其他方面在本文档中公开。

技术特征：

1.一种系统，包括：

2.根据权利要求1所述的系统，其中所述高速缓存管理层被配置为确定与所述主题相对应的数据是否驻留在本地高速缓存中。

3.根据权利要求1或2所述的系统，其中所述高速缓存管理层被配置为：如果与所述主题相对应的数据未驻留在所述本地高速缓存中，则将所述数据请求转发给所述服务器层。

4.根据权利要求1至3中任一项所述的系统，其中所述服务器层被配置为对所述多个计算节点中的发起所述数据请求的所述至少一个计算节点进行认证。

5.根据权利要求1所述的系统，其中所述服务器层经由超文本传输协议(http)向所述数据请求的发起计算节点返回数据。

6.根据权利要求1至5中任一项所述的系统，其中所述存储层被配置为从所述多个物理数据存储设备中的至少一个物理数据存储设备获取与所述主题相对应的数据。

7.根据权利要求1至6中任一项所述的系统，其中所述数据集包括从自动驾驶交通工具的多个传感器获取的数据。

8.根据权利要求1至7中任一项所述的系统，其中所述数据集包括半结构化的、异构类型的传感器数据。

9.根据权利要求1至8中任一项所述的系统，还被配置为对包含以不同速率产生的传感器数据的主题进行对准。

10.根据权利要求9所述的系统，其中所述主题基于所述数据集的所标识的主题的时间戳而被对准。

技术总结
一种用于在分布式环境中管理和查询半结构化的异构类型的传感器数据的示例方法包括：使得能够在多个计算节点与多个物理数据存储设备、高速缓存管理层、服务器层和存储层之间进行数据通信；以及从多个计算节点中的至少一个计算节点接收数据请求，该数据请求包括数据集的主题的标识，该主题包括元数据文件、数据文件和索引文件，该索引文件包括指向该数据文件的至少一个指针。

技术研发人员：张一迪,周锴,A·H·托马斯,刘当一,张锐亮
受保护的技术使用者：图森有限公司
技术研发日：
技术公布日：2024/1/15