存储API中的语义注释和框架的制作方法

本公开涉及存储api中的语义注释和框架。

背景技术：

1、音频、视频和/或图像内容的生成、共享、处理和/或存储已经经历了前所未有的增长，这在很大程度上是由于智能电话的普遍可用性和使用。伴随这种增长的重要功能是响应于搜索查询来搜索和检索相关音频、视频或图像的能力。潜在的应用跨越例如从查找猫视频(有趣)、医学图像(诊断)、特定车辆(犯罪)，或者更一般地查找视频或图像流中的对象的全部范围。

2、搜索容纳音频、视频和图像内容的数据库(例如，搜索媒体仓库)提出了某些挑战。例如，歧义可能存在于将被索引或用于构建搜索查询的数据(即，呈现数据)中。数据可以来自用户对数据库的输入(例如，用户生成的注释(uga)、搜索查询或请求(例如，搜索标准、搜索运算符、原始文本查询等)，或者可以来自对于到数据库的用户输入数据的处理(例如，机器学习(ml)注释等)。数据(特别是由用户直接输入的数据)可能包含在索引和搜索数据空间之间引入未对准的歧义。这种未对准可能导致意外的搜索结果。

技术实现思路

1、所公开的技术的各方面可以包括系统、过程或方法或、非暂时性计算机可读介质。例如，所公开的技术可以采取系统的形式，该系统包括存储指令的存储器元件；以及处理元件，所述处理元件耦合到存储器元件并且被配置成使用所述指令：将与非结构化数据相关的注释转换为语义数据；在语义空间中对所述语义数据进行索引以产生经索引的语义数据；接收搜索请求；以及通过基于所索引的语义数据将所述搜索请求转换为语义数据来基于搜索请求构建语义查询。

2、根据所公开的技术的该方面，非结构化数据包括视频数据、图像数据或音频数据。此外，根据所公开的技术的该方面，注释包括用户生成的注释或机器学习生成的注释。

3、根据所公开的技术的该方面，注释包括呈现数据。此外，处理元件被配置成使用指令来实现库功能，所述库功能将呈现数据作为输入并且从被输入的呈现数据之中标识呈现数据模式。更进一步，所述库功能可以提取被映射到一个或多个语义空间的所标识的呈现数据模式。更进一步，库功能可以使用一个或多个语义空间来构建语义查询。此外，经索引的数据与一个或多个语义空间相关联。另外，使用所标识的呈现数据模式作为键来组织语义空间。此外，处理元件与集成两个或更多个推断策略的语义空间推断中枢相关联。更进一步，语义推断中枢生成所标识的呈现数据模式与一个或多个语义空间之间的映射。

4、作为另一示例，所公开的技术可以采用一种用于语义地处理查询的系统的形式，该系统包括存储指令的存储器元件；以及一个或多个处理设备，所述一个或多个处理设备耦合到存储器元件并且被配置成使用所述指令：接收呈现数据；将呈现数据转换为一个或多个呈现模式数据；使用一个或多个呈现数据模式作为与数据值相关联的键来对用于键-值语义空间的一个或多个呈现模式数据进行索引，以产生键-值语义数据；接收搜索查询；通过将语义搜索呈现数据模式和与键-值语义数据相关联的一个或多个呈现数据模式中的至少一个呈现数据模式进行比较，将搜索查询处理成语义搜索查询；搜索指示语义搜索呈现数据模式和与键-值语义数据相关联的一个或多个呈现数据模式中的至少一个呈现数据模式之间的匹配的记录，以产生搜索结果；以及将搜索结果提供给用户。

5、根据所公开的技术的该方面，一个或多个处理设备被配置成实现语义搜索策略引擎，所述语义搜索策略引擎实现一个或多个推断策略，所述一个或多个推断策略确定应该如何解释呈现数据和搜索呈现数据，并且输出一个或多个呈现数据模式和语义搜索呈现数据模式。此外，根据所公开的技术的该方面，语义搜索策略引擎包括语义服务库，所述语义服务库将呈现数据作为输入，基于这些数据模式的推断策略在输入呈现数据中标识所配置的数据模式，并且提取所标识的数据模式。更进一步，语义服务库将键-值语义数据构造为呈现数据模式、语义空间元组。

6、此外，根据所公开的技术的该方面，语义搜索策略引擎可以被耦合到语义空间推断接口，所述语义空间推断接口处理一个或多个呈现数据模式和语义搜索呈现数据模式以标识分别与一个或多个呈现数据模式和语义搜索呈现数据模式相关联的语义。更进一步，语义空间推断接口可以被耦合到语义空间推断中枢，所述语义空间推断中枢验证一个或多个呈现数据模式并且提供一个或多个呈现数据模式中的经验证的呈现数据模式作为键-值语义数据以存储在数据库中。

7、此外，根据所公开的技术的该方面，呈现数据包括用户生成的注释(uga)或机器学习注释(mla)。更进一步，uga和mla与音频、图像或视频内容相关联。

8、在另一示例中，所公开的技术可以采用一种用于语义地处理查询的方法的形式，所述方法包括：在一个或多个处理设备处接收呈现数据；使用一个或多个处理设备将呈现数据转换为一个或多个呈现模式数据；使用一个或多个处理设备，使用一个或多个呈现数据模式作为与数据值相关联的键来对用于键-值语义空间的一个或多个呈现模式数据进行索引，以产生键-值语义数据；接收搜索查询；使用一个或多个处理设备，通过将语义搜索呈现数据模式和与键-值语义数据相关联的一个或多个呈现数据模式中的至少一个呈现数据模式进行比较，将搜索查询处理成语义搜索查询；使用一个或多个处理设备来搜索指示语义搜索呈现数据模式和与键-值语义数据相关联的一个或多个呈现数据模式中的至少一个呈现数据模式之间的匹配的记录，以产生搜索结果；以及使用一个或多个处理设备将搜索结果提供给用户。

技术特征：

1.一种用于处理语义查询的系统，包括：

2.根据权利要求1所述的系统，其中，所述非结构化数据包括视频数据、图像数据或音频数据。

3.根据权利要求1所述的系统，其中，所述注释包括用户生成的注释或机器学习生成的注释。

4.根据权利要求1所述的系统，其中，所述注释包括呈现数据。

5.根据权利要求4所述的系统，其中，所述处理元件被配置成使用所述指令来实现库功能，所述库功能将所述呈现数据作为输入并且从被输入的所述呈现数据之中标识呈现数据模式。

6.根据权利要求5所述的系统，其中，所述库功能提取被映射到一个或多个语义空间的所标识的呈现数据模式。

7.根据权利要求6所述的系统，其中，所述库功能使用所述一个或多个语义空间来构建所述语义查询。

8.根据权利要求7所述的系统，其中，所述经索引的语义数据与所述一个或多个语义空间相关联。

9.根据权利要求7所述的系统，其中，所述一个或多个语义空间是使用所标识的呈现数据模式作为键来组织的。

10.根据权利要求6所述的系统，其中，所述处理元件与集成两个或更多个推断策略的语义空间推断中枢相关联。

11.根据权利要求10所述的系统，其中，所述语义空间推断中枢生成所标识的呈现数据模式与所述一个或多个语义空间之间的映射。

12.一种用于语义地处理查询的系统，包括：

13.根据权利要求12所述的系统，其中，所述一个或多个处理设备被配置成实现语义搜索策略引擎，所述语义搜索策略引擎实现一个或多个推断策略，所述一个或多个推断策略确定应该如何解释所述呈现数据和所述搜索呈现数据，并且输出所述一个或多个呈现数据模式和所述语义搜索呈现数据模式。

14.根据权利要求13所述的系统，其中，所述语义搜索策略引擎包括语义服务库，所述语义服务库将呈现数据作为输入，基于这些数据模式的推断策略在输入呈现数据中标识所配置的数据模式，并且提取所标识的数据模式。

15.根据权利要求14所述的系统，其中，所述语义服务库将所述键-值语义数据构造为呈现数据模式-语义空间元组。

16.根据权利要求13所述的系统，其中，所述语义搜索策略引擎被耦合到语义空间推断接口，所述语义空间推断接口处理所述一个或多个呈现数据模式和所述语义搜索呈现数据模式以标识分别与所述一个或多个呈现数据模式和所述语义搜索呈现数据模式相关联的语义。

17.根据权利要求16所述的系统，其中，所述语义空间推断接口被耦合到语义空间推断中枢，所述语义空间推断中枢验证所述一个或多个呈现数据模式并且提供所述一个或多个呈现数据模式中的经验证的呈现数据模式作为键-值语义数据以存储在数据库中。

18.根据权利要求12所述的系统，其中，所述呈现数据包括用户生成的注释(uga)或机器学习注释(mla)。

19.根据权利要求18所述的系统，其中，所述uga和mla与音频、图像或视频内容相关联。

20.一种用于语义地处理查询的方法，包括：

技术总结
本公开涉及存储API中的语义注释和框架。一种用于执行诸如音频、图像和视频之类的非结构化数据的语义搜索的系统和机制。系统处理原始输入数据(例如，呈现数据)以确定数据模式并组织那些数据模式周围的语义空间。然后处理查询以确定语义空间中的数据模式，该数据模式可以与语义空间相关联并用在搜索语义空间中。

技术研发人员：吴晓,毛中杰,埃尔布里奇·达德利,滑蔚,侯衍汉
受保护的技术使用者：谷歌有限责任公司
技术研发日：
技术公布日：2024/1/5