使用边缘计算的分布式视频存储和搜索的制作方法

本公开的某些方面一般涉及物联网(iot)应用，更具体地，涉及使用边缘计算的分布式视频存储和搜索的系统和方法。

背景技术：

1、物联网(iot)应用可以包括用于智能驾驶员监视系统(idms)、高级驾驶辅助系统(adas)、自动驾驶系统、基于摄像头的监视系统、智能城市等的嵌入式机器视觉。例如，iot系统的用户可能期望访问由一个或多个连接设备的传感器捕获的所有数据。

2、在物联网应用中，可能存在带宽和回程线路的限制。进而，由于数据传输网络的带宽和回程线路的限制，可能使得数据可访问性受到影响。此外，连接设备和/或中央服务器可能存在存储限制。

3、本公开涉及可以克服对由一个或多个连接设备捕获的数据的检索时所关联的技术问题的方法。技术问题包括带宽、回程线路和存储限制。此外，本公开涉及数据传输和/或数据检索的系统和方法。

技术实现思路

1、本公开的某些方面总体上涉及提供、实现和使用利用边缘计算的分布式视频存储和搜索的方法，包括用于具有存储的连接设备的基于分析的查询。该方法可以包括在第一设备上高速缓存第一数据。该方法还可以包括确定第一设备是否具有第一数据的第二设备。该方法还可以包括将数据或数据的一部分和/或数据的表征从第一设备发送到第二设备和/或发送到另一设备。

2、此外，本公开的某些方面提供用于智能查询的系统和方法。一些实施例可以包括智能预选。另外，本公开的某些方面提供了用于深度神经网络的可变速率吞吐量的系统和方法。此外，本公开的某些方面提供用于随机数据包丢弃的系统和方法。此外，本公开的某些方面提供用于数据访问的系统和方法。一些实施例可以包括视频数据的获取。

3、本公开的某些方面总体上涉及提供、实现和使用利用边缘计算的分布式视频搜索的方法。根据本公开的某些方面的方法可以包括接收视频数据、接收搜索查询、基于搜索查询确定视频数据的相关性、以及基于所确定的相关性传送视频数据。根据本公开的某些方面的方法还可以包括分布式图像搜索或分布式搜索来自另一模态的视觉数据和相关数据。因此，可以减少带宽、计算和存储器资源利用率。此外，可以基本上保护视觉数据的安全性和隐私性。

4、本公开的某些方面提供了一种方法。该方法总体上包括：在第一设备处从摄像头接收视觉数据，其中第一设备位于摄像头附近；将视觉数据存储在第一设备的存储器中；处理第一设备处的视觉数据以产生推理数据；将推理数据传送到第二设备；在第二设备处接收搜索查询；在第二设备处基于搜索查询和推理数据确定视觉数据的相关性；基于所确定的相关性将视觉数据从第一设备传送到第二设备。

5、本公开的某些方面提供了一种方法。该方法总体上包括：在第一设备处从摄像头接收视觉数据，其中第一设备位于摄像头附近；将视觉数据存储在第一设备的存储器中；在第二设备处接收搜索查询；将搜索查询从第二设备传送到第一设备；并且在第一设备处基于视觉数据和搜索查询确定第一设备处的视觉数据的相关性。

6、本公开的某些方面提供了一种被配置为执行视觉搜索的装置。该装置总体上包括第一存储单元；至少一个第一处理器，其耦合到第一存储器单元，其中至少一个第一处理器被配置为：从摄像头接收视觉数据；将视觉数据存储在第一存储单元中；处理视觉数据以产生推理数据；并将推理数据传送到第二存储器单元。该装置还包括：至少一个第二处理器，其耦合到第二存储器单元，其中至少一个第二处理器被配置为：接收搜索查询；基于搜索查询和推理数据确定视觉数据的相关性；并且基于所确定的相关性请求第一设备将视觉数据从第一存储器单元传送到第二存储器单元。

7、本公开的某些方面提供了一种被配置为执行视觉搜索的装置。该装置总体上包括：用于在第一设备处从摄像头接收视觉数据的单元，其中第一设备位于摄像头附近；用于在第一设备处存储视觉数据的单元；用于处理视觉数据以产生推理数据的单元；用于发送推理数据的单元；用于在第二设备处接收搜索查询的单元；用于在第二设备处基于搜索查询和推理数据确定视觉数据的相关性的单元；以及用于基于所确定的相关性请求第一设备传送视觉数据的单元。

8、本公开的某些方面提供了一种用于视觉搜索的计算机程序产品。该计算机程序产品总体上包括其上记录有程序代码的非瞬态计算机可读介质，该程序代码包括执行以下操作的程序代码：在第一设备处接收视觉数据；将视觉数据存储在第一设备的存储器中；处理第一设备处的视觉数据以产生推理数据；将推理数据传送到第二设备；在第二设备处接收搜索查询；基于搜索查询和推理数据确定视觉数据的相关性；并且基于所确定的相关性将视觉数据从第一设备传送到第二设备。

9、本公开的某些方面提供了一种被配置为执行视觉搜索的装置。该装置总体上包括：第二存储单元；至少一个第二处理器，其耦合到第二存储器单元，其中至少一个第二处理器被配置为：接收搜索查询；并将搜索查询发送到第一存储器单元。该装置还包括：第一存储单元；至少一个第一处理器，其耦合到第一存储器单元，其中至少一个第一处理器被配置为：接收来自邻近摄像头的视觉数据；将视觉数据存储在第一存储单元中；并基于视觉数据和搜索查询确定第一设备处的视觉数据的相关性。

10、本公开的某些方面提供了一种被配置为执行视觉搜索的装置。该装置总体上包括：用于在第一设备处从摄像头接收视觉数据的单元，其中第一设备位于摄像头附近；用于在第二设备处接收搜索查询的单元；用于将搜索查询从第二设备传送到第一设备的单元；以及用于在第一设备处基于视觉数据和搜索查询确定视觉数据的相关性的单元。

11、本公开的某些方面提供了一种计算机程序产品。该计算机程序产品通常包括其上记录有程序代码的非瞬态计算机可读介质，该程序代码包括执行以下步骤的程序代码：在第一设备处从摄像头接收视觉数据，其中第一设备位于摄像头附近；在第二设备处接收搜索查询；将搜索查询从第二设备传送到第一设备；以及在第一设备处基于视觉数据和搜索查询确定视觉数据的相关性。

12、本公开的某些方面提供了一种计算机程序产品。该计算机程序产品通常包括其上记录有程序代码的非瞬态计算机可读介质，该程序代码包括执行以下步骤的程序代码：在第一设备处从摄像头接收视觉数据，其中第一设备位于摄像头附近；将视觉数据存储在第一设备的存储器中；在第二设备处接收搜索查询；在第二设备处确定第一设备是否已将视觉数据存储在存储器中；并将视觉数据从第一设备传送到第二设备。

技术特征：

1.一种方法，包括：

2.如权利要求1所述的方法，还包括：

3.如权利要求2所述的方法，其中，所述推理数据是所述第一视觉数据的文本表示。

4.如权利要求1所述的方法，还包括：

5.如权利要求4所述的方法，还包括：

6.如权利要求1所述的方法，还包括：

7.如权利要求1所述的方法，还包括：

8.如权利要求1所述的方法，其中，所述第一摄像头固定于第一车辆。

9.如权利要求1所述的方法，其中，所述搜索查询是指很少观测到的驾驶场景。

10.如权利要求1所述的方法，还包括：

11.一种装置，所述装置包括：

12.如权利要求11所述的装置，其中，所述至少一个第一处理器被进一步配置成：

13.如权利要求11所述的装置，其中，所述第一摄像头固定于第一车辆。

14.如权利要求11所述的装置，其中，所述搜索查询是指很少观测到的驾驶场景。

15.如权利要求11所述的装置，其中，所述至少一个第一处理器被进一步配置成：

16.一种计算机程序产品，所述计算机程序产品包括：

17.如权利要求16所述的计算机程序产品，其中，

18.如权利要求16所述的计算机程序产品，所述程序代码还包括用于执行如下操作的程序代码：

19.如权利要求16所述的计算机程序产品，所述程序代码还包括用于执行如下操作的程序代码：

20.如权利要求16所述的计算机程序产品，其中，所述摄像头是车载摄像头、车辆仪表摄像头、无人机安装的摄像头、电器安装的摄像头，零售摄像头、智能城市摄像头或监视摄像头。

21.如权利要求16所述的计算机程序产品，其中，存储所述视觉数据包括将所述视觉数据的描述符分配给多个队列中的第一队列。

22.如权利要求21所述的计算机程序产品，其中，所述第一队列对应于以下中的至少一个：指定的压缩级别、来自一组标准的指定标准、指定的数据持久时间、位置、时间和天气条件。

23.一种方法，包括：

24.如权利要求1所述的方法，还包括：

25.如权利要求1所述的方法，其中所述第二车辆的描述符包括所述第二车辆的牌照在以所述第一分辨率存储的所述视觉数据中可辨别的指示。

26.一种方法，包括：

27.一种方法，包括：

28.一种装置，包括：

29.如权利要求28所述的装置，其中所述第二车辆的描述符包括所述第二车辆卷入罕见交通事件的指示。

30.如权利要求29所述的装置，其中，所述罕见交通事件是涉及所述第二车辆的交通事故。

31.如权利要求29所述的装置，其中，响应于所述第二车辆卷入所述罕见交通事件的指示，所述至少一个处理器还被配置为延长所述视觉数据在所述至少一个存储器单元中的存储持续时间。

32.如权利要求28所述的装置，其中所述描述符包括车牌在所述视觉数据中是可见的指示；并且所述观测数据包括由字母数字字符串组成的车牌号。

33.如权利要求28所述的装置，其中所述描述符包括车牌在所述视觉数据中是可见的指示；并且所述观测数据包括在所述视觉数据中未识别出与所述车牌号对应的字母数字字符串的指示。

34.如权利要求28所述的装置，其中，所述至少一个处理器进一步被配置成用于：

35.如权利要求34所述的装置，其中，所述至少一个处理器进一步被配置成用于：

36.如权利要求34所述的装置，其中，所述至少一个处理器进一步被配置成用于：

37.如权利要求28所述的装置，其中，所述至少一个处理器进一步被配置成用于：

38.如权利要求28所述的装置，其中，所述观测数据包括所述第二车辆的车牌号；并且所述至少一个处理器进一步被配置成用于：

39.一种计算机程序产品，所述计算机程序产品包括：

40.如权利要求39所述的计算机程序产品，其中，所述描述符包括所述第二车辆卷入罕见交通事件的指示。

41.如权利要求40所述的计算机程序产品，其中，所述罕见交通事件是涉及所述第二车辆而非所述第一车辆的交通事故。

42.如权利要求39所述的计算机程序产品，其中，当由所述处理器执行时，所述程序指令进一步使得所述处理器用于：

43.如权利要求42所述的计算机程序产品，其中，当由所述处理器执行时，所述程序指令进一步使得所述处理器用于：

44.一种方法，包括：

45.如权利要求44所述的方法，其中，所述存储器包括长期存储器和短期存储器；所述方法包括基于所述优先级将所述视觉数据存储在所述长期存储器或所述短期存储器中。

46.如权利要求44所述的方法，其中，所述描述符包括所述第二车辆的牌照在所述视觉数据中可辨别的指示。

47.如权利要求44所述的方法，还包括：

48.如权利要求47所述的方法，还包括：

技术总结
本发明提供了用于使用边缘计算的分布式视频存储和搜索的系统和方法。该方法可以包括在第一设备上高速缓存第一部分数据。该方法还可以包括在第二设备处确定第一设备是否具有第一部分数据。该确定可以基于第一条数据是否满足指定的标准。该方法还可以包括将数据或数据的一部分和/或数据的表征从第一设备发送到第三设备。

技术研发人员：A·阿格拉沃尔,D·J·朱里安,V·S·R·安纳普莱蒂,M·V·图蒂卡,V·K·莱,S·潘德雅,A·D·卡恩,M·坎伯斯,B·N·查克拉瓦希,A·尼加姆,P·库玛,T·R·古德纳,K·基肖尔
受保护的技术使用者：内特拉戴因股份有限公司
技术研发日：
技术公布日：2024/1/16