用于周围计算环境中的多设备学习以及推断的系统和方法与流程

背景技术：

1、如今当用户激活智能设备时，它通常将在已经包括多个其他智能设备的周围计算环境中操作，其中一些其他智能设备可能具有重叠的功能。例如，用户可能具有监视用户家中和外部区域的一个或多个相机、收听和响应语音命令的一个或多个智能扬声器和/或智能显示器、监视一个或多个房间中的温度的智能恒温器、监视烟雾和/或高热的智能火灾报警器、以及监视各种门和窗的打开、给定房间中的运动、玻璃破碎的声音等的安全系统。此外，周围计算环境还可以包括可以临时或永久地来来去去但可以具有类似功能的一个或多个设备(例如，智能电话、智能手表和也可以被配置为收听和响应语音命令的个人计算机)。

2、目前，许多智能设备被配置为在很大程度上彼此独立地操作，以便执行其指定的任务或一组任务。例如，智能扬声器可以被配置为运行其自己的基于音频的模型以检测语音命令，并且门铃相机可以被配置为运行其自己的一组不同的视觉和音频处理模型以检测人(例如，房主、家庭成员)何时到达房主的前门。尽管这些设备都可以被配置为在相同的一般环境中收听和识别声音，但是它们可以各自被配置为学习和推断它们自己正在听到什么。这可能导致在新设备在新环境中训练其模型所花费的时间以及一次在多个设备上运行推断任务所需的总功率和计算周期方面的浪费。另外，将每个设备配置为独立地监视和感知其环境可能浪费各种设备从也存在于周围计算环境中的其他智能设备的不同视角和感测能力中受益的机会。

技术实现思路

1、本技术涉及用于周围计算环境中的多设备学习和推断的系统和方法。在这方面，在一些方面，本技术公开了用于执行跨设备学习的系统和方法，其中可以基于来自周围计算环境中的现有设备的监管信号来训练新设备。此外，在一些方面，本技术公开了用于跨周围计算环境中的两个或更多个设备执行多设备推断的系统和方法。同样地，在一些方面，本技术公开了用于训练模型的系统和方法，其对于从周围计算环境添加或移除一个或多个设备是鲁棒的。

2、在一个方面，本公开描述了一种训练模型以在具有多个设备的周围计算环境中执行推断的计算机实现的方法，该方法包括：(i)由处理系统的一个或多个处理器基于来自多个设备中的一个或多个的输入来识别要用于利用模型执行推断的多设备推断范例；(ii)对于多个事件中的每个给定事件：由一个或多个处理器基于第一输入集使用根据多设备推断范例的模型生成第一预测，第一输入集包括来自多个设备中的每一个的至少一个输入；由所述一个或多个处理器基于第二输入集使用所述模型根据所述多设备推断范例来生成第二预测，所述第二输入集包括所述第一输入集的修改副本；以及由一个或多个处理器基于第一预测和第二预测生成损失值；以及(iii)由一个或多个处理器基于针对至少一个给定事件生成的损失值来修改模型的一个或多个参数。在一些方面，多个事件中的每一个在给定时段期间发生，并且针对每个给定事件的第一输入集基于在给定时段期间由多个设备感测到的数据。在一些方面，给定时段是由两个或更多个单独时段组成的非连续时段。在一些方面，一个或多个处理器被配置为在给定时段期间生成每个第一预测、每个第二预测和每个损失值，并且针对每个给定事件的第一输入集基于在给定时段之前感测到的数据。在一些方面，对于多个事件中的每个给定事件，第二输入集包括第一输入集的修改副本，其包括第一输入集的一个或多个所选输入并且省略来自第一输入集的一个或多个其他输入。在一些方面，该方法还包括，对于多个事件中的每个给定事件，由一个或多个处理器基于第一值确定省略一个或多个其他输入。在一些方面，该方法还包括由一个或多个处理器基于与第一输入相关联的设备在一时间段期间已经存在于周围计算环境中的频率来修改第一值。在一些方面中，所述方法还包括：由所述一个或多个处理器基于与所述第一输入相关联的设备在一段时间期间已经消耗了多少功率来修改所述第一值。在一些方面，对于多个事件中的每个给定事件，第二输入集包括第一输入集的修改副本，其中第一输入集的至少第一输入被第一输入集的第二输入的副本替换。在一些方面，对于多个事件中的每个给定事件，第二输入集包括第一输入集的修改副本，其中第一输入集的至少第一输入被第一输入集的第二输入的上采样替换。在一些方面，对于多个事件中的每个给定事件，第二输入集包括第一输入集的修改副本，其中第一输入集的至少第一输入被第一输入集的第二输入的下采样替换。在一些方面，对于所述多个事件中的给定事件，所述第二输入集包括所述第一输入集的修改副本，所述修改副本中所述第一输入集的至少第一输入被基于所述第一输入集的两个或更多个其他输入的合成输入替换。在一些方面，合成输入是第一输入集的两个或更多个其他输入的平均值。

3、在另一方面，本公开描述了一种用于训练模型以在具有多个设备的周围计算环境中执行推断的系统，该系统包括：存储器；以及一个或多个处理器，其耦合到存储器并且被配置为：(i)基于来自多个设备中的一个或多个的输入来识别要用于利用模型执行推断的多设备推断范例；(ii)对于多个事件中的每个给定事件：基于第一输入集使用根据多设备推断范例的模型生成第一预测，第一输入集包括来自多个设备中的每个设备的至少一个输入；基于第二输入集，使用所述模型根据所述多设备推断范例来生成第二预测，所述第二输入集包括所述第一输入集的修改副本；以及基于第一预测和第二预测生成损失值；以及(iii)基于针对至少一个给定事件生成的损失值来修改模型的一个或多个参数。在一些方面，所述一个或多个处理器还被配置为针对所述多个事件中的每个给定事件，基于包括所述第一输入集的修改副本的第二输入集生成第二预测，所述修改副本包括所述第一输入集中的一个或多个所选输入并且省略来自所述第一输入集的一个或多个其他输入。在一些方面，一个或多个处理器还被配置为，对于多个事件中的每个给定事件，基于第一值确定省略一个或多个其他输入。在一些方面，一个或多个处理器还被配置为基于与第一输入相关联的设备在一时间段期间已经存在于周围计算环境中的频率来修改第一值。在一些方面中，所述一个或多个处理器还被配置为：基于与所述第一输入相关联的设备在一时间段期间已经消耗了多少功率来修改所述第一值。在一些方面，所述一个或多个处理器还被配置为针对所述多个事件中的每个给定事件，基于包括所述第一输入集的修改副本的第二输入集生成第二预测，所述修改副本中所述第一输入集的至少第一输入被所述第一输入集的第二输入的副本、上采样或下采样替换。在一些方面，所述一个或多个处理器还被配置为针对所述多个事件中的每个给定事件，基于包括所述第一输入集的修改副本的第二输入集生成第二预测，所述修改副本中所述第一输入集的至少第一输入被基于所述第一输入集的两个或更多个其他输入的合成输入替换。

技术特征：

1.一种训练模型以在具有多个设备的周围计算环境中执行推断的计算机实现的方法，所述方法包括：

2.根据权利要求1所述的方法，其中，所述多个事件中的每个事件在给定时段期间发生，并且针对每个给定事件的所述第一输入集基于在所述给定时段期间由所述多个设备感测到的数据。

3.根据权利要求2所述的方法，其中，所述给定时段是由两个或更多个单独时段组成的非连续时段。

4.根据权利要求1所述的方法，其中，所述一个或多个处理器被配置为在给定时段期间生成每个第一预测、每个第二预测和每个损失值，并且针对每个给定事件的所述第一输入集基于在所述给定时段之前感测到的数据。

5.根据权利要求1所述的方法，其中，对于所述多个事件中的每个给定事件，所述第二输入集包括所述第一输入集的修改副本，所述修改副本包括所述第一输入集的一个或多个所选输入并且省略来自所述第一输入集的一个或多个其他输入。

6.根据权利要求5所述的方法，还包括：对于多个事件中的每个给定事件：

7.根据权利要求6所述的方法，还包括：

8.根据权利要求6所述的方法，还包括：

9.根据权利要求1所述的方法，其中，对于所述多个事件中的每个给定事件，所述第二输入集包括所述第一输入集的修改副本，所述修改副本中所述第一输入集的至少第一输入被所述第一输入集的第二输入的副本替换。

10.根据权利要求1所述的方法，其中，对于所述多个事件中的每个给定事件，所述第二输入集包括所述第一输入集的修改副本，所述修改副本中所述第一输入集的至少第一输入被所述第一输入集的第二输入的上采样替换。

11.根据权利要求1所述的方法，其中，对于所述多个事件中的每个给定事件，所述第二输入集包括所述第一输入集的修改副本，所述修改副本中所述第一输入集的至少第一输入被所述第一输入集的第二输入的下采样替换。

12.根据权利要求1所述的方法，其中，对于所述多个事件中的给定事件，所述第二输入集包括所述第一输入集的修改副本，所述修改副本中所述第一输入集的至少第一输入被基于所述第一输入集的两个或更多个其他输入的合成输入替换。

13.根据权利要求12所述的方法，其中，所述合成输入是所述第一输入集的所述两个或更多个其他输入的平均值。

14.一种用于训练模型以在具有多个设备的周围计算环境中执行推断的系统，所述系统包括：

15.根据权利要求14所述的系统，其中所述一个或多个处理器还被配置为针对所述多个事件中的每个给定事件，基于第二输入集生成第二预测，所述第二输入集包括所述第一输入集的修改副本，所述修改副本包括所述第一输入集中的一个或多个所选输入并且省略来自所述第一输入集的一个或多个其他输入。

16.根据权利要求15所述的系统，其中，所述一个或多个处理器还被配置为，针对多个事件中的每个给定事件：

17.根据权利要求16所述的系统，其中，所述一个或多个处理器还被配置为：

18.根据权利要求16所述的系统，其中，所述一个或多个处理器还被配置为：

19.根据权利要求14所述的系统，其中所述一个或多个处理器还被配置为针对所述多个事件中的每个给定事件，基于包括所述第一输入集的修改副本的第二输入集生成第二预测，所述修改副本中所述第一输入集的至少第一输入被所述第一输入集的第二输入的副本、上采样或下采样替换。

20.根据权利要求14所述的系统，其中所述一个或多个处理器还被配置为针对所述多个事件中的每个给定事件，基于包括所述第一输入集的修改副本的第二输入集生成第二预测，所述修改副本中所述第一输入集的至少第一输入被基于所述第一输入集的两个或更多个其他输入的合成输入替换。

技术总结
用于周围计算环境中的多设备学习和推断的系统和方法。在一些方面，本技术公开了用于执行跨设备学习的系统和方法，其中可以基于来自周围计算环境中的现有设备的监管信号来训练新设备。在一些方面，本技术公开了用于跨周围计算环境中的两个或更多个设备执行多设备推断的系统和方法。同样地，在一些方面，本技术公开了用于训练模型的系统和方法，其对于从周围计算环境添加或移除一个或多个设备是鲁棒的。

技术研发人员：M·谢里菲
受保护的技术使用者：谷歌有限责任公司
技术研发日：
技术公布日：2024/2/1