1.一种装置,包括至少一个处理核心、至少一个存储器,所述至少一个存储器包括计算机程序代码,所述至少一个存储器和所述计算机程序代码被配置为与所述至少一个处理核心一起使所述装置至少:
-从第一顺序输入获得来自第一循环神经网络的第一输出,所述第一顺序输入具有第一模态;
-从第二顺序输入获得来自第二循环神经网络的第二输出,所述第二顺序输入具有第二模态;以及
-处理所述第一输出和所述第二输出以获得所述第一顺序输入和所述第二顺序输入的相关性。
2.根据权利要求1所述的装置,其中所述第一循环神经网络和所述第二循环神经网络均包括多个长短期记忆lstm块。
3.根据权利要求1或2所述的装置,其中所述第一循环神经网络包括第一数目的长短期记忆lstm块,并且所述第二循环神经网络包括第二数目的lstm块,所述第一数目和所述第二数目不相等。
4.根据权利要求1至3中任一项所述的装置,其中所述至少一个存储器和所述计算机程序代码被配置为与所述至少一个处理核心一起使所述装置:通过在获得内积以获得所述相关性之前将所述第一输出和所述第二输出绘制为具有相等的维度,来处理所述第一输出和所述第二输出。
5.根据权利要求4所述的装置,其中所述至少一个存储器和所述计算机程序代码还被配置为与所述至少一个处理核心一起使所述装置通过采用线性变换来将所述输出绘制为具有相等的维度。
6.根据权利要求1至5中任一项所述的装置,其中所述第一模态和所述第二模态彼此不同。
7.根据权利要求1至6中任一项所述的装置,其中所述第一模态从以下列表中被选择:视频、文本语句、语音、手写文本、立体视频、图像序列、飞行器控制状态和飞行器系统输出。
8.根据权利要求1至7中任一项所述的装置,其中所述第二模态从以下列表中被选择:视频、文本语句、语音、手写文本、立体视频、图像序列、飞行器控制状态和飞行器系统输出。
9.根据权利要求1至8中任一项所述的装置,其中顺序输入包括以下输入,所述输入包括输入元素序列。
10.一种方法,包括:
-从第一顺序输入获得来自第一循环神经网络的第一输出,所述第一顺序输入具有第一模态;
-从第二顺序输入获得来自第二循环神经网络的第二输出,所述第二顺序输入具有第二模态;以及
-处理所述第一输出和所述第二输出以获得所述第一顺序输入和所述第二顺序输入的相关性。
11.根据权利要求10所述的方法,其中所述第一循环神经网络和所述第二循环神经网络均包括多个长短期记忆lstm块。
12.根据权利要求10或11所述的方法,其中所述第一循环神经网络包括第一数目的长短期记忆lstm块,并且所述第二循环神经网络包括第二数目的lstm块,所述第一数目和所述第二数目不相等。
13.根据权利要求10至12中任一项所述的方法,其中所述第一输出和所述第二输出通过以下被处理:在获得内积以获得所述相关性之前,将所述第一输出和所述第二输出绘制为具有相等的维度。
14.根据权利要求13所述的方法,其中所述输出通过采用线性变换被绘制为具有相等的维度。
15.根据权利要求10至14中任一项所述的方法,其中所述第一模态和所述第二模态彼此不同。
16.根据权利要求10至15中任一项所述的方法,其中所述第一模态从以下列表中被选择:视频、文本语句、语音、手写文本、立体视频、图像序列和业务模式。
17.根据权利要求10至16中任一项所述的方法,其中所述第二模态从以下列表中被选择:视频、文本语句、语音、手写文本、立体视频、图像序列和业务模式。
18.根据权利要求10至17中任一项所述的方法,其中顺序输入包括以下输入,所述输入包括输入元素序列。
19.一种装置,包括:
-用于从第一顺序输入获得来自第一循环神经网络的第一输出的部件,所述第一顺序输入具有第一模态;
-用于从第二顺序输入获得来自第二循环神经网络的第二输出的部件,所述第二顺序输入具有第二模态;以及
-用于处理所述第一输出和所述第二输出以获得所述第一顺序输入和所述第二顺序输入的相关性的部件。
20.一种非瞬态计算机可读介质,其上存储有计算机可读指令集,所述计算机可读指令集在由至少一个处理器执行时使装置至少:
-从第一顺序输入获得来自第一循环神经网络的第一输出,所述第一顺序输入具有第一模态;
-从第二顺序输入获得来自第二循环神经网络的第二输出,所述第二顺序输入具有第二模态;以及
-处理所述第一输出和所述第二输出以获得所述第一顺序输入和所述第二顺序输入的相关性。
21.一种计算机程序,被配置为使根据权利要求1至9中至少一项的方法被执行。