用于认知神经符号推理系统的系统和方法与流程

本公开涉及机器学习网络，包括与推理系统或认知架构相关联的机器学习网络。

背景技术：

1、知识注入方法是增强神经模型并改进其性能的关键，但它们不足以实现高级推理，高级推理可能通常是诸如自然语言理解、活动识别、复杂情景中的决策之类的任务所需要的。

2、神经符号系统的很大一部分是基于将符号知识变换为适合学习算法的子符号表示。例如，知识图嵌入(kge)是一种将知识图(kg)三元组简化为潜在向量的重要方法。这样的变换可能有助于kg属性的高效可计算性，以及在各种下游任务中的应用。无论kge过程是通过几何模型、张量模型还是深度学习模型实现的，目的都是将kg结构压缩到低维空间中，其中符号语句被密集的子符号表达式所取代。此外，串联、非线性映射、类注意力机制、门控机制是用于使知识结构适应神经计算的附加方法。

3、虽然这些知识注入方法是增强神经模型并改进其性能的关键，它们不足以实现高级推理，高级推理通常是诸如自然语言理解、活动识别、复杂情景中的决策之类的任务所需要的。

技术实现思路

1、根据第一实施例，一种计算机实现的方法包括在神经网络处接收至少指示视频数据、音频数据和自然语言数据的输入数据，响应于利用输入数据满足神经网络的收敛阈值，将与输入数据相关联的一个或多个模式输出到包括程序性存储器和声明性存储器的认知架构，其中所述认知架构与包括知识图数据库的符号框架通信，其中所述符号框架被配置为至少利用所述知识图数据库来标识所述一个或多个模式的上下文信息，并且响应于所述符号框架使所述上下文信息与所述神经网络通信，利用所述知识图数据集的上下文信息来嵌入所述神经网络，并且利用嵌入式神经网络来输出指示至少与所述输入数据相关联的信息的推荐。

2、根据第二实施例，一种计算机实现的方法包括在神经网络处接收至少指示视频数据和自然语言数据的输入数据，响应于利用输入数据满足神经网络的收敛阈值，向认知架构输出与输入数据相关联的一个或多个模式，其中所述认知架构与包括知识图数据库的符号框架通信，并且所述符号框架被配置为至少利用所述知识图数据库来标识从所述神经网络接收的一个或多个模式的上下文信息，响应于所述符号框架使所述上下文信息与所述神经网络通信，利用所述知识图数据集的上下文信息来嵌入所述神经网络，并且利用嵌入式神经网络来输出指示至少与所述输入数据相关联的信息的推荐。

3、根据第三实施例，一种系统包括神经网络、认知架构和符号框架。该系统进一步包括一个或多个处理器，其中处理器被编程为在神经网络处接收至少指示视频数据、音频数据和自然语言数据的输入数据，响应于利用输入数据满足神经网络的收敛阈值，将与输入数据相关联的一个或多个模式输出到包括程序性存储器和声明性存储器的认知架构，其中所述认知架构与包括知识图数据库的符号框架通信，其中所述符号框架被配置为至少利用所述知识图数据库来标识所述一个或多个模式的上下文信息，并且响应于所述符号框架使所述上下文信息与所述神经网络通信，利用所述知识图数据集的上下文信息来嵌入所述神经网络，并且利用嵌入式神经网络来输出指示至少与所述输入数据相关联的信息的推荐。

技术特征：

1.一种计算机实现的方法，包括：

2.根据权利要求1所述的计算机实现的方法，其中所述神经网络包括卷积神经网络、递归神经网络或长短期记忆神经网络。

3.根据权利要求1所述的计算机实现的方法，其中所述模式包括与输入数据相关联的语义抽象。

4.根据权利要求1所述的计算机实现的方法，其中所述模式包括与输入数据的事件相关联的标签。

5.根据权利要求1所述的计算机实现的方法，其中所述模式包括与输入数据相关联的文本描述。

6.根据权利要求1所述的计算机实现的方法，其中所述神经网络与感知模块通信，所述感知模块与理性思维的自适应控制框架相关联。

7.根据权利要求1所述的计算机实现的方法，其中所述符号框架被配置为由所述认知架构读取或写入。

8.根据权利要求1所述的计算机实现的方法，其中所述输入数据指示场景。

9.根据权利要求1所述的计算机实现的方法，其中所述认知架构是理性思维的自适应控制(act-r)架构。

10.一种计算机实现的方法，包括：

11.根据权利要求10所述的方法，其中所述认知架构是包括程序性存储器和声明性存储器两者的理性思维的自适应控制(act-r)架构。

12.根据权利要求10所述的方法，其中所述符号框架包括词汇资源(lr)、规则库(rb)或合适的推断引擎。

13.根据权利要求10所述的方法，其中所述认知架构包括被配置为匹配一个或多个缓冲器的内容的程序性模块。

14.根据权利要求10所述的方法，其中所述认知架构包括被配置为使用产生式规则来协调一个或多个活动的程序性模块。

15.根据权利要求10所述的方法，其中所述输入数据进一步包括音频数据。

16.根据权利要求10所述的方法，其中所述认知架构进一步与大型语言模型通信。

17.一种系统，包括：

18.根据权利要求17所述的系统，其中所述认知架构是包括程序性存储器和声明性存储器两者的理性思维的自适应控制(act-r)架构。

19.根据权利要求18所述的系统，其中所述程序性存储器被配置为存储指示事实的数据。

20.根据权利要求18所述的系统，其中所述声明性存储器被配置为存储指示规则的数据。

技术总结
提供了用于认知神经符号推理系统的系统和方法。一种计算机实现的方法包括在神经网络处接收至少指示视频数据和自然语言数据的输入数据，响应于利用输入数据满足神经网络的收敛阈值，向认知架构输出与输入数据相关联的一个或多个模式，其中所述认知架构与包括知识图数据库的符号框架通信，并且所述符号框架被配置为至少利用所述知识图数据库来标识从所述神经网络接收的一个或多个模式的上下文信息，响应于所述符号框架使所述上下文信息与所述神经网络通信，利用所述知识图数据集的上下文信息来嵌入所述神经网络，并且利用嵌入式神经网络来输出指示至少与所述输入数据相关联的信息的推荐。

技术研发人员：A·奥尔特拉马里
受保护的技术使用者：罗伯特·博世有限公司
技术研发日：
技术公布日：2024/10/10