专利名称：认知联想记忆模型的制作方法
技术领域：
本发明属于人工智能领域，涉及一类人工神经网络联想记忆模型。本发明给出一种 新的联想记忆模型——基于认知理论的联想记忆模型。
背景技术：
联想记忆是神经网络的重要应用之一。联想记忆神经网络具有良好的对含噪声样本 的信息处理能力，因此在优化计算、纠错编码、数据压缩、模式识别以及智能控制等方 面得到广泛的应用。
目前的联想记忆网络主要是基于Hebb规则的Hopfidd联想记忆网络。但目前基于 Hebb规则的联想记忆网络具有一些不足，如对于关联信息较强的相似模式的记忆效果不 理想；并且该方法仅能对二值模式实现联想记忆，而对于多值模式无法实现联想记忆， 这些缺点限制了该方法的应用。
认知心理学是以信息加工观点为核心的心理学。所谓信息加工观点就是将人脑与计 算机进行类比，将人脑看作类似于计算机的信息加工系统。人工智能是在大量心理学家 研究成果的基础上诞生的。人工智能要研究如何利用机器来模拟人的思维，从根本上讲 离不开认知心理学的模型支持。例如，王守觉院士所提出的仿生模式识别方法的性能就 优于传统模式识别方法。其原因在于该方法中融入了人类的认知功能。因此基于认知理 论建立新型的联想记忆网络是目前人工智能领域研究的热点之一。
对于联想记忆这样简单的问题，人类自身的认知处理能力显然比传统的Hopfield神 经网络强得多。其原因在于人类的认知过程与传统Hopfidd网络不同。
第一，记忆内容不同。对于给定的样本模式，人只能记住每个模式的大致信息，而 不是每个细节，而H叩fidd网络则试图记住每一个细节。例如，如果将样本模式看作是 图片，则样本模式的每一个分量可对应一个像素的灰度值。如果利用Hopfield网络实现 图像的联想记忆，则网络输出的是每一个像素点的灰度值。而当人看到几幅不同的样本 模式图像时，通常可以很快大致地记住这几幅图像的内容和区别，但并不能很准确地记 住每一个像素的灰度和细节，当再现其中一幅图像(或者含噪声的图像)时，可以迅速 地完成辨识任务，但很难说清所有像素的具体灰度值。
第二，联想过程不同。利用神经网络进行联想记忆时，网络通常不能一次得到最终 的联想结果，而是经过几次迭代计算，逐渐去掉噪声污染，当网络稳定时，才能得出联 想结果。而人只要看到一幅图像，就可以立刻完成联想，马上得出结果，并不存在逐步 去除噪声的量变过程。
第三，存储能力不同。神经网络仅能存储很少的样本模式，并且对于相似模式很难存储，或者需要专门设计特殊的学习方法。而一个人通常可以同时记住很多个模式，并 且对于相似模式，人可以很快找到关键的区别点，并加以记忆。
第四，结果表达不同。由于噪声会使得样本模式产生畸变，因此神经网络可能产生 介于两种样本模式之间的非存储的错误模式。而人可以给出具有模糊表达的认知结果， 而不是非存储的样本模式。
因此基于认知特点设计一种联想记忆网络将会大大改善现有联想记忆网络的性能。
发明内容
本发明所要解决的技术问题是，设计一种基于认知理论的联想记忆网络模型，能够 实现对相似模式和多值模式的存储记忆。
本发明所采用的技术方案是 一种认知联想记忆模型，网络存储M个存储模式，每 个存储模式有"个分量，包括两层神经元。第一层为输入层，取输入元W个，对应输入 模式的"个分量，记为X,，X2， ...，X ;第二层为输出层，取M个神经元，记为力，》，...， yw，输出层第7'个神经元的输出范围为
，表示输入待联想模式向量的联想结果隶属于
第y'个存储模式的程度。
输入层与输出层之间的连接权值根据待联想模式的不同设计为动态权值,输出层单元 采用线性输出的方式。
本发明的目的在于提出一种基于认知理论的联想记忆模型，该模型克服已有基于
Hebb规则的联想记忆模型的缺点。可以实现对相似模式和多值模式的联想记忆。
图1为联想记忆网络结构示意图。
图2为三值相似模式联想记忆实例的存储模式和待联想模式示意图，其中前三个图为存 储模式，第四个图为待联想输入模式。
具体实施例方式
下面结合实施例和附图对本发明作进一歩详细说明。 本发明是如图1所示的两层联想记忆网络。
记忆网络的样本模式集为{^,产1,2,…，M)，第/个存储模式^的第/个分量用"/表 示，即力广[o/，a/,……，a/]。输入模式为X-[x'/，…y]，输出为^bi,力,…J^]，第/
个输入单元与第/个输出单元之间的连接权值为Wy，表示输入向量的第/个分量对联想
结果为第y个存储模式的贡献值。当输入向量的第/个分量与第y个存储模式的第/个分 量相同时，则表示该分量对联想结果为第y个存储模式有i/n的贡献，否则无贡献，权值 按下式设计<formula>formula see original document page 5</formula>与Hebb规则相比，上式定义的权值矩阵不但考虑到存储模式的信息，而且利用了输 入模式的信息，权值矩阵根据输入模式的变化而变化，也就是说，当网络的输入模式X 不同时，所得到的权值矩阵也不相同。输出层单元采用线性输出的方式，即(2)乃的结果表示输入向量各分量对联想结果为第y'个存储模式的总贡献值，即联想结果 为第y个存储模式的隶属度。当力-max(乂,",...，;^}，结合模糊理论解模糊的最大隶属 度法，则最终的联想结果为第々个存储模式。与Hebb规则相比，上述联想记忆过程又利用了输入模式的信息，且网络权值不是固 定不变的，当输入模式不同时，网络权值可自适应地进行调整，从而可大大增强网络的 适应性，提高联想效率。输出结果结合模糊推理方法给出了一种新的表示方法，即不再 直接输出存储的模式向量，而是给出属于不同存储模式的隶属度，这更符合人类的认知 特点。另外，利用Hebb规则设计的网络只能处理二值模式的联想记忆，而采用本文方法所 设计的网络可以完成任意多值模式的联想记忆，同时对相似模式也可得到较好的联想结 果。同时，该联想记忆网络具有如下性质性质l:网络可以存储任意多的两两互不相同的模式。证明己知样本集为W，户1,2,…，M)，若对于任意的的'，则当输入模式％=4时， 权值w『l/"，其中/=1,2,...，"。所以网络输出单元"=1。而因为A^4"所以乂<1，利用最大隶属度法进行解模糊，则网络联想结果为第./个模式。性质2:网络的联想结果是与输入模式海明距离最小的样本集中的模式。证明设H,(Z，^;)=min{ HXI，，户1,2,...,M) ， H为海明距离。则输出单元乂>乃，/= 1,2，…,M， 且y弁。利用最大隶属度法进行解模糊，则网络联想结果为第/个模式。性质3:网络不存在伪模式，但可出现联想结果不唯一而导致联想失败。证明由于联想结果利用网络输出的隶属程度进行表示，因此不存在伪模式。如果H,(义，A)=H4(X, J4)=min{ H乂X， <)， y'=l，2,...，7l^。贝廿乂=》>乃，/=1，2，...,M，且_/#/， 乂>^。 利用最大隶属度法进行解模糊，无法得到唯一确定的联想结果，因此联想失败。由此可见，本发明提出的联想记忆网络模型更符合认知特点，即网络的联想记忆过 程可一次完成；网络具有较大的存储能力，并且能够根据关键特征进行相似模式的区分； 网络的输出为模糊量，且能够实现多值模式和相似模式的联想记忆。实施例5如图2所示，其中前三个图为三个相似的三值(白、黑、灰)模式("己，己，巳")， 每个模式由10x10点阵组成，采用三个分别含有100个元素的存储模式向量A， ^， & 表示该三个模式，第/'个存储模式4的第/个分量用o/表示，其中户1,2，3; /=1，2，....，100, 则"2 =黑，/ = 12,13,14，15,16，17，18，28，38，52，62,72，78，82，83,84，85，86,87,88 灰，/ = 42,43,44,45,46,47,48白，其他黑，i = 12,13,14,15,16,17,18，28,32,38，52，62,72,78，82,83,84，85,86,87,88 灰，/ = 42，43,44，45,46,47,48白，其他(3)(4)'黑,/ = 12，13,14,15,16,17,18，22，28,32，38，52,62,72,78,82，83,84，85,86，87，88 a;一灰，,'=42，43,44，45,46,47，48 (5)白，其他图2中的第4个图为一含噪声的待联想输入模式，用输入向量J^[x^L.乂加]表示，其中x =.黑，/ =-灰，/ = 42,43，44,45'46,47,48,66白，其他根据此时输入向量，可得连接权值为 f0， ，/ = 32,65,66 ^1/w ，其他j0, "' = 65,66 丄l/"，其他「0， ，/ = 22,65,66(6)W,2W,3 =1/",其他(7)(8)(9)网络输出为97/100，./ = 1 98/100,/= 2 '='[97/〗00，./= 3力=max{>^,y = l，2，3}该输入模式与第二个存储模式最相似，联想结果为第:(10)(11)'水存储模式。权利要求
1、一种认知联想记忆模型，其特征在于，包括2层神经元；第一层为输入层，取输入元n个，对应输入模式的n个分量，记为x1，x2，...，xn；第二层为输出层，由M个神经元组成，记为y1，y2，...，yM，输出层第j个神经元yj的输出范围为
，表示输入待联想模式向量的联想结果隶属于第j个存储模式的程度；
2、 根据权利要求1所述的认知联想记忆模型，其特征在于，输入层与输出层之间的连接权值根据待联想模式的不同设计为动态权值，设输入模式为X呵xW.j"]，输出为!^[vb》，…,j^]，第y个存储模式4的第/个分量用"/表示，则第/个输入单元与第_/个输出单元之间的连接权值W"为
3、根据权利要求1所述的认知联想记忆模型，其特征在于，输出层单元采用线性输出的方式，即当h =111狀化，",...,>^}，则最终的联想结果为第A个存储模式。
全文摘要
本发明属于人工智能领域，具体为一种认知联想记忆网络，网络包含输入层和输出层两层神经元，样本模式信息存储在动态权值矩阵中，网络根据不同的输入向量可自适应地调节当前权值矩阵。输入向量的信息不仅提供了联想记忆的初值，而且在联想记忆过程中起到了启发式搜索的作用，因此网络的存储能力和联想成功率得到较好的改善。尤其可以有效地实现相似模式以及多值模式的联想记忆功能。本发明主要用于基于联想记忆的模式识别领域中。
文档编号G06N3/00GK101673355SQ20091007075
公开日2010年3月17日 申请日期2009年10月10日 优先权日2009年10月10日
发明者修春波 申请人:天津工业大学