专利名称：基于bp神经网络的色盲及色弱矫正方法
技术领域：
本发明属于神经网络和视觉恢复技术领域，具体涉及一种基于BP神经网络的色盲与色弱矫正方法。受国家重点基础研究规划基金(2005CB724303)资助。
背景技术：
色盲与色弱是危害人类健康的视觉疾病，它对患者的日常生活带来了不利影响。据统计，患有色盲或色弱的男性约有8％，女性约有0.5％。绝大部分色盲与色弱的原因在于视网膜上传递颜色信息的感光锥体细胞异常或不全，以致缺乏辨别某种或某几种颜色的能力。其主要表现是不能很好地区分一些颜色。很多正常视觉中区别明显的颜色在色盲与色弱患者看来非常类似，甚至完全不能区分开来。色盲按临床表现又可分为全色盲和部分色盲(二色觉者)，由于全色盲的比例非常小，后面文中所提到的色盲都是指部分色盲(即二色觉者)。部分色盲按照视锥细胞异常的不同又分为红色盲、绿色盲和蓝色盲。根据视觉的三通道模型，色盲与色弱的生物学特性已经得到广泛的研究，也建立了很多对色盲与色弱患者视觉进行研究的模型[1]-[4]。根据这些模型，可以分析或模拟色盲与色弱患者的神经系统对颜色、亮度等视觉信息的处理机制，不过这些模型都没有对色盲与色弱的治疗或矫正提出有效的建议。
从原理角度来说，色盲与色弱患者缺少感光锥体细胞，但对缺少的那种锥体细胞响应信号的“接收器”并不一定失效，只是该“接收器”缺少了输入信号。因此，对于进入眼睛的图像，如果能够根据已有的视觉感光细胞的响应信号恢复出正常视觉中所应当产生的响应信号，并设法调节后面“接收器”上接收到的信号，就有可能使得神经系统在处理信息时得到与正常视觉者处理同样图像时所产生的类似的信号，从而产生正常的颜色感觉。考虑到色盲与色弱的种类和程度有多种，同种色盲或色弱患者具有的各种感光锥体细胞的数量与比例也各不相同，因此针对不同患者进行矫正时采用相同的变换参数是不可行的，需要有一种适应性强的方法。
根据上述要求，并考虑到视觉处理信息量非常大的特点，本发明中试图采用BP神经网络模型的方法将色盲或色弱患者锥体细胞的异常响应信号转变为正常视觉者所应具有的响应信号，为色盲与色弱治疗和矫正的研究提供一个可以参考的有效模型。
发明内容
本发明的目的是提出一种适应性强的对色盲与色弱进行矫正的方法。
本发明提出的对色盲和色弱进行矫正的方法，是一种基于BP神经网络的训练方法，其步骤是首先对视网膜视觉感受细胞响应信号进行仿真，然后采用BP神经网络矫正模型，经过一定的训练后，将色盲或色弱患者视网膜上视觉感受细胞的异常响应信号转变成正常视觉者视觉感受细胞所应有的响应信号，从而实现对色盲或色弱的矫正。下面对本发明内容进一步介绍相关概念BP(Back-Propagation)神经网络(一种采用误差反向传播算法的前馈神经网络)。
人工神经网络的设计是由对人脑的类比引发的。根据神经生物学研究出的神经系统间信号的传递原理所设计的各种类型的神经网络，被广泛地应用于各种领域，特别是在解决有生物学特性的非线性映射和自适应学习等问题方面，有很好的效果。由于人工神经网络能够较好地模拟生物神经系统的性质，对于视觉模型的研究有着非常重要的意义。其中，BP神经网络采用有监督学习的反向传播机制，非线性映射和泛化能力较强，而且局部计算简单，利于大规模集成电路的硬件实现，适合用于具有大量信息的视觉系统的信息处理。BP神经网络由输入层、隐层、输出层组成，结构如图1所示。它采用误差反向传播训练算法，主要思想是将学习过程分为信息的正向传递与误差的反向传播两个阶段。在正向传递的过程中，输入信息经隐层逐层计算，每一层神经元的输出作用于下一层神经元的输入。如果在输出层没有得到期望的输出，则计算输出层的误差变化值，然后反向传播，通过网络将误差信号沿原来的连接通路反传回来修改各层神经元的连接权值，直至达到期望目标。利用训练样本经过反复的迭代直至训练结束后，网络对非训练样本也能够完成所需要的从输入到输出的变换。关于BP神经网络的详细介绍及算法的优化等细节，可参见参考文献[5]中156-198页的内容。
1、对视网膜视觉感受细胞响应信号进行仿真为了仿真人眼视觉系统模型，对于一幅图像来说，将它的每一个像素的颜色红(Red)、绿(Green)、蓝(Blue)三种分量的值(简称为RGB值)转变成三种锥体细胞的吸收信号，这个过程可以通过一个从RGB空间到锥体细胞吸收特性空间(LMS空间)的变换来实现LMS=U×RGB=LRLGLBMRMGMBSRSGSB×RGB---(1)]]>在不同的定义方式下，矩阵U的系数不完全相同。Faugeras模型[6][7]给出了对视觉系统的一种仿真，该模型(如图2所示)中定义的U使得三种锥体细胞吸收信号的最大值相等。此处采用该模型所使用的U来进行仿真，具体的矩阵U如下
U=LRLGLBMRMGMBSRSGSB=0.36340.61020.02640.12460.81380.06160.00090.06020.9389---(2)]]>然后根据锥体细胞响应的非线性特性，采用如Faugeras模型中所述的对数函数的方法来得到锥体细胞的响应信号。即Lr＝log(L)Mr＝log(M) (3)Sr＝log(S)对色盲与色弱患者来说，三种锥体细胞的吸收特性与正常视觉者有差别，其中一种的吸收偏弱(对于色弱患者)甚至几乎不存在(对于色盲患者)，仿真中采用一个变换矩阵T来简单地描述这种现象L_aM_aS_a=T×LMS=T_L000T_M000T_S×LMS---(4)]]>从色盲或色弱患者的三种锥体细胞的吸收特性到正常视觉者的三种锥体细胞的吸收特性的变换用变换矩阵T来描述L_aM_aS_a=T×LMS=T_L000T_M000T_S×LMS---(4)]]>再采用Faugeras模型中的对数函数方法得到色盲或色弱患者锥体细胞的响应信号Lr_a＝log(L_a)Mr_a＝log(M_a) (5)Sr_a＝log(S_a)以上公式中，R、G、B为图像各像素点的颜色的红、绿、蓝分量值；L、M、S为正常视觉者视网膜上三种锥体细胞的吸收值；Lr、Mr、Sr为正常视觉者三种锥体细胞的响应值；L_a、M_a、S_a为色盲或色弱患者视网膜上三种锥体细胞的吸收值；Lr_a、Mr_a、Sr_a为色盲或色弱患者三种锥体细胞的响应值。T_L、T_M、T_S为从正常视觉者锥体细胞吸收特性L、M、S到异常视觉者锥体细胞吸收特性L_a、M_a、S_a的变换系数，这些系数对于不同类型的色盲或色弱患者来说并不一样；而对于同种类型的色盲或色弱，不同患者之间也会有所不同。对于色弱患者，其中一个系数(对红色弱患者是T_L、对绿色弱患者是T_M、对蓝色弱患者是T_S)设为一个小于1且不为0的正数(仿真中设为0.01)，对于色盲患者这个系数(对红色盲患者是T_L、对绿色盲患者是T_M、对蓝色盲患者是T_S)设为0。考虑到不同患者的不同情况，其它两个参数在仿真中被设为1到2之间的一个随机数。根据矩阵U、T和对数变换，就可以从每个像素点的颜色值仿真出它在三种锥体细胞上的响应信号了。
2、采用BP神经网络矫正模型进行矫正在完成了对异常锥体细胞响应信号的仿真之后，采用BP神经网络矫正模型来进行转换，目的是将这些异常的信号转变为正常的信号。神经网络输入层和输出层均为3个神经元，输入层和输出层之间的一个隐层包含10个隐层神经元。输入层的三个神经元对应色盲或色弱患者异常的三种锥体细胞响应，所应得到的输出(即训练时的目标函数)是正常的响应信号，而从输入层到隐层的权值调节和从隐层到输出层的权值调节采用BP学习算法。该神经网络模型的结构如图3所示。
然后是神经网络的训练及测试过程。采用很多幅包含丰富颜色信息的自然图像对网络进行训练，训练结束后使用另外一些自然图像对该模型进行测试。具体而言，针对不同特征的色盲与色弱患者，只需采用一些图像中各个像素点的颜色在其视觉细胞上的响应信号和这些颜色在正常视觉者视觉细胞上的响应信号对该BP神经网络进行训练，就可以得到一个固定的神经网络权值；然后使用该网络即可将其他图像在色盲或色弱患者视觉细胞上的异常响应信号转变为正常的响应信号。为了更加直观地分析结果，根据恢复后的锥体细胞响应再逆变换得到“恢复后的图像”，并与原图像以及对色盲或色弱患者视觉的仿真图像(仿真方法可参照[3][4])进行比较。
3、针对色盲患者所作的改进由于色盲患者LMS三路信号中有一路为0，经过神经网络的训练后，虽然一些原本不能辨别的信号可以被分辨出来，但仍有部分信息无法恢复，也就是还有一定程度的混淆。为解决这一问题，本方法中对模型进行了一些改进。在人类视觉系统中，杆体细胞主要传递亮度信息，研究表明杆体细胞的响应信号在一定程度上也与颜色信息有关[8][9]。因此本发明用部分杆体细胞的响应信号来代替色盲患者所缺少的那一种锥体细胞的响应信号，作为神经网络的输入，而其他均保持不变。具体仿真中，采用相对亮度信息作为杆体细胞的响应信号，而亮度信息可以由像素的RGB值得到，此处采用R、G、B值之和的对数值即log(R+G+B)来模拟。使用该改进后的模型可以为色盲患者提供更多的信息，从而更好地矫正其颜色视觉。
4、实际应用方法在具体应用时，对于色盲或色弱患者，可以直接将获得的锥体细胞上的响应信号输入到神经网络进行训练，得到从异常信号转变到正常信号之间的变换关系，然后根据这个关系，人为地调节视网膜内视觉细胞的响应信号(比如将模型得到的响应信号转变为脉冲刺激，人为地施加在视觉系统中接受这种响应信号的区域)，以使之获得正常的颜色视觉。更为合理一些的方法是在图像进入眼睛之前就进行一些处理，调节其对三种锥体细胞的刺激值以使得锥体细胞的响应接近正常的响应，然后对于锥体细胞响应无法调节的部分，再考虑在视觉系统中接受这种响应信号的区域人为地施加刺激，这样需要人为调节的部分就减少了。通过以上所述的这些信号变换过程和在视觉系统内外的调节，来实现对锥体细胞响应信号异常所引起的色盲或色弱的矫正。
图1、BP神经网络结构图示。
图2、人类彩色视觉系统的Faugeras模型的一部分[6]。
图3、基于BP神经网络的色盲及色弱矫正模型。
图4、对三种色盲患者颜色感知的仿真。其中(a)、(b)、(c)、(d)分别是原始图像、红色盲感知图像、绿色盲感知图像和蓝色盲感知图像。
图5、BP神经网络矫正模型的效果。其中(a)、(d)、(g)为原始图像，(b)、(e)、(h)分别是对严重的红色弱、绿色弱和蓝色弱所感知到的图像的仿真，(c)、(f)、(i)分别为根据神经网络矫正模型的输出进行变换后恢复出来的图像。
图6、改进的BP神经网络矫正模型的效果。(a)、(d)、(g)为原始图像，(b)、(e)、(h)分别是对红色盲、绿色盲和蓝色盲所感知到的图像的仿真，(c)、(f)、(i)分别为根据神经网络矫正模型的输出进行变换后恢复出来的图像。
具体实施例方式
以下以红色弱为例，介绍整个仿真及信号变换过程，并在最后用图像的形式表示出几种不同情况下锥体细胞响应信号恢复的结果。
1、对色盲患者颜色感知的模拟根据各种对色盲患者颜色感知的研究，绘制出三种色盲患者观察到的图案，用来观察它们的颜色混淆情况，以便与后面恢复后的图像进行比较。图4为分别对三种色盲患者(红色盲、绿色盲和蓝色盲)颜色感知进行模拟的结果。
2、对视网膜视觉感受细胞响应信号进行仿真此处以红色弱为例，说明仿真的具体过程从图像中任取一个像素点，得到它的颜色RGB分量分别为R＝63、G＝204、B＝37，根据公式(2)中的矩阵U以及公式(1)，计算出正常视觉者锥体细胞的吸收值L＝148.35、M＝176.14、S＝47.077；再根据公式(3)计算出正常视觉者锥体细胞的响应值Lr＝4.9996、Mr＝5.1713、Sr＝3.8518。对红色弱患者，取T_L＝0.01，T_M与T_S在1到2之间随机产生，得到T_M＝1.3，T_S＝1.2；由公式(4)得到患者异常的三种锥体细胞的吸收值L_a＝1.4835、M_a＝228.99、S_a＝56.492；再由公式(5)得到这三种锥体细胞的响应值Lr_a＝0.39442、Mr_a＝5.4337、Sr_a＝4.0341。这样，就获得了对应于该像素点颜色的正常响应信号Lr、Mr、Sr和异常响应信号Lr_a、Mr_a、Sr_a。对一副图像中所有像素点进行类似的操作，就能得到作为样本的很多组正常与异常响应信号。
3、BP神经网络矫正模型训练阶段对于用作训练的自然图像，将其每一个像素在异常锥体细胞上的响应信号作为神经网络的输入，以它们在正常锥体细胞上的响应信号作为目标函数，对网络进行训练。神经网络中输入层到隐层之间采用tansig传递函数(双曲正切S型传递函数)，而隐层到输出层之间采用线性传递函数。对于上述的红色弱，采用一定数量的自然图像进行训练后，整个网络得到一系列固定的权值，此处输入层到隐层的权值矩阵w1和偏置b1，以及隐层到输出层的权值矩阵w2和偏置b2分别为w1=-0.0173-1.8848-1.62400.5542-0.8046-0.5415-0.99051.6863-1.0790-1.50630.29411.53870.13220.10550.0314-1.05520.61510.84540.3649-0.45870.1699-0.20451.34231.59040.3162-0.2286-0.12570.5999-0.08920.0905,b1=2.7455-2.95310.95272.0800-0.59320.15761.5053-1.45931.50042.7925]]>w2=-0.7568-1.8776-0.7943-0.32843.86730.89010.2426-0.86301.32981.2858-0.6544-1.51950.97391.67943.9449-0.9841-1.0930-0.6917-0.47821.4567-0.2277-1.0886-1.05731.98982.3936-1.46602.55810.0081-4.08491.6713,b2=1.7745-0.27340.9175]]>上面提到的神经网络内部的传递函数以及权值等的定义说明起来较为复杂，此处就不详细介绍了，具体可参考神经网络相关文献，如[5]。
4、BP神经网络矫正模型测试阶段此处仍以前述的红色弱为例，说明测试的具体过程。训练完毕后，该神经网络矫正模型得到一系列固定的权值。此时用一些其他图像，根据上面所述方法得到神经网络的输入和期望的输出，不同的是此时不需要进行训练，直接将异常响应信号输入神经网络，由神经网络变换得到输出。可以将此输出与期望的输出进行比较，来评价信号变换的效果。此处依旧从图像中任取一个像素点作为代表，它的颜色RGB分量分别为R＝78、G＝96、B＝22，根据公式(2)中的矩阵U以及公式(1)，计算出正常视觉者锥体细胞的吸收值L＝87.505、M＝89.199、S＝26.505；再根据公式(3)计算出正常视觉者锥体细胞的响应值Lr＝4.4717、Mr＝4.4909、Sr＝3.2773；由公式(4)得到患者异常的三种锥体细胞的吸收值L_a＝0.87505、M_a＝115.96、S_a＝31.806；再由公式(5)得到这三种锥体细胞的响应值Lr_a＝-0.13347、Mr_a＝4.7532、Sr_a＝3.4597。将异常响应信号Lr_a、Mr_a、Sr_a作为神经网络的输入，得到输出分别为4.4653、4.4936、3.2719，与之前计算得到的正常响应信号Lr(4.4717)、Mr(4.4909)、Sr(3.2773)非常接近。对多幅测试图像进行统计，矫正后的信号与正常信号的平均相对误差不超过5％。
对一副图像中所有像素点进行类似的操作，可以将每个像素点对应的异常响应信号转变为正常的。为了直观地表现该模型的效果，这里还将网络的输出经过一系列逆变换恢复出图像，并与原始图像及色盲或色弱图像进行比较，来观察该模型的性能。
5、实验结果分析前面所举的例子是针对红色弱患者的。对于色盲患者，只需将缺少的那一路信号按照前面所述的方法用部分杆体细胞的响应来代替即可，实验结果表明采用这种方法可以达到与色弱矫正相类似的效果。
该BP神经网络矫正模型的直观效果如图5、图6中所示。其中，图5为使用BP神经网络矫正模型对严重色弱的情况进行矫正的结果，图6为使用改进的BP神经网络矫正模型对色盲的情况进行矫正的结果。从图中可知，针对不同类型的色盲或色弱患者，该模型都能较好地将异常的锥体细胞响应信号转变成正常的响应信号，具有很好的性能，特别是通用性与自适应性。无论是哪一种色盲或色弱患者的视觉细胞上的异常响应信号，经过该模型神经网络的训练后，都能够转变为正常的响应信号。
参考文献[1]S Nakauchi，S Usui.Multilayered neural network models for color blindness.NeuralNetworks 1991，IEEE International Joint Conference，1991，1473-478. Y H Kuo，J P Hsu.MCFC-RA fuzzy connectionist model for color-blindness platerecognition.Neural Networks 1996，IEEE International Conference，1996，2718-723. W Thomas，D Ulrike，H Rainer.Modeling color percepts of dichromats.Vision Research，2004，442843-2855. H Brettel，F Vienot，J Mollon.Computerized simulation of color appearance for dichromats.Journal Optical Society of America，1997，142647-2655. H Simon.Neural Networks-A Comprehensive Foundation.2nd edn.Prentice Hall，1999. O D Faugeras.Digital color image processing and psychophysics within the framework of ahuman visual model.Ph.D.dissertation，Univ.Utah，Salt Lake City，1976[7]C E Martin，J G.Keller，S K.Rogers，M Kabrisky.Color blindness and a color human visualsystem model.IEEE Transactions on Systems，Man，and Cybernetics-Part ASystems andHumans，2000，30494-500. D Cao，J Pokorny，V C Smith.Matching rod percepts with cone stimuli.Vision Research，2005，452119-2128. S L Buck.Rod-cone interactions in human vision.The visual neurosciences，2004，1863-878.
权利要求
1.一种基于BP神经网络的色盲与色弱矫正方法，其特征在于具体步骤为首先对视网膜视觉感受细胞响应信号进行仿真，然后采用BP神经网络矫正模型，通过一定的训练之后，将色盲与色弱患者视网膜上视觉感受细胞的异常响应信号转变为正常视觉者视觉感受细胞所应有的响应信号。
2.根据权利要求1所述的方法，其特征在于所述的对视网膜视觉感受细胞的响应信号进行仿真的步骤如下对于一幅图像，人眼视觉系统将每一个像素的颜色的RGB值转变成三种锥体细胞的吸收信号，这个过程通过一个从RGB空间到锥体细胞吸收特性空间LMS的变换矩阵来实现LMS=U×RGB=LRLGLBMRMGMBSRSGSB×RGB---(1)]]>这里，变换矩阵U采用Faugeras模型所使用的矩阵U=LRLGLBMRMGMBSRSGSB=0.36340.61020.02640.12460.81380.06160.00090.06020.9389---(2)]]>再采用Faugeras模型中的对数函数方法得到锥体细胞的响应信号Lr＝log(L)Mr＝log(M) (3)Sr＝log(S)从色盲或色弱患者的三种锥体细胞的吸收特性到正常视觉者的三种锥体细胞的吸收特性的变换用变换矩阵T来描述L_aM_aS_a=T×LMS=T_L000T_M000T_S×LMS---(4)]]>再采用Faugeras模型中的对数函数方法得到色盲或色弱患者锥体细胞的响应信号Lr_a＝log(L_a)Mr_a＝log(M_a)(5)Sr_a＝log(S_a)其中，R、G、B为图像各像素点的颜色的红、绿、蓝分量值；L、M、S为正常视觉者视网膜上三种锥体细胞的吸收值；Lr、Mr、Sr为正常视觉者三种锥体细胞的响应值；L_a、M_a、S_a为色盲或色弱患者视网膜上三种锥体细胞的吸收值；Lr_a、Mr_a、Sr_a为色盲或色弱患者三种锥体细胞的响应值；T_L、T_M、T_S为从正常视觉者锥体细胞吸收特性L、M、S到异常视觉者锥体细胞吸收特性L_a、M_a、S_a的变换系数，对于色弱患者，其中一个系数设为一个小于1的正数，其余两个参数取为1到2之间的一个随机数；对于色盲患者其中一个系数设为0，其余两个参数取为1到2之间的一个随机数。
3.根据权利要求1中所述的方法，其特征在于针对不同特征的色盲与色弱患者，采用一些图像中各个像素点的颜色在其视觉细胞上的响应信号和这些颜色在正常视觉者视觉细胞上的响应信号对该BP神经网络进行训练，得到一个固定的神经网络权值；然后使用该网络即可将其他图像在色盲或色弱患者视觉细胞上的异常响应信号转变为正常的响应信号。
4.根据权利要求3所述的方法，其特征在于对于色弱患者，利用其三种锥体细胞上的异常响应信号，通过神经网络的训练，可以恢复出正常的响应信号；对于色盲患者，采用部分杆体细胞的响应信号来代替缺少的那一路信号来进行训练，从而恢复正常的响应信号。
5.根据权利要求3中的方法，其特征在于对于色盲或色弱患者，可以直接将获得的锥体细胞上的响应信号输入到神经网络进行训练，得到从异常信号转变到正常信号之间的变换关系，然后根据这个关系，人为地调节视网膜内视觉细胞的响应信号，以使之获得正常的颜色视觉；或者在图像进入眼睛之前就进行一些处理，调节其对三种锥体细胞的刺激值以使得锥体细胞的响应接近正常的响应，然后对于锥体细胞响应无法调节的部分，再考虑在视觉系统中接受这种响应信号的区域人为地施加刺激，来实现对锥体细胞响应信号异常所引起的色盲或色弱的矫正。
全文摘要
本发明属于神经网络和视觉恢复技术领域，具体是一种基于BP神经网络的色盲与色弱矫正方法。该方法使用色盲和色弱患者视网膜上视觉感受细胞对具体视觉图像的响应信号，通过BP神经网络训练，获取与正常人视觉感受细胞对相同图像的响应相类似的信号，将色盲与色弱患者视觉感受细胞的异常响应信号转变为正常响应信号。本发明中不但提出了针对色盲与色弱矫正的BP神经网络训练的方法和相应的模型，还提出了该方法的具体实现步骤，从而为色盲与色弱的矫正提供了有力支持。
文档编号A61H5/00GK1895191SQ20061002646
公开日2007年1月17日 申请日期2006年5月11日 优先权日2006年5月11日
发明者汪源源, 马煜, 顾晓东, 王威琪 申请人:复旦大学