1.本发明涉及人工智能与机器学习领域，具体涉及一种神经网络架构算法。
背景技术：
2.人工智能技术在当代的各个领域发挥着越来越重要的作用，神经网络算法在其中是重要的分支，但是神经网络算法也有很多不足，比如在深度学习反向传播的时候会出现梯度消失和梯度爆炸的问题。本发明的并行互补式神经网络算法，采用两个神经网络进行互补式的学习和输出，一方面可以解决梯度消失和梯度爆炸的问题，另一方面互补式的神经网络可以同时输入不同领域或不同维度的输入向量，例如图片和音频，进行混合式的学习。
技术实现要素：
3.针对神经网络算法出现的梯度消失和梯度爆炸问题，以及本发明提出的不同领域或不同维度混合学习的问题。本发明采用两个假设的神经网络，神经网络a和神经网络b，神经网络 a的隐藏层正方向连接到中间层结点，神经网络b的隐藏层反方向连接到中间层结点，整个网络的输出y来自于中间层结点，本发明结构见附图1，本发明为实现上述目的所采用的具体技术方案如下：
4.假设神经网络a，输入为x
a
，那么第一层隐藏层的输出如下公式所示：
[0005][0006]
公式中的右上标表示隐藏层的层数，其中h()为激活函数，ω为权重，下同。
[0007][0008]
第二层隐藏层的输出如下公式所示：
[0009][0010]
递推到第n
‑
1层，第n
‑
1层隐藏层的输出如下公式所示：
[0011]
[0012]
递推到第n层，第n层隐藏结点的输出如下公式所示：
[0013][0014]
假设神经网络b，输入为x
b
，那么第一层隐藏层的输出如下公式所示：
[0015][0016]
第二层隐藏层的输出如下公式所示：
[0017][0018]
递推到第n
‑
1层，第n
‑
1层隐藏层的输出如下公式所示：
[0019][0020]
递推到第n层，第n层隐藏层的输出如下公式所示：
[0021][0022]
现在将假设的神经网络a和神经网络b进行连接，将两个神经网络进行连接的是中间层，其中中间层结点y1的输入为两个神经网络隐藏层
[0023]
的输出，公式如下：
[0024][0025]
中间层结点y2的输入为两个神经网络隐藏层
[0026]
的输出，公式如下：
[0027][0028]
依照上述关系递推至第n个中间层结点y
n
的输入为两个神经网络隐藏层
[0029]
的输出，公式如下：
[0030][0031]
整个网络的输出建立在中间结点上，输出y如下公式：
[0032]
y＝h(ωy1×
y1+ω
y2
×
y2+
····
+ω
yn
×
y
n
+ω0)
[0033]
实际应用中可以选择少数几个隐藏层和中间结点连接，也就是中间结点的数量可以少于隐藏层的层数。
[0034]
给定输入向量x
an
x
bn
(n＝1，...，n)组成的训练集，以及目标向量t
n
组成的集合，需要最小化误差函数：
[0035][0036]
采用梯度下降的方式更新的方式更新权重参数，公式如下：
[0037]
附图说明：
[0038]
图1是并行互补式神经网络的结构示意图。
[0039]
下面讨论对称神经网络的应用：
[0040]
应用一，解决了深度神经网络中出现的梯度消失和梯度爆炸问题，令两个神经网络输入参数相等，如下：
[0041]
x
a
＝x
b
＝x
[0042]
在这里由于两个对称神经网络输入参数一样，所以两个神经网络形成互补结构，在反向传播进行梯度更新的时候，隐藏层结点直接通过中间结点连接到输出，所以在反向传播梯度更新的时候不会出现梯度消失和梯度爆炸的问题。
[0043]
又由于一个神经网络的前层和另一个神经网络的后层通过中间结点互补输出，可以提高输出的准确度。
[0044]
应用二，可以实现不同领域或不同维度输入向量的并行式混合学习，令两个神经网络输入参数不相等，如下：
[0045]
x
a
≠x
b
[0046]
假设x
a
为输入的图像，x
b
为输入的音频，由于两个神经网络通过中间层结点进行了隔离，所以在反向传播权重更新的时候两个神经网络互不影响，又由于两个神经网络通过中间层结点形成互补结构输出，网络的输出是两个网络混合的输出结果，所以是一种将不同领域或不同维度输入向量进行混合学习的算法。
技术特征：
1.并行互补式神经网络算法，包括神经网络a，中间层结点，神经网络b，输出y，其特征是神经网络a的隐藏层正方向（1）连接到中间层结点，神经网络b的隐藏层反方向（2）连接到中间层结点，神经网络a和神经网络b通过中间层结点形成对称互补结构，整个网络的输出是从中间层结点输出到y（3）。2.如权利要求书1所述的（1）神经网络a的隐藏层正方向连接到中间层结点，其特征是神经网络a的第1个隐藏层的所有结点的输出连接到第1个中间层结点的输入，递推至第n个隐藏层的所有结点的输出连接到第n个中间层结点的输入。3.如权利要求书1所述的（2）神经网络b的隐藏层反方向连接到中间层结点，其特征是神经网络b的第n个隐藏层的所有结点的输出连接到第1个中间层结点的输入，第n
‑
1个隐藏层的所有结点的输出连接到第2个中间层结点的输入，递推至第1个隐藏层的所有结点的输出连接到第n个中间层结点的输入。4.如权利要求书1所述的（3）整个网络的的输出是从中间层结点输出到y，其特征是整个网络的输出是y，y的输入来自于所有中间层结点的输出。
技术总结
人工智能技术在当代的各个领域发挥着越来越重要的作用，神经网络算法在其中是重要的分支，但是神经网络算法也有很多不足，比如在深度学习反向传播的时候会出现梯度消失和梯度爆炸的问题。本发明的并行互补式神经网络算法，采用两个神经网络进行互补式的学习和输出，一方面可以解决梯度消失和梯度爆炸的问题，另一方面互补式的神经网络可以同时输入不同领域或不同维度的输入向量，例如图片和音频，进行混合式的学习。进行混合式的学习。
技术研发人员：史永康
受保护的技术使用者：史永康
技术研发日：2021.07.18
技术公布日：2021/12/2