一种基于3D-CNN和哈希注意力机制的LSTM股价预测优化方法

一种基于3d
‑
cnn和哈希注意力机制的lstm股价预测优化方法
技术领域
1.本发明属于lstm股价预测优化领域，尤其涉及一种基于3d
‑
cnn和哈希注意力机制的lstm股价预测优化方法。


背景技术：

2.股票是金融市场的重要组成部分，实现股票价格的精准预测从微观上可以增加中小投资者的投资收益，从宏观上有助于政府提前察觉金融市场的异常动向及时出台政策规避风险。但股票数据高噪声、非线性、不平稳的特点，使得传统模型在股票数据上的预测效果不甚理想。基于以上背景本文通过分析传统模型在股票预测中的局限性，提出了更加贴合股票数据特征的优化模型，以提高股票预测准确率。
3.lstm模型难以很好地学习到多维股票数据中的深度特征的问题，本文基于卷积神经网络加强lstm模型的深度特征提取能力，在改进模型中，添加了三个卷积层分别对股票基本属性、技术指标和评论文本进行卷积计算，提取各数据中的深度特征，之后基于矩阵融合的方式对三组特征向量进行融合，将得到的融合特征输入到lstm中进行学习，在lstm模型中，隐藏层神经元对股票历史信息做了不同程度上的剔除，因此为了减少信息损失在计算lstm隐藏层输出时各个神经元在时间维度上采用共享权重机制。
4.因此，本发明提出一种基于3d
‑
cnn和哈希注意力机制的lstm股价预测优化方法，将注意力机制用于lstm隐藏层神经元状态权重调整，增加有效特征的对最终输出的影响程度，进一步提高模型的预测准确率。


技术实现要素：

5.为了解决上述技术问题，本发明提供一种基于3d
‑
cnn和哈希注意力机制的lstm股价预测优化方法，包括如下步骤；
6.步骤1、针对股票数据高维的特征引入多维卷积神经网络机制加强股票数据中的深度特征提取能力，其中股票数据为基本属性、技术指标和融合市场情感评论文本的多组相关时态数据；
7.步骤2、根据步骤1中的股票数据维度，确定一维卷积神经网络类型；
8.步骤3、因步骤1中包含三种股票数据类型，因此采用三个卷积神经网络，并采用高斯核函数作为卷积核，采用池化层大小为4的维度进行池化操作；
9.步骤4、对于基础网络lstm选用基于局部敏感哈希的注意力机制来调整神经元权重，使得影响大的神经元占比更大。
10.优选的，所述步骤1中所述的动态股票数据，属于标准的ohlc金融格式，数据上要求保持时序性特征。
11.优选的，所述步骤1中所述的评论文本为股吧评论信息，维度上与股票数据保持一致。
12.优选的，所述步骤2中选取的股票数据为二维数据，因此采用一维卷积神经网络。
13.优选的，所述步骤3中高斯核函数的选取和池化层大小都是实验过程中的最优参数。
14.优选的，所述步骤4中不同的神经元对某时刻输出的贡献值大小不同。
15.与现有技术相比，本发明的有益效果为：本发明针对传统长短期记忆网络模型无法学习到高维数据中深度特征的问题，将卷积神经网络引入到传统lstm模型当中，分别使用三层卷积神经网络对股票基本属性、技术指标和评论文本进行三维特征提取，形成了3dcnn
‑
lstm改进模型，另外，实验中发现lstm网络隐藏层神经元在时间维度上共享权重的机制会在一定程度上影响最终的预测效果，因此，本发明将注意力机制添加到神经元权重计算中，优化了重点神经元在输出中的比重，最后，将两种优化策略融合，得到基于3d
‑
cnn和哈希注意力机制的lstm股价预测优化模型。
附图说明
16.图1是本发明基于股票数据的一维卷积神经网络架构示意图；
17.图2是本发明的属性特征、技术指标特征和评论文本特征融合过程示意图；
18.图3是本发明基于注意力机制的lstm神经元权重优化步骤示意图；
19.图4是本发明的lstm股价预测优化方法步骤示意图；
20.图5是本发明基于局部敏感哈希的注意力机制的结构示意图；
21.图6是本发明目标股票的多模型股价预测效果图。
具体实施方式
22.以下结合附图对本发明做进一步描述：
23.实施例：
24.如附图1、2所示，本发明搭建的神经网络是一个4层卷积神经网络，由输入层、卷积层、池化层和丢失层组成。
25.(1)在一维卷积神经网络中采用滑动窗口采样方式，截取数据窗口内的数据作为输入，本发明设置time_step为30作为滑动窗口的高度，滑动窗口的宽度与输入数据行维度保持一致，输入数据的列维度与属性数量一致；
26.(2)本发明设置卷积核数量kernel_number和卷积核大小kernel_size这两个超参数，本发明选取gossi kernel作为卷积核，relu函数作为卷积层激活函数，卷积操作完成了股票数据中的深度特征提取；
27.(3)本发明选取pooling_size＝4的特征区域，采用最大池化策略作为池化层的采样依据，即每个卷积核经过卷积计算后得到的特征向量，在每个特征区域内保留其最大值作为代表值，经过池化操作后，特征向量的维度将进一步缩小；
28.(4)如图2所示，最终，经过卷积计算得到的各个特征向量，经过池化层的最大池化采样之后，维度会进一步缩小，
29.(5)如图3所示，本发明选择soft attention机制，使得每个神经元的注意力权重返回一个[0,1]的值，进而使得各个神经元对最终的输出都有所体现，注意力模型通过下述公式对每个神经元的输出h
i
与t时刻真实值的相关性的计算，
[0030][0031]
其中，函数f是计算lstm神经元i与t时刻股票真实价格相关度的函数，本文使用欧氏距离计算相关度并使用softmax函数将其映射到[0,1]区间内，得到的数值α
i
我们将它作为各个神经元的注意力系数，然后各个神经元基于其注意力系数，按照下述公式，将其输出h
i
与其对应的注意力系数加权求和，得到t时刻股票价格的预测值y
t
。
[0032][0033]
(6)如图4、5所示，最终将cnn和基于局部敏感哈希的注意力机制进行融合，得到了本发明所述的基于cnn和注意力机制的lstm股价预测优化方法。
[0034]
对比例1
[0035]
本发明在python3.6环境下，在keras神经网络框架下构建股票价格预测模型，预测目标股票的股价走势，其中目标股票的股票代码为600804。如附图6所示，为预测结果的可视化显示，为了突出本方法的优越性，实验选取了rnn、gru、lstm和两种单一策略进行对比，如图6所示，其中蓝色曲线表示股票真实股价走势，橘色曲线表示模型的股价预测值。
[0036]
在本发明的描述中，需要理解的是，术语“同轴”、“底部”、“一端”、“顶部”、“中部”、“另一端”、“上”、“一侧”、“顶部”、“内”、“前部”、“中央”、“两端”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
[0037]
此外，术语“第一”、“第二”、“第三”、“第四”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量，由此，限定有“第一”、“第二”、“第三”、“第四”的特征可以明示或者隐含地包括至少一个该特征。
[0038]
在本发明中，除非另有明确的规定和限定，术语“安装”、“设置”、“连接”、“固定”、“旋接”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
[0039]
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及等同物限定。