新发展格局下的股市分析及预测

新发展格局下的股市分析及预测

赵欣兰

云南财经大学

摘要

在新发展格局下，股票的精准预测有利于行业的管理与智能控制。以往的LSTM等方法并没有考虑双向邻域对模型的影响，进而无法对特征序列给予不同程度的关注。针对这一问题,本文提出了一种基于双向LSTM的神经网络和注意力机制的股票预测模型。将股票的时间序列数据进行双向特征提取后引入注意力机制，突出具有重要影响的数据序列。利用智能制造、生命健康、传统制造、新材料、施工建筑以及房地产行业的24只股票数据集来验证该方法的有效性。结果表明该模型在时序数据建模上具有很高的鲁棒性且预测精度也优于其他模型。

关键词：LSTM；BiLSTM；注意力机制；股票

一、前言

随着信息化时代得到来，机器学习等方法逐渐应用于股票市场，黄润鹏[1]、运用了支撑向量机的方法构建了股票投资模型，证明了其对非线性问题的适用性。但由于该方法更适用于解决了分类问题，对回归问题比较弱，在此基础上发展了支持向量回归（SVR）。董锂[2]运用了该方法构建模型，获得了一定效果。ZhouFeng[3]运用集成学习架构进行股票的预测与交易。集成学习法虽然效率快、精度高，但仍然只可以用于分类问题而无法进行回归。因此深度学习逐渐成为热点。

二、研究思路和系统框架

本文提出了一种基于BiLSTM参与注意机制的股票时间序列预测模型。将LSTM网络更改为BiLSTM并引入注意力机制,使模型能够对股票的数据进行双向处理并加权，有效解决了模型的序列相关性问题。

BiLSTM模块对股票时间序列数据进行双向非线性特征提取，注意权重分配提供依据。BiLSTM层可以记住、遗忘重要的信息。由于BiLSTM单元的隐藏状态通常由一定长度的向量表示，导致股票数据信息会随着时间的推移而逐渐被遗忘。这种无差别的遗忘会在一定程度上削弱输入特征之间的时间差。因此，设置注意力层。将模型学到的特征权重突出指定给下一时间步长的输入向量、关键点特征对序列的影响。经过处理的数据最终被输入到全连接层，经过全连接层的虚拟函数处理后，得到预测的股票值。

三、数据分析和实验结果

（一）模型指标评估

1.拟合优度R-Squared是用来评价股票时间序列预测模型对样本观测值的拟合程度的度量。公式如下：

（1）

2. MSE LOSS

均方误差又被称为二次损失。损失函数（MSE）的值越小，模型所描述的样本数据精度就越高。公式如下：

（3）

L2损失又称欧几里得距离。是股票时间序列预测、图像处理中最常见的损失函数。

（4）

L1损失又称为曼哈顿距离，空间中两个具有特征的物体的残差的绝对值相加求和。

（5）

3.RMSELOSS

RMSE均方误差也称为标准误差，用于计算股票时间数据序列的预测值与真实值的偏差的平方与观测次数n之比的平方根。测量的是预测值和实际值之间的偏差，对数据中的异常值敏感。因此标准误差可以很好的反应出精密度。

（6）

4. MAE

在本文中，我们还将使用MAE（Meanabsoluteerror）平均绝对误差，MAE测量一组预测中误差的平均值幅度,而不考虑它们的方向。它是股票时间序列预测值和真实值的绝对差异的测试样本的平均值。

(7)

（二）实验结果分析

本实验选取网易财经的智能制造、生命健康、传统制造、新材料、施工建筑以及房地产行业的24只股票数据作为实验数据，数据包含去除缺失值后的最近4500天的股票数据中的收盘价、最高值、最低值及开盘值四个特征，数据量为24组。

1.实验环境

本文利用深度学习框架Pytorch对实验环境、环境的参数如下：Win10 64位操作系统；Python3.7;Pytorch1.8.1;GPU,Nvidia GTX1060。

2.比较算法模型

LSTM：长短存储网络，可改善RNN梯度消失或保证的循环神经网络，该模型包括：遗忘门、输入门和输出门。

BiLSTM：双向LSTM、LSTM备选方案、能够利用时间序列的前向信息和后向信息进行股票时间序列的预测。

LSTM-Attention：该模型基于LSTM模型，增加了时间注意机制，模型的主要结构和参数与LSTM模型相同。

BiLSTM-Attention：该模型基于现有的BiLSTM模型增加了时间注意力机制,模型的主要结构和参数与BiLSTM模型相同。

3. 实验参数设置

对于所有中选择了80%的数据进行培训，其余20%用于测试。根据实验结果，我们Adam优化器对有所模型进行300epochs的训练，以保证收敛性和效率。Adam权重衰减被设置为0.001。隐藏层神经元被设置为128个。本文使用Dropout技术来防止过拟合，提高该模型的性能。该模型的主要参数设置为：学习率0.001，批量大小300，隐藏层神经元数128。

4. 结果分析

数据集分别来自智能制造、生命健康、传统制造、新材料、施工建筑以及房地产行业。比较了各个模型在的MSE，基于BiLSTM-Attention机构MSE

健康元的股票中分别比LSTM、BiLSTM以及LSTM-Attention减少了0.00017，0.00009和0.000045298，同时在其它股票上的表现也明显优于3种对比模型。在RMSE的结果中，该模型也同样优于其他3种比较模型。从结果来看，双向LSTM模型优于单向LSTM模型。有注意力机构的模型优于没有注意力机构的模型。BiLSTM-Attention能更好地发现序列中的特征。如图1所示，股票时间序列结果与真值的比较图显然BiLSTM-Attention的预测结果最接近真实值。

图1的4种不同模型的股票时间序列预测结果及真实值比较

四、总结

本文设计了基于注意机制的BiLSTM短期股票时间序列预测模型。首先分析了数据的特性,当前时间数据收到过去和外来数据的影响。然后对数据进行归一化处理,并制定了评价模型有效性的标准。最后,数据被输入模型计算验证。验证了BiLSTM和注意力机制对股票时间序列预测的准确性有积极作用。

参考文献

[1] 黄润鹏,左文明,毕凌燕. 基于微博情绪信息的股票市场预测_黄润鹏[J]. 管理工程学报, 2015, 29(1): 47-52, 215.

[2] 董理,王中卿,熊德意. 基于文本信息的股票指数预测_董理[J]. 北京大学学报(自然科学版), 2017, 53(2): 273-278.

[3] Zhou Feng,Zhang Qun,Sornette Didier,等. 10.1016@j.asoc.2019.105747[J]. Applied Soft Computing Journal, 84: 105747.