结果
原始数据
十天数据
基准
只使用gru的预测Loss
因为第一个和其它两个是分开训练的，所以因为draw_acc_and_loss函数中的history参数写成了'acc'得到了报错，而之前只保存了model，而没有保存history，所以画不出来，以下两个将引用原书中结果图，以后有空再补
使用 dropout 正则化的gru
使用 dropout 正则化的堆叠 GRU 模型
由以上可见，相对于基准模型，使用 GRU 稍微降低了 loss，但是很快过拟合了，然后使用带有 dropout 的 GRU，再次降低了 loss，但是最后在0.28左右变得平缓，说明遇到了性能瓶颈，最后我们使用带有 dropout 正则化的堆叠 GRU 模型，性能再次提高，但是依旧不是很好
注意：想要在循环网络中使用 dropout，你应该使用一个不随时间变化的 dropout 掩码与循环 dropout 掩码。这二者都内置于 Keras 的循环层中，所以你只需要使用循环层的 dropout 和 recurrent_dropout 参数即可
最后是双向 RNN，它常用于自然语言处理
RNN是特别依赖顺序或时间的，打乱时间步或反转时间步会完全改变RNN从序列中提取的表示。所以，如果顺序对问题很重要，RNN的表现会很好。双向RNN利用了RNN的顺序敏感性：它包含两个普通RNN，每个RNN分别沿一个方向对输入序列进行处理，然后将它们合并在一起。通过沿这两个方向处理序列，双向RNN能够捕捉到可能被单向RNN忽略的模式
逆序数据，情感分类 Demo(用于性能比较)
from keras.datasets import imdb from keras.preprocessing import sequence from keras import layers from keras.models import Sequential import tools # 将画图的部分封装到了tools里面，依旧使用imdb数据(评论情感分类) max_features = 10000 maxlen = 500 (x_train, y_train), (x_test, y_test) = imdb.load_data(num_words=max_features, path='E:\\study\\dataset\\imdb.npz') # 逆序数据 x_train = [x[::-1] for x in x_train] x_test = [x[::-1] for x in x_test] x_train = sequence.pad_sequences(x_train, maxlen=maxlen) x_test = sequence.pad_sequences(x_test, maxlen=maxlen) model = Sequential() model.add(layers.Embedding(max_features, 128)) model.add(layers.LSTM(32)) model.add(layers.Dense(1, activation='sigmoid')) model.compile(optimizer='rmsprop', loss='binary_crossentropy', metrics=['acc']) history = model.fit(x_train, y_train, epochs=10, batch_size=128, validation_split=0.2) tools.draw_acc_and_loss(history)