结果
可见，逆序数据之后，模型的性能与正序几乎没有改变，这证明一个假设：虽然单词顺序对于理解语言很重要，但使用哪种顺序并不重要。重要的是，在逆序序列上训练的RNN学到的表示不同于在原始序列上学到的表示。在机器学习中，如果一种数据表示不同但有用，那么总是值得加以利用，这种表示与其他表示的差异越大越好，它们提供了查看数据的全新角度，抓住了数据中被其他方法忽略的内容，因此可以提高模型在某个任务上的性能
双向 RNN 正是利用这个想法来提高正序 RNN 的性能，它从两个方向查看数据，从而得到更加丰富的表示，并捕捉到仅使用正序 RNN 时可能忽略的一些模式
使用双向LSTM和双向GRU的方法
from keras.models import Sequential from keras import layers from keras.optimizers import RMSprop def get_bothway_lstm_history(max_features, x_train, y_train): model = Sequential() model.add(layers.Embedding(max_features, 32)) model.add(layers.Bidirectional(layers.LSTM(32))) model.add(layers.Dense(1, activation='sigmoid')) model.compile(optimizer='rmsprop', loss='binary_crossentropy', metrics=['acc']) history = model.fit(x_train, y_train, epochs=10, batch_size=128, validation_split=0.2) return history def get_bothway_gru_history(float_data, train_gen, val_gen, val_steps): model = Sequential() model.add(layers.Bidirectional(layers.GRU(32), input_shape=(None, float_data.shape[-1]))) model.add(layers.Dense(1)) model.compile(optimizer=RMSprop(), loss='mae') history = model.fit_generator(train_gen, steps_per_epoch=500, epochs=40, validation_data=val_gen, validation_steps=val_steps) return history向函数中填充对应数据即可开始训练
书中给出的结果是： 双向LSTM的表现比普通的LSTM略好，这是可以理解的，毕竟情感分析与输入顺序是没有什么关系的，而使用双向的LSTM比单向的LSTM参数多了一倍
当使用双向GRU来预测温度时，并没有比普通的好，这也是可以理解的，GRU对于近期的记忆要好一些，但是对于远期的记忆表现的交叉，而温度预测是与时间相关的，当改变输入顺序，GRU必然会出现不好的预测，因此，使用双向GRU时，做出贡献的几乎都是正向的那个
在此，给一个建议，当你的model需要训练的时间很长的话，可以先使用只是一轮的训练来测试程序是否完全正确。然后，还可以在每次或每几次训练之后就保存一下模型，顺便保存一下history(如果需要的话）
python Deep learning 学习笔记（5）