在 强化学习实战 | 自定义Gym环境之井子棋 中，我们构建了一个井字棋环境，并进行了测试。接下来我们可以使用各种强化学习方法训练agent出棋，其中比较简单的是Q学习，Q即Q(S, a)，是状态动作价值，表示在状态s下执行动作a的未来收益的总和。Q学习的算法如下：
可以看到，当agent在状态S，执行了动作a之后，得到了环境给予的奖励R，并进入状态S'。同时，选择最大的Q(S', a)，更新Q(S, a)。所谓表格型Q学习，就是构建一个Q(S, a)的表格，维护所有的状态动作价值。 一个很好的示例来自 Q学习玩Flappy Bird，随着游戏的不断进行，Q表格中记录的状态越来越多，状态动作价值也越来越准确，于是小鸟也飞得越来越好。
我们也要构建这样的Q表格，并希望通过Q_table[state][action] 的检索方式访问其储存的状态动作价值，我们可以用字典实现：
'[1, 0, -1, 0, 0, 0, 1, -1, 0]' {'(0,1)':0, '(1,0)':0, '(1,1)':0, '(1,2)':0, '(2,2)':0}'[0, 1, 0, -1, 0, 0, -1, 0, 1]' ......
在本文中我们要做到如下的目标：
改写 强化学习实战 | 自定义Gym环境之井子棋 中的测试代码，要更有逻辑，更能凸显强化学习中 agent 和环境的概念。
agent 随机选择空格进行动作，每次动作前，更新Q表格：若表格中不存在当前状态，则将当前状态及其动作价值添加至Q表格中。
玩50000次游戏，查看Q表格中的状态数
步骤1：创建文件在任意目录新建文件 Table QLearning play TicTacToe.py
步骤2：创建类 Agent()Agent() 类 需要有（1）随机落子的动作生成函数（2）Q表格（3）更新Q表格的函数，且新增表格中全部状态动作价值设为0。代码如下：
class Agent(): def __init__(self): self.Q_table = {} def getEmptyPos(self, env_): # 返回空位的坐标 action_space = [] for i, row in enumerate(env_.state): for j, one in enumerate(row): if one == 0: action_space.append((i,j)) return action_space def randomAction(self, env_, mark): # 随机选择空格动作 actions = self.getEmptyPos(env_) action_pos = random.choice(actions) action = {'mark':mark, 'pos':action_pos} return action def updateQtable(self, env_): # 更新Q表格 state = env_.state if str(state) not in self.Q_table: # 新增状态 self.Q_table[str(state)] = {} actions = self.getEmptyPos(env_) for action in actions: self.Q_table[str(state)][str(action)] = 0 # 新增的状态动作价值为0