自然语言理解模块的三元组输出将作为对话管理系统的输入。对话管理系统包括两部分，状态追踪以及对话策略。状态追踪模块包括持续对话的各种信息，根据旧状态，用户状态（即上述的三元组）与系统状态（即通过与数据库的查询情况）来更新当前的对话状态如图3所示。 对话策略与所在任务场景息息相关，通常作为对话管理模块的输出，如对该场景下缺失槽位的反问策略等。
2.2.2 举例
还是继续上面的text=“人民币对美元的汇率是多少”。“查询（槽位1=人民币，槽位2=美元)"这样的形式将作为对话管理模块的输入，这时候状态追踪模块就要根据前几轮的信息，结合该输入判断该轮的查询状态，确定查询的槽位，以及与数据库的交互。如得到想要查询的确实是人民币对美元的汇率信息。这时候，根据现有的对话策略判断当前的槽位状态，最后给出对话管理模块的输出，如查询结果(源货币=人民币，目标货币=美元，汇率=1:0.16)
2.2.3 对话管理系统的相关研究工作
对话管理模块相当于任务型机器人的大脑。主要方法有基于规则与统计学习的方法。目前流行的有基于强化学习的对话管理模块。基于强化学习的对话管理系统需要很多数据去训练。Jost Schatzm-ann and Steve Young等人提出了agenda user simulator模型来模拟用户，不断与对话管理模块进行训练，一定程度上解决了标注数据稀缺的问题。但对于复杂对话还是不能很好应付。Jianfeng Gao等通过实验，证明了基于强化学习训练的对话管理系统对噪声的抗干扰能力较强，同时整体误差来看槽位误差造成的影响比意图误差造成的影响更严重。
2.3 自然语言生成模块自然语言模块通常采用基于模版，基于语法或模型等。模版与语法主要基于规则的策略，模型可以用如LSTM等网络生成自然语言。
2.4 端到端的模型这里以微软的End-to-End 模型 (Jianfeng Gao et al., 2018)为例，见下图。
文章的主要亮点是根据 (Jost Schatzmann and Steve Young, Fellow et al., 2009) 从语义层次上升到自然语言层次，同时用误差模型对基于DQN强化学习的对话管理系统深入探究。User Simulator 沿用Steve Young之前的基于堆栈的agenda模型，自然语言生成模块和自然语言理解模块采用LSTM模型，对话管理模块采用基于DQN (Jianfeng Gao et al., 2018)。
阿里小蜜机器人整体算法体系如下，采用领域识别将输入的query和context分发到不同的机器人执行任务。
其中任务型机器人的算法框架如下，基本上采用第一部分所讲的框架。
