（四）实验细节
1、数据集和评估方法
知识图谱为Freebase，外部文档库为NYT。把NYT文档库中2005-2006年的句子作为训练集，2007年的句子作为测试集。
评估方法沿用第一篇论文中的方法，留出法和人工校验相结合。
2、词嵌入和调参
预训练的词向量方面，本文用Skip-Gram模型和NYT文档库训练了50维的词向量。
位置特征嵌入使用随机初始化的向量，维度为5。
调参方面，PCNNs网络结构中有两个参数比较重要：卷积核的滑动窗口大小和卷积核的个数。本文使用网格搜索，最终确定滑动窗口为3，卷积核个数为230。
模型的其他参数如下：
3、模型评估结果
（1）对留出法和人工校验法的说明
使用留出法和人工校验法来评估模型的效果。这里对这两种评估方法进行补充说明：
留出法的做法是把Freebase中一半的实体对用于训练，一半的实体对用于测试。多分类模型训练好之后，对外部文档库NYT中的测试集进行预测，得到测试集中实体对的关系标签。如果新发现的实体对有N个，其中有n个出现在Freebase的测试集中，那么准确率为n/N，而不在Freebase测试集中的实体对就视为不存在关系。可是由于Freebase中的实体对太少了，新发现的、不在Freebase里的实体对并非真的不存在关系，这就会出现假负例（False Negatives）的问题，低估了准确率。
所以人工校验的方法是对留出法的一个补充，对于那些新发现的、不在Freebase测试集中的实体对（一个实体不在或者两个实体都不在）进行检查，计算查准率。所以留出法和人工校验要评估的两个新实体对集合是没有交集的。具体做法是从这些新实体对中选择概率值最高的前N个，然后人工检查其中关系标签正确的实体对，如果有n个，那么查准率为n/N。
（2）卷积神经网络与人工构造特征的对比
首先把PCNNs结合多实例学习的远程监督模型（记为PCNNs+MIL），与人工构造特征的远程监督算法（记为Mintz）和多实例学习的算法（记为MultiR和MIML）进行比较。
从下面的实验结果中可以看到，无论是查准率还是查全率，PCNNs+MIL模型都显著优于其他模型，这说明用卷积神经网络作为自动特征抽取器，可以有效降低人工构造特征和NLP工具提取特征带来的误差。
（3）分段最大池化和多实例学习的有效性
将分段最大池化和普通的最大池化的效果进行对比（PCNNs VS CNNs），将结合多实例学习的卷积网络与单纯的卷积网络进行对比（PCNNs+MIL VS PCNNs）。
可以看到，分段最大池化比普通的最大池化效果更好，表明分段最大池化可以抽取更丰富的结构特征。把多实例学习加入到卷积网络中，效果也有一定的提升，表明多实例学习可以缓解样本标注错误的问题。
（四）评价
这篇论文中，分段最大池化的奇思妙想来自于传统人工构造特征的思想，而多实例学习的引入缓解了第一篇论文中的样本错误标注问题。这篇论文出来以后是当时的SOTA。
不足之处在于，多实例学习仅从包含某个实体对的多个句子中，挑出一个最可能的句子来训练，这必然会损失大量的信息。所以有学者提出用句子级别的注意力机制来解决这个问题。
四、句子级别的注意力机制第三篇论文是《Neural Relation Extraction with Selective Attention over Instances》，这篇论文首次把注意力机制引入到了关系抽取的远程监督算法中，刷新了当时的SOTA。论文作者中有知乎网红刘知远老师。
（一）论文的贡献