不过作者为了比较词法特征和句法特征的有效性，把特征向量分为了3种情况：只使用词法特征，只使用句法特征，词法特征与句法特征拼接。
（三）实验细节
1、数据集说明
知识图谱或者说标注数据为Freebase，非结构化文本库则是Wikipedia中的文章。
论文中把Freebase的三元组进行了筛选，筛选出了94万个实体、102种关系和相应的180万实体对。用留出法进行自动模型评估时，一半的实体对用于训练，一半的实体对用于模型评估。
同样对Wikipedia中的文章进行筛选，得到了180万篇文章，平均每篇文章包含约14.3个句子。从中选择80万条句子作为训练集，40万条作为测试集。
2、构造负样本
由于对于每种关系，都要训练一个LR二分类器，所以需要构造负样本。这里的负样本不是其他101种关系的训练样本，而是这样的句子：从训练集中的句子中抽取实体对，如果实体对不在Freebase中，那么就随机挑选这样的句子就作为负样本。
3、训练过程
LR分类器以实体对的特征向量为输入，输出关系名和概率值。每种关系训练一个二分类器，一共训练102个分类器。
训练好分类器后，对测试集中的所有实体对的关系进行预测，并得到概率值。然后对所有实体对按概率值进行降序排列，从中挑选出概率最高的N个实体对（概率值大于0.5），作为发现的新实体对。
4、测试方法和结论
测试的指标采用查准率，方法采用了留出法（自动评估）和人工评估两种方法。留出法的做法是，把Freebase中的180万实体对的一半作为测试集（另一半用于训练）。新发现的N个实体对中，如果有n个实体对在Freebase的测试集中，那么查准率为n/N。人工评估则采用多数投票的方法。
模型评估的结果表明，远程监督是一种较好的关系抽取算法。在文本特征的比较上，词法特征和句法特征拼接而成的特征向量，优于单独使用其中一种特征的情况。此外，句法特征在远程监督中比词法特征更有效，尤其对于依存句法结构比较短而实体对之间的词语非常多的句子。
（四）评价
这篇论文把远程监督的思想引入了关系抽取中，充分利用未标注的非结构化文本，从词法、句法和实体三方面构造特征，最后用留出法和人工校验两种方法进行模型评估，是一种非常完整规范的关系抽取范式。
不足之处有两点：
第一个是前面所提到的问题，那就是远程监督所基于的假设是一个非常强的假设。哪能说一个实体对在Freebase中存在一种关系，那么只要外部语料库中的句子中出现了这个实体对，就假定关系为Freebase中的关系呢？还可能是其他关系啊？
Bootstrapping中也有这个问题，称为语义漂移问题，但Bootstrapping本身通过给新发现的规则模板和实体对打分，在一定程度上缓解了这个问题，而这篇论文并没有提到这个问题，更没有涉及到解决办法。我猜这是因为Freebase中的实体对和关系主要就是从Wikipedia中抽取出来的，而且关系属于比较典型的关系。
这点就成了后续远程监督关系抽取算法的一个改进方向，后面的研究人员提出了利用多实例学习和句子级别的注意力机制来解决这个问题。
第二个是论文中用到了三种特征，貌似一顿操作猛如虎，但实际上构造这些特征非常繁琐，而且词性标注和依存句法分析依赖于NLP工具库，因此工具库在标注和解析中所产生的误差，自然会影响到文本特征的准确性。
这点也是后续研究的一个改进方向，后面的研究人员用神经网络作为特征提取器，代替人工提取的特征，并用词嵌入作为文本特征。
三、多实例学习和分段最大池化第二篇论文是《Distant Supervision for Relation Extraction via Piecewise Convolutional Neural Networks》，是用神经网络结合远程监督做关系抽取的扛鼎之作。
（一）论文的贡献
1、用PCNNs的神经网络结构自动学习文本特征，代替复杂的人工构造特征和特征处理流程。