文本自动摘要:基于TextRank的中文新闻摘要

TextRank算法源自于PageRank算法。PageRank算法最初是作为互联网网页排序的方法,经过轻微地改动,可以被应用于文本摘要领域。

一、基于TextRank的自动摘要原理

1、PageRank算法

首先看PageRank的相关概念。PageRank对于每个网页页面都给出一个正实数,表示网页的重要程度,PageRank值越高,表示网页越重要,在互联网搜索的排序中越可能被排在前面。假设整个互联网是一个有向图,节点是网页,每条边是转移概率。网页浏览者在每个页面上依照连接出去的超链接,以等概率跳转到下一个网页,并且在网页上持续不断地进行这样的随机跳转,这个过程形成了一阶马尔科夫链,比如下图,每个笑脸是一个网页,既有其他网页跳转到该网页,该网页也会跳转到其他网页。在不断地跳转之后,这个马尔科夫链会形成一个平稳分布,而PageRank就是这个平稳分布,每个网页的PageRank值就是平稳概率。

文本自动摘要:基于TextRank的中文新闻摘要

PageRank的核心公式是PageRank值的计算公式。这个公式来自于《统计学习方法》,和很多博客上的公式有点轻微的差别,那就是等号右边的平滑项不是(1-d),而是(1-d)/n。

文本自动摘要:基于TextRank的中文新闻摘要

加平滑项是因为有些网页没有跳出去的链接,那么转移到其他网页的概率将会是0,这样就无法保证存在马尔科夫链的平稳分布。于是,我们假设网页以等概率(1/n)跳转到任何网页,再按照阻尼系数d,对这个等概率(1/n)与存在链接的网页的转移概率进行线性组合,那么马尔科夫链一定存在平稳分布,一定可以得到网页的PageRank值。

所以PageRank的定义意味着网页浏览者按照以下方式在网上随机游走:以概率d按照存在的超链接随机跳转,以等概率从超链接跳转到下一个页面;或以概率(1-d)进行完全随机跳转,这时以等概率(1/n)跳转到任意网页。

PageRank的计算是一个迭代过程,先假设一个初始的PageRank分布,通过迭代,不断计算所有网页的PageRank值,直到收敛为止,也就是:

文本自动摘要:基于TextRank的中文新闻摘要

2、TextRank算法

在文本自动摘要的案例中,TextRank和PageRank的相似之处在于:

用句子代替网页

任意两个句子的相似性等价于网页转换概率

相似性得分存储在一个方形矩阵中,类似于PageRank的矩阵M

不过公式有些小的差别,那就是用句子的相似度类比于网页转移概率,用归一化的句子相似度代替了PageRank中相等的转移概率,这意味着在TextRank中,所有节点的转移概率不会完全相等。

文本自动摘要:基于TextRank的中文新闻摘要

然后迭代过程就和PageRank一致了。

3、TextRank做单领域多文本的自动摘要

用TextRank做单领域多文本的自动摘要的过程如下:

把所有文章整合成文本数据,并把文本分割成单个句子;

用WordAVG的方法,将每个句子中所有单词的词向量合并为句子的向量表示;

计算句子向量间的相似性并存放在矩阵中,作为转移概率矩阵M;

然后将转移概率矩阵转换为以句子为节点、相似性得分为边的图结构,用于句子TextRank计算;

对句子按照TextRank值进行排序,排名最靠前的n个句子作为摘要。

好的,那下面我们就用TextRank算法,以及按照上面的流程,做一个新闻自动摘要的小案例。

 

二、基于TextRank的中文新闻摘要

参考了一篇用TextRank做英文新闻摘要的文章。

1、文章:《手把手|基于TextRank算法的文本摘要(附Python代码)》 https://mp.weixin.qq.com/s/fGaEYvo3WYKdzA3r8l6O3g 2、github地址 :https://github.com/prateekjoshi565/textrank_text_summarization

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:https://www.heiqu.com/wppgdg.html