Stanford CoreNLP提供了一系列自然语言分析工具。它能够给出基本的词形,词性,不管是公司名还是人名等,格式化的日期,时间,量词,并且能够标记句子的结构,语法形式和字词依赖,指明那些名字指向同样的实体,指明情绪,提取发言中的开放关系等。
很多自然语言处理的任务都需要stanfordcorenlp将进行文本处理。在Linux环境下安装stanfordcorenlp也比较简单。
首先需要安装Java运行环境,以Ubuntu 12.04为例,安装Java运行环境仅需要两步:
sudo apt-get install default-jre
sudo apt-get install default-jdk12
然后下载Stanford coreNLP 包:
wget
unzip stanford-corenlp-full-2018-02-27.zip
cd stanford-corenlp-full-2018-02-27/12345
也可以去stanford corenlp的官网上去下载安装包,windows跟linux下都是一样的。
配置环境变量:
我们需要Stanford corenlp来把数据分词。
把下列这行代码加到你的.bashrc里面(vim .bashrc)
export CLASSPATH=/path/to/stanford-corenlp-full-2018-02-27/stanford-corenlp-3.9.1.jar1
把/path/to/替换为你保存stanford-corenlp-full-2016-10-31的地方的路径
安装:
sudo pip3 install stanfordcorenlp1
这里如果你使用python2,就需要
sudo pip2 install stanfordcorenlp1
处理中文还需要下载中文的模型jar文件,然后放到stanford-corenlp-full-2018-02-27根目录下即可
wget
如何检查自己是否装好了stanfordcorenlp
进入python2或者python3
python2
from stanfordcorenlp import StanfordCoreNLP123
能成功导入不报错,就是安装成功了。
最后检查是否能正常使用:
运行下列代码:
echo "Please tokenize this text." | java edu.stanford.nlp.process.PTBTokenizer1
你会看到下列输出:
Please
tokenize
this
text
.
PTBTokenizer tokenized 5 tokens at 68.97 tokens per second.123456
这样就安装成功了。