本文根据实际项目撰写，由于项目保密要求，源代码将进行一定程度的删减。
本文撰写的目的是进行公司培训，请勿以任何形式进行转载。
由于是日语项目，用到的分词软件等，在中文任务中需要替换为相应的中文分词软件。例如结巴分词 ： https://github.com/fxsjy/jieba
如果需要获得更多知识，请自行百度，谷歌。中文资料不是很多，有能力请阅读相关论文资料。
余弦相似度余弦相似度，又称为余弦相似性，是通过计算两个向量的夹角余弦值来评估他们的相似度。余弦相似度将向量根据坐标值，绘制到向量空间中，如最常见的二维空间。
将向量根据坐标值，绘制到向量空间中。如最常见的二维空间。
求得他们的夹角，并得出夹角对应的余弦值，此余弦值就可以用来表征，这两个向量的相似性。夹角越小，余弦值越接近于1，它们的方向更加吻合，则越相似。
单位向量是指模等于1的向量。由于是非零向量，单位向量具有确定的方向。一个非零向量除以它的模，可得所需单位向量。单位向量有无数个。
（矢量和向量是同一个意思，Vector，这里习惯用矢量这个词语）
gensim.matutils.unitvec(vec, norm=\'l2\')
Scale a vector to unit length. The only exception is the zero vector, which is returned back unchanged.
Output will be in the same format as input (i.e., gensim vector=>gensim vector, or np array=>np array, scipy.sparse=>scipy.sparse).
平行四边形定则解决向量加法的方法：将两个向量平移至公共起点，以向量的两条边作平行四边形，结果为公共起点的对角线。
平行四边形定则解决向量减法的方法：将两个向量平移至公共起点，以向量的两条边作平行四边形，结果由减向量的终点指向被减向量的终点。
代数定义
设二维空间内有两个向量
和
，定义它们的数量积（又叫内积、点积）为以下实数：
更一般地，n维向量的内积定义如下:
TF-IDF是一种统计方法，用以评估一字词对于一个文件集或一个语料库中的其中一份文件的重要程度。字词的重要性随着它在文件中出现的次数成正比增加，但同时会随着它在语料库中出现的频率成反比下降。TF-IDF加权的各种形式常被搜索引擎应用，作为文件与用户查询之间相关程度的度量或评级。除了TF-IDF以外，因特网上的搜索引擎还会使用基于链接分析的评级方法，以确定文件在搜寻结果中出现的顺序。
Doc2Vec在自然语言处理中，一个很重要的技术手段就是将文档转换为一个矢量，这个过程一般是使用gensim这个库进行处理的。
gensim官网地址
如果你需要Java版本的Doc2Vec：
https://github.com/NLPchina/Word2VEC_java
Token在词法分析中是标记的意思。自然语言处理中，一般来说，Token代表“词”。自然语言预处理中，一个很重要的步骤就是将你收集的句子进行分词，将一个句子分解成“词”的列表。
交叉验证交叉验证（Cross validation)，有时亦称循环估计， 是一种统计学上将数据样本切割成较小子集的实用方法。于是可以先在一个子集上做分析， 而其它子集则用来做后续对此分析的确认及验证。 一开始的子集被称为训练集。而其它的子集则被称为验证集或测试集。交叉验证是一种评估统计分析、机器学习算法对独立于训练数据的数据集的泛化能力（generalize）
least-one-out cross-validation(loocv)
假设dataset中有n个样本，那LOOCV也就是n-CV，意思是每个样本单独作为一次测试集，剩余n-1个样本则做为训练集。
优点：
1）每一回合中几乎所有的样本皆用于训练model，因此最接近母体样本的分布，估测所得的generalization error比较可靠。
2）实验过程中没有随机因素会影响实验数据，确保实验过程是可以被复制的。
但LOOCV的缺点则是计算成本高，为需要建立的models数量与总样本数量相同，当总样本数量相当多时，LOOCV在实作上便有困难，除非每次训练model的速度很快，或是可以用平行化计算减少计算所需的时间。
[sklearn学习]linear_model.LinearRegression
from sklearn.linear_model import LinearRegression