这等价于经过映射函数将原来的输入空间变换到一个新的特征空间，将输入空间中的内积变换为特征空间中的内积$\phi(x_i)\cdot \phi(x_j)$，在新的特征空间里从训练样本中学习线性支持向量机。当映射函数是非线性函数时，学习到的含有核函数的支持向量机是非线性分类模型。也就是说，在核函数$K(x_i,x_j)$给定的条件下，可以利用解线性分类问题的方法求解非线性分类问题的支持向量机。学习是隐式地在特征空间进行的，不需要显式地定义特征空间和映射函数。这样的技巧称为核技巧，它是巧妙地利用线性分类学习方法与核函数解决非线性问题的技术。在实际应用中，往往依赖领域知识直接选择核函数，核函数选择的有效性需要通过实验验证。
正定核
已知映射函数$\phi$的内积求得核函数$K(x_i,x_j)$,不用构造映射$\phi$能否直接判断一个给定的函数$K(x_i,x_j)$是不是核函数？或者说，函数$K(x_i,x_j)$满足什么条件才能成为核函数？
本节叙述正定核的充要条件。通常所说的核函数就是正定核函数（positive definite kernel function）。为证明此定理先介绍有关的预备知识。
假设$K(x_i,x_j)$是对称函数，并且对任意的$x_1,x_2,\cdots,x_m$，$K(x_i,x_j)$关于$x_1,x_2,\cdots,x_m$的Gram矩阵是半正定的。可以依据函数$K(x_i,x_j)$，构成一个希尔伯特空间（Hilbert space），其步骤是：首先定义映射$\phi$并构成向量空间；然后在上定义内积构成内积空间；最后将完备化构成希尔伯特空间。
1．定义映射，构成向量空间
先定义映射
\[\phi(x):x\rightarrow K(x,\cdot)\]
根据这一映射，对任意$x\in X$，$\alpha\in R$, i＝1,2,…,m，定义线性组合
\[f(\cdot)=\sum_{i=1}^{m}\alpha_iK(x_i,\cdot)\]
考虑由线性组合为元素的集合S。由于集合S对加法和数乘运算是封闭的，所以构成一个向量空间。
2．在S上定义内积，使其成为内积空间
\[f(\cdot)*g(\cdot)=\sum_{j=1}^{l}\beta_j\sum_{i=1}^{m}\alpha_iK(x_i,z_j)\]
比如
\[f(\cdot)*f(\cdot)=\sum_{j=1}^{l}\alpha_j\sum_{i=1}^{m}\alpha_iK(x_i,x_j)\geq 0\]
Gram矩阵是半正定的。
3．将内积空间完备化为希尔伯特空间
现在将内积空间完备化。由式内积可以得到范数
\[\left \| f(x)\right \|=\sqrt{(\cdot)*f(\cdot)}\]
因此， 是一个赋范向量空间。根据泛函分析理论，对于不完备的赋范向量空间，一定可以使之完备化，得到完备的赋范向量空间。一个内积空间，当作为一个赋范向量空间是完备的时候，就是希尔伯特空间。这一希尔伯特空间称为再生核希尔伯特空间（reproducing kernel Hilbert space，RKHS）。这是由于核$K(x_i,x_j)$具有再生性，即满足
\[K(x,\cdot)*f(x)=\sum_{i=1}^{m}\alpha_iK(x_i,x)=f(x)\]
及
\[K(x,\cdot)*K(z,\cdot)=K(x,z)\]
称为再生核。
4．正定核的充要条件
定理7.5（正定核的充要条件） 设K: X→R是对称函数，则$K(x_i,x_j)$为正定核函数的充要条件是对任意$x_1,x_2,\cdots,x_m$，$K(x_i,x_j)$关于$x_1,x_2,\cdots,x_m$的Gram矩阵是半正定的。对应的Gram矩阵
\[K=[K(x_i,z_j)]_{m\times m}\succeq 0\]
这一定义在构造核函数时很有用。但对于一个具体函数$K(x_i,x_j)$来说，检验它是否为正定核函数并不容易，因为要求对任意有限输入集$x_1,x_2,\cdots,x_m$验证$K=[K(x_i,z_j)]_{m\times m}$对应的Gram矩阵是否为半正定的。在实际问题中往往应用已有的核函数。下面介绍一些常用的核函数。
多项式核函数：
\[K(x,y)=(x\cdot y+1)^p\]
高斯核函数：
\[K(x,y)=exp(-\frac{||x-y||^2}{2\sigma^2})\]
字符核函数：还可以定义在离散数据集合，在文本分类、信息检索方面应用广泛。
https://www.cnblogs.com/yifanrensheng/p/12354948.html
《统计学习》，李航
§12.6 非线性支持向量机的序列最小优化算法