【模式识别与机器学习】——3.1线性判别函数

3.1线性判别函数 3.1.1两类问题的判别函数 （1）以二维模式样本为例

（2）用判别函数进行模式分类依赖的两个因素

① 判别函数的几何性质：线性的和非线性的函数。 线性的是一条直线； 非线性的可以是曲线、折线等； 线性判别函数建立起来比较简单（实际应用较多）； 非线性判别函数建立起来比较复杂。

② 判别函数的系数：判别函数的形式确定后，主要就是确定判别函数的系数问题。 只要被研究的模式是可分的，就能用给定的模式样本集来确定判别函数的系数。

3.1.2  n维线性判别函数的一般形式 （1）一个n维线性判别函数的一般形式：

 

（2）两类情况：判别函数d(x)

 

（3）多类情况：

设模式可分成ω1, ω2,…, ωM共M类，则有三种划分方法

① 多类情况1:

问题描述：用线性判别函数将属于ωi类的模式与不属于ωi类的模式分开，

其判别函数为：

 

       i = 1, 2, …, M

这种情况称为两分法，即把M类多类问题分成M个两类问题，因此共有M个判别函数，对应的判别函数的权向量为wi, i = 1, 2, …, M。

图例：对一个三类情况，每一类模式可用一个简单的直线判别界面将它与其它类模式分开。例如，对

的模式，应同时满足：d1(x)>0，d2(x)<0，d3(x)<0

不确定区域：若对某一模式区域，di(x)>0的条件超过一个，或全部di(x)<0，i = 1, 2, …, M，则分类失败，这种区域称为不确定区域(IR)。

示例1：设有一个三类问题，其判别式为：

　　　　d1(x)= -x1 + x2，d2(x)= x1 + x2 - 5，d3(x)= -x2 + 1

则对一个模式x=(6, 5)T，判断其属于哪一类。将x=(6, 5)T代入上述判别函数，得：

　　　　d1(x) = -1，故d1(x)<0

　　　　d2(x) = 6，故d2(x)>0

　　　　d3(x) = -4，故d3(x)<0

从而

示例2：假若x=(3, 5)T，则

　　　　d1(x) = 2>0

　　　　d2(x) = 3>0

　　　　d3(x) = -2<0

分类失败。

② 多类情况2

问题描述：采用每对划分，即ωi/ωj两分法，此时一个判别界面只能分开两种类别，但不能把它与其余所有的界面分开。

其判别函数为：