基于最小错误率的贝叶斯决策

前言

上篇介绍了贝叶斯决策的需要知道的已知条件,和一些基础概念知识。本篇在上篇的基础上讲讲基于最小错误概率的贝叶斯决策。另外,我会将该系列的已写的每篇文章链接附在最后,可以方便大家查阅。

概念

使用概率论中的贝叶斯公式,就能得出使错误率为最小的分类规则,称之为基于最小错误率的贝叶斯决策(至于为何是最小错误率,本篇会进行论证)。

举个栗子:癌细胞的识别

假设每个要识别的细胞已做过预处理,抽取出d个表示细胞基本特征的特征,成为一个d维空间的向量x,识别的目的是要将 x 分类为正常细胞或者异常细胞。用决策论的术语则是将x归类于两种可能的自然状态之一,我们用 $w$表示状态,则

$$w=w_{1},表示正常; w=w_{2},表示异常$$

类别的状态是一个随机变量,而某种状态出现的概率是可以估计的。例如,根据医院细胞病理检查的大量统计资料可以对某一地区正常细胞和异常细胞出现的比例作出估计,也就是在识别之前已经知道了正常状态的概率$P(w_{1})$和异常状态的概率 $P(w_{2})$。这种由先验知识(已知数据)在识别之前就能得到的概率$P(w_{1})$和$P(w_{2})$称为状态的先验概率。显然,

$$P(w_{1}) + P(w_{2}) = 1$$

如果不做细胞特征的仔细观察,只靠先验概率去做决策,合理的决策规则应为:

$P(w_{1}) > P(w_{2})$,则$w=w_{1}$;否则$w=w_{2}$

但是我们稍想就知道这种只依靠先验概率来进行分类是不对的。因为按这个规则,待分类细胞会永远被分类在先验概率大的状态中,也就根本不能达到把正常细胞与异常细胞区分开来的目的。所以我们要结合对细胞病理分析所得到的信息,也就是由特征抽取而得到的 d 维观测向量。
假设我们只用一个特征(一维特征空间):胞核总光密度的观察值,进行分类,d=1。依据前文的假设,已知在自然状态下观察的类别条件概率分布,如图2.1所示。

$p(x|w_{1})$:细胞为正常状态下,其特征(光密度)为x的类条件概率密度;
$p(x|w_{2})$:细胞为异常状态下,其特征(光密度)为x的类条件概率密度;

这样,根据已知条件:
状态先验概率: $P(w_{i}),i=1,2$
类条件概率密度:$p(x|w_{i}),i=1,2$ 。使用贝叶斯公式

$$P\left ( w_{i}|x \right )=\frac{p\left ( x|w_{i} \right )P\left ( w_{i} \right )}{\sum_{j=1}^{2}p\left ( x|w_{j} \right )P\left ( w_{j} \right )} (2-1)$$

分母是全概率公式

由式(2-1)得到的条件概率$P(w_{i}|x)$称为状态的后验概率。因此,贝叶斯公式实质上是通过观察x(即识别细胞特征的测量)把状态的先验概率 $P(w_{i})$转化为状态的后验概率 $P(w_{i}|x)$,如图2.2所示。
file

最小错误概率的论证

待续。。。

系列文章

贝叶斯决策理论-前提说明

追求梦想,做最好的自己