经验首页 前端设计 程序设计 Java相关 移动开发 数据库/运维 软件/图像 大数据/云计算 其他经验
当前位置:技术经验 » 大数据/云/AI » 人工智能基础 » 查看文章
掘金笔记:朴素贝叶斯模型
来源:cnblogs  作者:剑雨星澄  时间:2019/10/23 12:59:33  对本文有异议

1 - 基础定理与定义

  • 条件概率公式:
    \[ P(A|B)=\dfrac{P(AB)}{P(B)} \]

  • 全概率公式:
    \[ P(A)=\sum_{j=1}^N P(AB_i)=\sum_{j=1}^N P(B_i)P(A|B_i) \]

  • 贝叶斯公式:
    \[ P(B_i|A)=\dfrac{P(AB_i)}{P(A)}=\dfrac{P(B_i)P(A|B_i)}{\sum_{j=1}^N P(B_i)P(A|B_i)} \]

  • 概率加和规则:
    \[ P\left(X=x_i\right)=\sum_{j=1}^N P\left(X=x_i,Y=y_j\right) \]

    \[ P\left(X\right)=\sum_Y P\left(X,Y\right) \]

  • 概率乘积规则:
    \[ P\left(X=x_i,Y=y_j\right)=P\left(Y=y_j|X=x_i\right)P\left(X=x_i\right) \]

    \[ P\left(X,Y\right)=P\left(Y|X\right)P\left(X\right) \]

  • 生成学习方法:

    利用训练数据学习\(P(X|Y)\)\(P(Y)\)的估计,得到联合概率分布:
    \[ P(X,Y)=P(Y)P(X|Y) \]
    然后求得后验概率分布\(P(Y|X)\). 具体概率估计方法可以是极大似然估计或者贝叶斯估计。

2 - 模型简述

朴素贝叶斯(\(naive\) \(Bayes\))是基于贝叶斯定理与特征条件独立假设的分类方法。

对于给定的训练数据集,首先基于条件独立假设,学习输入输出的联合概率分布;然后基于此模型,对给定的输入\(x\),利用贝叶斯定理,求出后验概率最大的输出类\(y\)

后验概率最大等价于\(0-1\)损失函数时的期望风险最小化。

作为典型的生成学习方法,朴素贝叶斯实现简单,学习和预测效率都很高,是一种常用模型。

以下主要介绍经典的多项式贝叶斯分类器

3 - 模型假设

  1. 训练集\(P(X,Y)\)独立同分布产生

  2. 条件独立性假设。用于分类的特征,在类确定的条件下独立,即:
    \[ \begin{aligned} P\left(X=x | Y=c_{k}\right) &=P\left(X^{(1)}=x^{(1)}, \cdots, X^{(n)}=x^{(n)} | Y=c_{k}\right) \\ &=\prod_{j=1}^{n} P\left(X^{(j)}=x^{(j)} | Y=c_{k}\right) \end{aligned} \]
    这是一个较强的假设。在对性能作出一些妥协的条件下,此假设使模型包含条件概率的数量大为减少,使模型的学习与预测大为简化,从而高效而易于实现。

    条件独立性假设也可视为最简单的有向概率图模型。

4 - 模型主要策略

  1. 极大似然估计
  2. 最大化后验概率

5 - 模型输入

训练集\(T=\left\{\left(x_{1}, y_{1}\right),\left(x_{2}, y_{2}\right), \cdots,\left(x_{N}, y_{N}\right)\right\}\)\(x_i\in\mathcal{X} \subseteq \mathbf{R}^{n}\)\(i=1,2,\dots,N\)\(y\in\mathcal{Y}=\{c_1,c_2,\dots,c_k\}\)\(|\mathcal{Y}|=K\)\(x_{i}=\left(x_{i}^{(1)}, x_{i}^{(2)}, \cdots, x_{i}^{(n)}\right)^{\mathrm{T}}\)\(x_{i}^{\left(j\right)}\)是第\(i\)个样本的第\(j\)个特征,\(j=1,2,\dots,n\)\(x_{i}^{\left(j\right)}\in\{a_{j1},a_{j2},\dots,a_{jS_j}\}\),其中\(a_{jl}\)是第\(j\)个特征的第\(l\)个取值,\(l=1,2,\dots,S_j\).

另有实例\(x\).

6 - 模型推导

由假设可得
\[ P\left(X=x, Y=c_{k}\right)=P\left(X=x | Y=c_{k}\right) P\left(Y=c_{k}\right)=P\left(Y=c_{k} | X=x\right) P(X=x) \]
取后两个等式,处理变换得:
\[ \begin{aligned} P\left(Y=c_{k} | X=x\right) &=\frac{P\left(X=x | Y=c_{k}\right) P\left(Y=c_{k}\right)}{P(X=x)} \\ &=\frac{P\left(X=x | Y=c_{k}\right) P\left(Y=c_{k}\right)}{\sum_{k} P\left(X=x, Y=c_{k}\right)} \\ &=\frac{P\left(X=x| Y=c_{k}\right) P\left(Y=c_{k}\right)}{\sum_{k} P\left(X=x | Y=c_{k}\right) P\left(Y=c_{k}\right)} \\ &=\frac{P\left(Y=c_{k}\right) \prod_{j=1}^{n} P\left(X^{(j)}=x^{(j)} | Y=c_{k}\right)}{\sum_{k} P\left(Y=c_{k}\right) \prod_{j=1}^{n} P\left(X^{(j)}=x^{(j)} | Y=c_{k}\right)} \end{aligned} \]
以上第二个等号使用了概率加和法则,第三个等号使用了条件概率公式,后两个等号使用了条件独立性假设。

朴素贝叶斯可用直接用分子表示为:
\[ y=f(\mathbf{x})=\arg \max _{c_{k}} \frac{P\left(Y=c_{k}\right) \prod_{j=1}^{n} P\left(X^{(j)}=x^{(j)} | Y=c_{k}\right)}{\sum_{k} P\left(Y=c_{k}\right) \prod_{j=1}^{n} P\left(X^{(j)}=x^{(j)} | Y=c_{k}\right)} \]
注意到在公式\((10)\)中,分母的值对所有的\(c_k\)都相等,因此可舍去分母,得到:
\[ y=\arg \max _{c_k} P\left(Y=c_{k}\right) \prod_{j} P\left(X^{(j)}=x^{(j)} | Y=c_{k}\right) \]

7 - 参数估计

  1. 极大似然估计
  • 先验概率:
    \[ P\left(Y=c_{k}\right)=\frac{\sum_{i=1}^{N} I\left(y_{i}=c_{k}\right)}{N}, \quad k=1,2, \cdots, K \]

  • 条件概率:
    \[ \begin{array}{l}{P\left(X^{(j)}=a_{j t} | Y=c_{k}\right)=\frac{\sum_{i=1}^{N} I\left(x_{i}^{(j)}=a_{j l}, y_{i}=c_{k}\right)}{\sum_{i=1}^{N} I\left(y_{i}=c_{k}\right)}} \\ {j=1,2, \cdots, n ; l=1,2, \cdots, S_{j}: k=1,2, \cdots, K}\end{array} \]

其中函数\(I\)为指示函数。

  1. 贝叶斯估计

如果某个属性值在训练集中没有与某个类同时出现过,则使用公式\((10)\)进行概率估计则会出现\(0\),并导致连乘氏计算的概率值也为\(0\)。为防以上情况出现,引入贝叶斯估计如下。

  • 先验概率:
    \[ P_{\lambda}\left(X^{(j)}=a_{j l} | Y=c_{k}\right)=\frac{\sum_{i=1}^{N} I\left(x_{i}^{(j)}=a_{j l}, y_{i}=c_{k}\right)+\lambda}{\sum_{i=1}^{N} I\left(y_{i}=c_{k}\right)+S_{j} \lambda} \]
    式中\(\lambda \geqslant 0\).

  • 条件概率:
    \[ P_{\lambda}\left(Y=c_{k}\right)=\frac{\sum_{i=1}^{N} I\left(y_{i}=c_{k}\right)+\lambda}{N+K \lambda} \]

\(\lambda=0\)时,即等价为极大似然估计。

常用\(\lambda=1\),称为拉普拉斯平滑。

考虑公式\((14)\),对于任何\(l=1,2, \cdots, S_{j}, \quad k=1,2, \cdots, K\),都有
\[ \begin{array}{l}{P_{\lambda}\left(X^{(j)}=a_{j l} | Y=c_{k}\right)>0} \\ {\sum_{l=1}^{s_{j}} P\left(X^{(j)}=a_{j l} | Y=c_{k}\right)=1}\end{array} \]
可见确实是一种分布。公式\((15)\)同理。拉普拉斯平滑的实质是假设属性值与类别是均匀分布,这是额外引入的关于数据先验。它修正了训练集样本不充分而导致概率值为\(0\)的问题,且在训练集变大时,修正引入的先验影响也会逐渐变得可以忽略。

8 - 算法流程(极大似然估计)

输入:见5. 另有实例\(x\).

输出:实例\(x\)的分类.

  1. 计算先验概率与条件概率:
  • 先验概率(共计\(K\)个式子):
    \[ P\left(Y=c_{k}\right)=P\left(Y=c_{k}\right)=\frac{\sum_{i=1}^{N} I\left(y_{i}=c_{k}\right)}{N} \]

  • 条件概率(共计\(k\sum_{j=1}^{n}S_j\)个式子):
    \[ \begin{array}{l}{P\left(X^{(j)}=a_{j t} | Y=c_{k}\right)=\frac{\sum_{i=1}^{N} I\left(x_{i}^{(j)}=a_{j l}, y_{i}=c_{k}\right)}{\sum_{i=1}^{N} I\left(y_{i}=c_{k}\right)}} \\ {j=1,2, \cdots, n ; l=1,2, \cdots, S_{j}: k=1,2, \cdots, K}\end{array} \]

  1. 对于给定实例\(x=\left(x_{i}^{(1)}, x_{i}^{(2)}, \cdots, x_{i}^{(n)}\right)^{\mathrm{T}}\),计算:
    \[ P\left(Y=c_{k}\right) \prod_{j=1}^{n} P\left(X^{(j)}=x^{(j)} | Y=c_{k}\right), \quad k=1,2, \cdots, K \]

  2. 确定实例\(x\)的分类:
    \[ y=\arg \max _{a} P\left(Y=c_{k}\right) \prod_{j=1}^{n} P\left(X^{(j)}=x^{(j)} | Y=c_{k}\right) \]

9 - 高斯贝叶斯分类器

以上是基础的多项式贝叶斯分类器,用于自变量均为离散值的情况。

如果数据集中的自变量均为连续的数值型数据,则选择本章的高斯贝叶斯分类器

假设自变量特征\(x^{\left(j\right)}\)服从高斯分布,即:
\[ P\left(x^{\left(j\right)} | c_{k}\right) \sim \mathcal{N}\left(\mu_{j,k}, \sigma_{j,k}^{2}\right) \]
其中\(\mu_{j,k}\)\(\sigma_{j,k}\)为训练集中特征\(x^{\left(j\right)}\)属于类别\(c_{k}\)的均值和标准差,则条件概率可以表示为:
\[ P\left(x^{\left(j\right)} | Y=c_k\right)=\frac{1}{\sqrt{2 \pi} \sigma_{j,k}} \exp \left(-\frac{\left(x^{\left(j\right)}-\mu_{j,k}\right)^{2}}{2 \sigma_{j,k}^{2}}\right) \]
其他步骤与思想不变,参考多项式贝叶斯分类器即可。

10 - 伯努利贝叶斯分类器

在某些任务,如文本挖掘中,特征\(x^{\left(j\right)}\)均为\(0-1\)二元值,此时优选伯努利贝叶斯分类器。

假设特征\(x^{\left(j\right)}\)的条件概率为满足伯努利分布。

设特征\(x^{\left(j\right)}\in\{0,1\}\),则记:
\[ p=P\left(X^{(j)}=1| Y=c_{k}\right)=\frac{\sum_{i=1}^{N} I\left(x_{i}^{(j)}=1, Y=c_{k}\right)+\lambda}{\sum_{i=1}^{N} I\left(y_{i}=c_{k}\right)+K \lambda} \]
因此可将条件概率写为:
\[ P(X^{\left(j\right)}=x^{\left(j\right)}|Y=c_k)=p \cdot x^{\left(j\right)}+(1-p)\cdot(1-x^{\left(j\right)}) \]
其他步骤与思想不变,参考多项式贝叶斯分类器即可。

11 - 番外:为何没有出现损失函数?

以下证明期望风险最小化等价于后验概率最大化。

设选择\(0-1\)损失函数:
\[ L(Y, f(X))=\left\{\begin{array}{ll}{1,} & {Y \neq f(X)} \\ {0,} & {Y=f(X)}\end{array}\right. \]
式中\(f(X)\)为分类决策函数。此时期望风险为:
\[ R_{\mathrm{exp}}(f)=E[L(Y, f(X))] \]
期望是对联合分布\(P(X,Y)\)取的,因此再取条件期望:
\[ R_{\mathrm{exp}}(f)=E_{X} \sum_{k=1}^{K}\left[L\left(c_{k}, f(X)\right)\right] P\left(c_{k} | X\right) \]
为使期望风险最小化,需要对\(X=x\)逐个极小化,即:
\[ \begin{aligned} f(x) &=\arg \min _{y \in \mathcal{Y}} \sum_{k=1}^{K} L\left(c_{k}, y\right) P\left(c_{k} | X=x\right) \\ &=\arg \min _{y \in \mathcal{Y}} \sum_{k=1}^{K} P\left(y \neq c_{k} | X=x\right) \\ &=\arg \min _{y \in \mathcal{Y}}\left(1-P\left(y=c_{k} | X=x\right)\right) \\ &=\arg \max _{y \in \mathcal{Y}} P\left(y=c_{k} | X=x\right) \end{aligned} \]
注意从第一行到第二个行,对于损失函数\(L(c_k,y)\),如果\(y=c_k\),则损失函数\(L(c_k,y)=0\),后一项也同时失效,只有当\(y\neq c_k\)时,损失函数\(L(c_k,y)=1\),后一项才有效,因此后一项也可以写成第二行的形式以简化算式。从第二行到第三行也容易理解。从第三行到第四行可以注意到\(\arg\min\)变成了\(\arg\max\),已经从损失函数最大小化转化为后验概率最大化。可知期望风险最小化等价于朴素贝叶斯采用的后验概率最大化:
\[ f(x)=\arg \max _{c_{k}} P\left(Y=c_{k} | X=x\right) \]

原文链接:http://www.cnblogs.com/joexredding/p/11725493.html