腾讯分分彩遗漏数据:Python实现朴素贝叶斯分类器的方法详解

江西多乐彩11选5走势图 www.ptdvv.cn 转载  更新时间:2018年07月04日 11:04:23   作者:-Finley-   我要评论

这篇文章主要介绍了Python实现朴素贝叶斯分类器的方法,详细分析了朴素贝叶斯分类器的概念、原理、定义、使用方法及相关操作注意事项,需要的朋友可以参考下

本文实例讲述了Python实现朴素贝叶斯分类器的方法。分享给大家供大家参考,具体如下:

贝叶斯定理

贝叶斯定理是通过对观测值概率分布的主观判断(即先验概率)进行修正的定理,在概率论中具有重要地位。

先验概率分布(边缘概率)是指基于主观判断而非样本分布的概率分布,后验概率(条件概率)是根据样本分布和未知参数的先验概率分布求得的条件概率分布。

贝叶斯公式:

P(A∩B) = P(A)*P(B|A) = P(B)*P(A|B)

变形得:

P(A|B)=P(B|A)*P(A)/P(B)

其中

  • P(A)是A的先验概率或边缘概率,称作"先验"是因为它不考虑B因素。
  • P(A|B)是已知B发生后A的条件概率,也称作A的后验概率。
  • P(B|A)是已知A发生后B的条件概率,也称作B的后验概率,这里称作似然度。
  • P(B)是B的先验概率或边缘概率,这里称作标准化常量。
  • P(B|A)/P(B)称作标准似然度。

朴素贝叶斯分类(Naive Bayes)

朴素贝叶斯分类器在估计类条件概率时假设属性之间条件独立。

首先定义

  • x = {a1,a2,...}为一个样本向量,a为一个特征属性
  • div = {d1 = [l1,u1],...} 特征属性的一个划分
  • class = {y1,y2,...}样本所属的类别

算法流程:

(1) 通过样本集中类别的分布,对每个类别计算先验概率p(y[i])

(2) 计算每个类别下每个特征属性划分的频率p(a[j] in d[k] | y[i])

(3) 计算每个样本的p(x|y[i])

p(x|y[i]) = p(a[1] in d | y[i]) * p(a[2] in d | y[i]) * ...

样本的所有特征属性已知,所以特征属性所属的区间d已知。

可以通过(2)确定p(a[k] in d | y[i])的值,从而求得p(x|y[i])。

(4) 由贝叶斯定理得:

p(y[i]|x) = ( p(x|y[i]) * p(y[i]) ) / p(x)

因为分母相同,只需计算分子。

p(y[i]|x)是观测样本属于分类y[i]的概率,找出最大概率对应的分类作为分类结果。

示例:

导入数据集

{a1 = 0, a2 = 0, C = 0} {a1 = 0, a2 = 0, C = 1}
{a1 = 0, a2 = 0, C = 0} {a1 = 0, a2 = 0, C = 1}
{a1 = 0, a2 = 0, C = 0} {a1 = 0, a2 = 0, C = 1}
{a1 = 1, a2 = 0, C = 0} {a1 = 0, a2 = 0, C = 1}
{a1 = 1, a2 = 0, C = 0} {a1 = 0, a2 = 0, C = 1}
{a1 = 1, a2 = 0, C = 0} {a1 = 1, a2 = 0, C = 1}
{a1 = 1, a2 = 1, C = 0} {a1 = 1, a2 = 0, C = 1}
{a1 = 1, a2 = 1, C = 0} {a1 = 1, a2 = 1, C = 1}
{a1 = 1, a2 = 1, C = 0} {a1 = 1, a2 = 1, C = 1}
{a1 = 1, a2 = 1, C = 0} {a1 = 1, a2 = 1, C = 1}

计算类别的先验概率

P(C = 0) = 0.5
P(C = 1) = 0.5

计算每个特征属性条件概率:

P(a1 = 0 | C = 0) = 0.3
P(a1 = 1 | C = 0) = 0.7
P(a2 = 0 | C = 0) = 0.4
P(a2 = 1 | C = 0) = 0.6
P(a1 = 0 | C = 1) = 0.5
P(a1 = 1 | C = 1) = 0.5
P(a2 = 0 | C = 1) = 0.7
P(a2 = 1 | C = 1) = 0.3

测试样本:

x = { a1 = 1, a2 = 2}
p(x | C = 0) = p(a1 = 1 | C = 0) * p( 2 = 2 | C = 0) = 0.3 * 0.6 = 0.18
p(x | C = 1) = p(a1 = 1 | C = 1) * p (a2 = 2 | C = 1) = 0.5 * 0.3 = 0.15

计算P(C | x) * p(x):

P(C = 0) * p(x | C = 1) = 0.5 * 0.18 = 0.09
P(C = 1) * p(x | C = 2) = 0.5 * 0.15 = 0.075

所以认为测试样本属于类型C1

Python实现

朴素贝叶斯分类器的训练过程为计算(1),(2)中的概率表,应用过程为计算(3),(4)并寻找最大值。

还是使用原来的接口进行类封装:

from numpy import *
class NaiveBayesClassifier(object):
  def __init__(self):
    self.dataMat = list()
    self.labelMat = list()
    self.pLabel1 = 0
    self.p0Vec = list()
    self.p1Vec = list()
  def loadDataSet(self,filename):
    fr = open(filename)
    for line in fr.readlines():
      lineArr = line.strip().split()
      dataLine = list()
      for i in lineArr:
        dataLine.append(float(i))
      label = dataLine.pop() # pop the last column referring to label
      self.dataMat.append(dataLine)
      self.labelMat.append(int(label))
  def train(self):
    dataNum = len(self.dataMat)
    featureNum = len(self.dataMat[0])
    self.pLabel1 = sum(self.labelMat)/float(dataNum)
    p0Num = zeros(featureNum)
    p1Num = zeros(featureNum)
    p0Denom = 1.0
    p1Denom = 1.0
    for i in range(dataNum):
      if self.labelMat[i] == 1:
        p1Num += self.dataMat[i]
        p1Denom += sum(self.dataMat[i])
      else:
        p0Num += self.dataMat[i]
        p0Denom += sum(self.dataMat[i])
    self.p0Vec = p0Num/p0Denom
    self.p1Vec = p1Num/p1Denom
  def classify(self, data):
    p1 = reduce(lambda x, y: x * y, data * self.p1Vec) * self.pLabel1
    p0 = reduce(lambda x, y: x * y, data * self.p0Vec) * (1.0 - self.pLabel1)
    if p1 > p0:
      return 1
    else:
      return 0
  def test(self):
    self.loadDataSet('testNB.txt')
    self.train()
    print(self.classify([1, 2]))
if __name__ == '__main__':
  NB = NaiveBayesClassifier()
  NB.test()

Matlab

Matlab的标准工具箱提供了对朴素贝叶斯分类器的支持:

trainData = [0 1; -1 0; 2 2; 3 3; -2 -1;-4.5 -4; 2 -1; -1 -3];
group = [1 1 -1 -1 1 1 -1 -1]';
model = fitcnb(trainData, group)
testData = [5 2;3 1;-4 -3];
predict(model, testData)

fitcnb用来训练模型,predict用来预测。

更多关于Python相关内容感兴趣的读者可查看本站专题:《Python数学运算技巧总结》、《Python数据结构与算法教程》、《Python函数使用技巧总结》、《Python字符串操作技巧汇总》、《Python入门与进阶经典教程》及《Python文件与目录操作技巧汇总

希望本文所述对大家Python程序设计有所帮助。

相关文章

  • python回溯法实现数组全排列输出实例分析

    python回溯法实现数组全排列输出实例分析

    这篇文章主要介绍了python回溯法实现数组全排列输出,以实例形式较为详细的分析了全排列的定义及回溯法的实现技巧,需要的朋友可以参考下
    2015-03-03
  • Python实现随机生成有效手机号码及身份证功能示例

    Python实现随机生成有效手机号码及身份证功能示例

    这篇文章主要介绍了Python实现随机生成有效手机号码及身份证功能,结合完整实例形式分析了Python基于手机号与身份证算法实现随机手机号及身份证的生成功能,涉及Python日期、随机数、文件读取等相关操作技巧,需要的朋友可以参考下
    2017-06-06
  • Python的Flask框架中SQLAlchemy使用时的乱码问题解决

    Python的Flask框架中SQLAlchemy使用时的乱码问题解决

    这篇文章主要介绍了Python的Flask框架中SQLAlchemy使用时的乱码问题解决,SQLAlchemy与Python结合对数据库的操作非常方便,需要的朋友可以参考下
    2015-11-11
  • 使用IPython来操作Docker容器的入门指引

    使用IPython来操作Docker容器的入门指引

    这篇文章主要介绍了使用IPython来操作Docker容器的方法,包括一些基本的搭建和连接,主要依靠docker-py???需要的朋友可以参考下
    2015-04-04
  • python3.0 字典key排序

    python3.0 字典key排序

    字典对象其实就是键-值对 下面是字典对象的添加,修改,删除 (修改与添加方法相同,当key值不存在的时候添加)
    2008-12-12
  • 利用python获取某年中每个月的第一天和最后一天

    利用python获取某年中每个月的第一天和最后一天

    最近在做项目的时候,突然想到的这个问题,觉得比较有趣,就实际测试了一下,考虑到以后可能会有用,就总结下来写了这篇文章,刚兴趣的朋友们可以参考学习下,下面来跟着小编一起看看吧。
    2016-12-12
  • Python系统监控??閜sutil功能与经典用法分析

    Python系统监控??閜sutil功能与经典用法分析

    这篇文章主要介绍了Python系统监控??閜sutil功能与经典用法,简单讲述了psutil??榈墓δ?、原理并结合具体实例形式分析了Python使用psutil??檎攵訡PU、内存、磁盘、网络等信息的读取相关操作技巧,需要的朋友可以参考下
    2018-05-05
  • Python中if __name__ ==

    Python中if __name__ == "__main__"详细解释

    这篇文章主要介绍了Python中if __name__ == "__main__"详细解释,需要的朋友可以参考下
    2014-10-10
  • Python中运行并行任务技巧

    Python中运行并行任务技巧

    这篇文章主要介绍了Python中运行并行任务技巧,本文给出了两个示例,并用map来处理并行任务,需要的朋友可以参考下
    2015-02-02
  • python中pass语句用法实例分析

    python中pass语句用法实例分析

    这篇文章主要介绍了python中pass语句用法,对比C++程序实例分析了pass语句的使用方法,具有一定参考借鉴价值,需要的朋友可以参考下
    2015-04-04

最新评论

146| 889| 251| 932| 1| 774| 143| 698| 730| 89|