2．3．4 朴素贝叶斯分类器 -Python机器学习基础教程(上)

当前位置:　首页>> 技术小册>> Python机器学习基础教程(上)

2.3.4 朴素贝叶斯分类器

在Python机器学习的基础旅程中，朴素贝叶斯分类器（Naive Bayes Classifier）无疑是一个既基础又强大的工具。它不仅原理简单易懂，而且在许多实际应用场景中展现出惊人的分类效果，尤其是在文本分类、垃圾邮件过滤等领域。本章将深入探讨朴素贝叶斯分类器的基本原理、算法实现、以及如何在Python中使用它来解决实际问题。

2.3.4.1 朴素贝叶斯分类器的基本原理

朴素贝叶斯分类器基于贝叶斯定理，并假设特征之间相互独立（尽管这一假设在现实中往往不成立，但它在很多情况下仍然能够工作得很好，因此得名“朴素”）。贝叶斯定理描述了条件概率之间的关系，即如何根据已知的条件概率来推导出未知的条件概率。

贝叶斯定理公式：
P(A|B) = \frac{P(B|A)P(A)}{P(B)}

在分类问题中，我们可以将$A$视为类别，$B$视为数据点（或特征集合）。我们的目标是计算在给定数据点$B$的条件下，属于某个类别$A$的概率$P(A|B)$，这通常被称为后验概率。

朴素贝叶斯分类器通过以下步骤进行工作：

收集数据：收集用于训练模型的数据集。
计算先验概率：对于每个类别，计算其出现的概率$P(A)$。
计算条件概率：对于每个类别和每个特征，计算特征在该类别下出现的条件概率$P(B_i|A)$，其中$B_i$是数据点的一个特征。
应用朴素假设：假设所有特征之间相互独立，即$P(B1, B_2, …, B_n|A) = \prod{i=1}^{n} P(B_i|A)$。
计算后验概率：利用贝叶斯定理和上述条件概率，计算每个类别的后验概率$P(A|B)$。
分类：将数据点分配给后验概率最高的类别。

2.3.4.2 朴素贝叶斯分类器的类型

根据特征的不同类型，朴素贝叶斯分类器有多种变体，常见的有：

多项式朴素贝叶斯（MultinomialNB）：适用于离散特征，尤其是文本数据。它计算每个类别下，每个特征（词项）出现的次数。
伯努利朴素贝叶斯（BernoulliNB）：同样适用于二值化特征，但假设所有特征都是二元的，常用于文本数据，其中词项出现与否被视为特征。
高斯朴素贝叶斯（GaussianNB）：适用于连续特征，它假设每个特征都服从高斯（正态）分布，并计算每个类别下每个特征的均值和方差。

2.3.4.3 Python中实现朴素贝叶斯分类器

在Python中，我们可以使用scikit-learn库来方便地实现和应用朴素贝叶斯分类器。scikit-learn提供了上述所有类型的朴素贝叶斯分类器。

示例：使用多项式朴素贝叶斯进行文本分类

假设我们有一个简单的文本数据集，需要将文本分为两类（例如，正面评论和负面评论）。

from sklearn.datasets import fetch_20newsgroups
from sklearn.model_selection import train_test_split
from sklearn.feature_extraction.text import CountVectorizer
from sklearn.naive_bayes import MultinomialNB
from sklearn.metrics import accuracy_score
# 加载数据集
newsgroups = fetch_20newsgroups(subset='all', categories=['alt.atheism', 'soc.religion.christian'])
X, y = newsgroups.data, newsgroups.target
# 划分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.25, random_state=33)
# 特征提取：将文本转换为词频矩阵
vectorizer = CountVectorizer()
X_train_vec = vectorizer.fit_transform(X_train)
X_test_vec = vectorizer.transform(X_test)
# 创建并训练多项式朴素贝叶斯分类器
clf = MultinomialNB()
clf.fit(X_train_vec, y_train)
# 预测测试集
y_pred = clf.predict(X_test_vec)
# 评估模型
print("Accuracy:", accuracy_score(y_test, y_pred))

在上述示例中，我们首先加载了一个包含两个类别的新闻组数据集，然后将其划分为训练集和测试集。接着，我们使用CountVectorizer将文本数据转换为词频矩阵，这是多项式朴素贝叶斯分类器所需要的输入格式。之后，我们创建了一个MultinomialNB实例，并使用训练数据对其进行训练。最后，我们使用训练好的模型对测试集进行预测，并计算了分类的准确率。