Python机器学习之决策树和随机森林

决策树和随机森林是机器学习领域中常用的算法，在分类和回归问题中均有广泛的应用。本文将介绍如何使用Python中的scikit-learn库来建立决策树和随机森林模型。

1.决策树

1.1 算法概述

决策树是一种基于树结构的贪心算法，通过不断地将数据分成小的子集，最终生成一个树形结构。在树中，每个节点代表一个判断条件，根据条件的不同走向不同的子树，一直到最终的叶子节点，叶子节点代表分类结果。决策树的优点是易于理解和解释，可用于分类和回归问题。

1.2 示例说明

下面使用iris数据集来演示如何使用决策树进行分类。

from sklearn.datasets import load_iris
from sklearn.tree import DecisionTreeClassifier
from sklearn.model_selection import train_test_split

# 加载数据集
iris = load_iris()

# 划分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(iris.data, iris.target, test_size=0.3, random_state=0)

# 建立决策树模型
clf = DecisionTreeClassifier()
clf.fit(X_train, y_train)

# 测试模型
score = clf.score(X_test, y_test)
print("模型得分：{}".format(score))

运行代码后，可以得到决策树模型的准确率。

2.随机森林

2.1 算法概述

随机森林是一种用于分类、回归和聚类的集成学习方法。它包含多个决策树，每个决策树都是独立训练的。对于分类问题，随机森林最终的分类结果是所有决策树的分类结果的投票得出的。随机森林的优点是具有较高的预测准确度、较低的过拟合风险、易于使用和调整。

2.2 示例说明

下面继续使用iris数据集来演示如何使用随机森林进行分类。

from sklearn.ensemble import RandomForestClassifier

# 加载数据集
iris = load_iris()

# 划分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(iris.data, iris.target, test_size=0.3, random_state=0)

# 建立随机森林模型
clf = RandomForestClassifier()
clf.fit(X_train, y_train)

# 测试模型
score = clf.score(X_test, y_test)
print("模型得分：{}".format(score))

运行代码后，可以得到随机森林模型的准确率。根据运行结果可以发现，随机森林的准确率比单棵决策树的准确率更高。