机器学习 - 树结构1 - 随机森林

算法原理

    随机森林由多个决策树构成，每棵树在训练时使用随机选择的样本和特征子集。在分类任务中，每棵树对新的输入样本进行分类，最终的分类结果由多数树的分类结果决定。这种方法可以提高预测的准确性，并且通过平均或投票机制减少过拟合的风险。

   决策树示例

    假如共有5个学生样本：每个学生的属性包含姓名、年龄、身高、体重，现有需要通过一个决策树对这些学生进行分类，决策树就是根据这些属性对学生进行分类，如下面的样本所示：小明在年龄方面与其它学生相比，较小，因此作为第一个区分特征，如下图中的决策树，首先通过年龄特征将小明区分出来；然后对样本2、3、4，即小李、小刘和小王进行进一步区分，可见，小刘身高明显较高，因此通过身高特征将小刘区分出来；然后对样本2、4，即小李和小王进行区分，此时通过体重将两者区分开来。

    样本示例：

         样本编号             姓名                年龄                      身高（cm）                  体重（kg）

   1                       小明                  11                           145                               37.5

   2                       小李                  21                           172                                 65

   3                       小刘                  22                           178                                 70 

   4                       小王                  23                           170                                 55 

   样本对应决策树： 

                                                              决策树示意图 

随机森林实现过程：

1. 数据准备

• 加载数据集：加载待处理的数据集，如鸢尾花数据集。
• 数据分割：通常需要将数据集分割为训练集和测试集，以便后续评估模型性能。

2. 参数设置

• 树的数量：决定随机森林中决策树的数量，这个参数也称为n_estimators。
• 特征选择：设置在每个决策树节点分裂时考虑的特征数量。
• 最小叶节点样本数：设置决策树叶节点的最小样本数，这个参数有助于控制过拟合。
• bootstrap 采样：决定是否在构建每棵决策树时使用 bootstrap 采样方法从原始数据集中抽取样本。

3. 构建决策树

对于随机森林中的每一棵决策树：

• 样本抽取：如果使用 bootstrap 采样，从训练集中有放回地随机抽取样本。
• 特征随机选择：在每个决策节点，随机选择一部分特征，然后选择最佳分裂特征进行节点分裂。
• 树的构建：使用选定的特征和样本构建决策树，直到满足停止条件（如达到最大深度、最小叶节点样本数或纯度）。

4. 模型训练

• 集成多棵树：重复步骤3，构建多棵决策树，每棵树都在数据的一个随机子集上训练。
• 存储模型：将每棵树的模型存储在森林中。

5. 预测和投票

• 分类问题：对于新的输入样本，每棵树给出一个类别预测，然后通过多数投票机制决定最终的类别预测。
• 回归问题：对于新的输入样本，每棵树给出一个数值预测，然后计算这些预测的平均值作为最终的回归预测。

6. 模型评估

• 测试集评估：使用测试集评估随机森林模型的性能，计算准确率、精确率、召回率等指标。
• 特征重要性：评估每个特征对模型预测的贡献度。

示例

数据集介绍

    鸢尾花（Iris）数据集是机器学习和统计分类中最著名的数据集之一，常被用作分类算法的测试数据。这个数据集包含150个样本，分为3个类别，每个类别有50个样本。每个样本有4个特征，分别是：

1. 花萼长度（Sepal Length）：花萼的最大长度，单位为厘米。
2. 花萼宽度（Sepal Width）：花萼的最大宽度，单位为厘米。
3. 花瓣长度（Petal Length）：花瓣的最大长度，单位为厘米。
4. 花瓣宽度（Petal Width）：花瓣的最大宽度，单位为厘米。

    这些特征都是连续的数值型数据。鸢尾花数据集的三个类别分别是：

1. Iris Setosa（山鸢尾）
2. Iris Versicolor（变色鸢尾）
3. Iris Virginica（维吉尼亚鸢尾）

    对该数据集通过matlab进行可视化，可视化效果图如下所示：

    效果图中的四个feature和4个特征的对应关系如下：

• feature1：花萼长度（Sepal Length）- 单位为厘米。
• feature2：花萼宽度（Sepal Width）- 单位为厘米。
• feature3：花瓣长度（Petal Length）- 单位为厘米。
• feature4：花瓣宽度（Petal Width）- 单位为厘米。

    效果图中每张图表示的是两个特征组合后样本的分布结果，从左到右、从上到下，每张图分别表示不同的两个特征组合后样本的分布图。

实现代码及步骤效果

% 1. 数据准备
load fisheriris
data = meas;  % 特征数据
labels = species;  % 标签

% 随机分割数据集为训练集和测试集
cv = cvpartition(labels, 'HoldOut', 0.3);
idx = cv.test;

% 训练集
trainData = data(~idx, :);
trainLabels = labels(~idx);

% 测试集
testData = data(idx, :);
testLabels = labels(idx);

% 2. 参数设置
nTrees = 100;  % 树的数量
numVariablesToSample = 'sqrt';  % 或者使用 2 或 'all'
minLeafSize = 1;  % 最小叶节点样本数
numVariablesToSample = 'all';  % 使用所有特征

% 3. 构建决策树
model = TreeBagger(nTrees, trainData, trainLabels, ...
                   'OOBPrediction', 'On', ...
                   'MinLeafSize', minLeafSize, ...
                   'NumVariablesToSample', numVariablesToSample, ...
                   'OOBPredictorImportance', 'On');  % 确保这一行在这里

% 4. 进行预测
predictions = predict(model, testData);

% 5. 评估模型性能
confMat = confusionmat(testLabels, predictions);
accuracy = sum(diag(confMat)) / sum(confMat(:));

% 显示混淆矩阵和准确率
disp('Confusion Matrix:');
disp(confMat);
disp(['Accuracy: ', num2str(accuracy)]);

获得的混淆矩阵如下所示：

    混淆矩阵的行列分别为三个类别：如图所示的混淆矩阵表示：属于类别1的样本在通过随机森林分类器的识别下全部被识别为类别1；属于类别2的样本有13个被识别为类别2，有2个被识别为类别3，属于类别3的样本全部被识别为类别3。

获得的分类正确率如下所示：

% 6. 计算特征重要性
imp = model.OOBPermutedVarDeltaError;

% 可视化特征重要性
figure;
bar(imp);
xlabel('Features');
ylabel('Importance');
title('Feature Importance');
set(gca, 'XTickLabel', {'SepalLength', 'SepalWidth', 'PetalLength', 'PetalWidth'});

获得的特征重要性图如下图所示：

    如图所示：在识别鸢尾花类别中，第三个特征的重要性最大，第二个特征的重要性最小。 

% 7. 可视化训练集和测试集
figure;
gscatter(data(:,1), data(:,2), labels);
hold on;
gscatter(trainData(:,1), trainData(:,2), trainLabels, 'g', 'o', 5);
gscatter(testData(:,1), testData(:,2), testLabels, 'r', 'x', 5);
title('Training and Testing Data');
legend('Setosa', 'Versicolor', 'Virginica', 'Train', 'Test');
hold off;

可视化结果如下图所示：

    如图所示，为三个类别的鸢尾花数据各自的训练样本和测试样本的分布，其中三种颜色的表示三个类别的训练样本，叉号的表示测试样本。 可见，本次随机选取的测试样本的分布过于集中到绿色类别样本中，需要对测试样本进行进一步的样本多样化的调整，才能得到更加可靠可信的结果。