決策樹與隨機森林的理論、實現與超參數調整-人工智慧-PHP中文網

在本文中，我們將詳細介紹決策樹和隨機森林模型。此外，我們將展示決策樹和隨機森林的哪些超參數對它們的表現有重要影響，使我們能夠在欠擬合和過擬合之間找到最佳方案。在了解了決策樹和隨機森林背後的理論後。，我們將使用Scikit-Learn來實現它們。

1. 決策樹

決策樹是預測建模機器學習的重要演算法。經典的決策樹演算法已經存在了幾十年，而像隨機森林這樣的現代變體是最強大的可用技術之一。

通常，這種演算法被稱為“決策樹”，但在R等一些平台上，它們被稱為CART。 CART演算法為bagged決策樹、隨機森林和boosting決策樹等重要演算法提供了基礎。

與線性模型不同，決策樹是非參數模型:它們不受數學決策函數的控制，也沒有要最佳化的權重或截距。事實上，決策樹將透過考慮特徵來劃分空間。

CART模型表示

CART模型的表示是二元樹。這是來自演算法和資料結構的二元樹。每個根節點表示一個輸入變數(x)和該變數上的一個分割點(假設變數是數值型的)。

樹的葉節點包含一個輸出變數(y)，用於進行預測。給定一個新的輸入，透過從樹的根節點開始計算特定的輸入來遍歷樹。

決策樹的一些優點是：

易於理解和解釋。樹可以可視化。
需要很少的資料準備。
能夠處理數字和分類資料。
可以使用統計檢定來驗證模型。
即使產生資料的真實模型在某種程度上違反了它的假設，也表現良好。

決策樹的缺點包括：

#過度擬合。諸如剪枝、設定葉節點所需的最小樣本數或設定樹的最大深度等機制是避免此問題所必需的。
決策樹可能不穩定。可以在整合中使用決策樹。
不能保證傳回全域最優決策樹。可以在一個整合學習器中訓練多棵樹
如果某些類別占主導地位，決策樹學習器會創建有偏樹。建議：在擬合之前平衡資料集

2. 隨機森林

隨機森林是最受歡迎和最強大的機器學習演算法之一。它是一種整合機器學習演算法，稱為Bootstrap Aggregation或bagging。

為了提高決策樹的效能，我們可以使用許多具有隨機特徵樣本的樹。

3.python中的決策樹和隨機森林實現

我們將使用決策樹和隨機森林來預測您有價值的員工的流失

。

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
import seaborn as sns
%matplotlib inline


sns.set_style("whitegrid")
plt.style.use("fivethirtyeight")
df = pd.read_csv("WA_Fn-UseC_-HR-Employee-Attrition.csv")

登入後複製

4. 資料處理

from sklearn.preprocessing import LabelEncoder
from sklearn.model_selection import train_test_split




df.drop(['EmployeeCount', 'EmployeeNumber', 'Over18', 'StandardHours'], axis="columns", inplace=True)


categorical_col = []
for column in df.columns:
if df[column].dtype == object and len(df[column].unique())  50:
categorical_col.append(column)
df['Attrition'] = df.Attrition.astype("category").cat.codes


categorical_col.remove('Attrition')


label = LabelEncoder()
for column in categorical_col:
df[column] = label.fit_transform(df[column])


X = df.drop('Attrition', axis=1)
y = df.Attrition


X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42)

登入後複製

5. 應用樹與隨機森林演算法

from sklearn.metrics import accuracy_score, confusion_matrix, classification_report


def print_score(clf, X_train, y_train, X_test, y_test, train=True):
if train:
pred = clf.predict(X_train)
print("Train Result:n================================================")
print(f"Accuracy Score: {accuracy_score(y_train, pred) * 100:.2f}%")
print("_______________________________________________")
print(f"Confusion Matrix: n {confusion_matrix(y_train, pred)}n")
elif train==False:
pred = clf.predict(X_test)
print("Test Result:n================================================")
print(f"Accuracy Score: {accuracy_score(y_test, pred) * 100:.2f}%")
print("_______________________________________________")
print(f"Confusion Matrix: n {confusion_matrix(y_test, pred)}n")

登入後複製

5.1 決策樹分類器

criterion: 衡量拆分品質。支援的標準是基尼雜質的「基尼」和資訊增益的「熵」。
splitter：用於在每個節點處選擇分割的策略。支援的策略是“best”選擇最佳拆分和“random”選擇隨機拆分。
max_depth：樹的最大深度。如果為None，則展開節點，直到所有葉節點，或直到所有葉包含的樣本小於min_samples_split。
min_samples_split：拆分內部節點所需的最小樣本數。
min_samples_leaf:葉節點上所需的最小樣本數。
min_weight_fraction_leaf:葉節點上所需的總權重的最小加權分數。當沒有提供sample_weight時，樣本具有相等的權值。
max_features：尋找最佳拆分時要考慮的特徵數量。
max_leaf_nodesmax_leaf_nodes：以最佳優先的方式使用max_leaf_nodes形成樹。最佳節點定義為雜質的相對減少。如果為None，則有無限數量的葉節點。
min_impurity_decrease：如果該拆分導致雜質減少大於或等於該值，則該節點將被拆分。

min_impurity_split: 提前停止的閾值。如果一個節點的雜質高於閾值，則該節點將拆分，否則，它是一個葉子。

from sklearn.tree import DecisionTreeClassifier


tree_clf = DecisionTreeClassifier(random_state=42)
tree_clf.fit(X_train, y_train)


print_score(tree_clf, X_train, y_train, X_test, y_test, train=True)
print_score(tree_clf, X_train, y_train, X_test, y_test, train=False)

登入後複製

5.2決策樹分類器超參數調優

超參數max_depth控制決策樹的整體複雜性。這個超參數允許在欠擬合和過擬合決策樹之間進行權衡。讓我們為分類和迴歸建立一棵淺樹，然後再建立一棵更深的樹，以了解參數的影響。

###超參數min_samples_leaf、min_samples_split、max_leaf_nodes或min_implitity_reduce允許在葉級或節點級應用約束。超參數min_samples_leaf是葉子允許有最少樣本數，否則將不會搜尋進一步的分割。這些超參數可以作為max_depth超參數的補充方案。 ###

from sklearn.tree import DecisionTreeClassifier
from sklearn.model_selection import GridSearchCV


params = {
"criterion":("gini", "entropy"), 
"splitter":("best", "random"), 
"max_depth":(list(range(1, 20))), 
"min_samples_split":[2, 3, 4], 
"min_samples_leaf":list(range(1, 20)), 
}


tree_clf = DecisionTreeClassifier(random_state=42)
tree_cv = GridSearchCV(tree_clf, params, scoring="accuracy", n_jobs=-1, verbose=1, cv=3)
tree_cv.fit(X_train, y_train)
best_params = tree_cv.best_params_
print(f"Best paramters: {best_params})")


tree_clf = DecisionTreeClassifier(**best_params)
tree_clf.fit(X_train, y_train)
print_score(tree_clf, X_train, y_train, X_test, y_test, train=True)
print_score(tree_clf, X_train, y_train, X_test, y_test, train=False)

登入後複製

5.3树的可视化

from IPython.display import Image
from six import StringIO
from sklearn.tree import export_graphviz
import pydot


features = list(df.columns)
features.remove("Attrition")
dot_data = StringIO()
export_graphviz(tree_clf, out_file=dot_data, feature_names=features, filled=True)
graph = pydot.graph_from_dot_data(dot_data.getvalue())
Image(graph[0].create_png())

登入後複製

決策樹與隨機森林的理論、實現與超參數調整

5.4随机森林

随机森林是一种元估计器，它将多个决策树分类器对数据集的不同子样本进行拟合，并使用均值来提高预测准确度和控制过拟合。

随机森林算法参数:

n_estimators: 树的数量。
criterion: 衡量拆分质量的函数。支持的标准是gini和信息增益的“熵”。
max_depth：树的最大深度。如果为None，则展开节点，直到所有叶子都是纯的，或者直到所有叶子包含的样本少于min_samples_split。
min_samples_split：拆分内部节点所需的最小样本数。
min_samples_leaf：叶节点所需的最小样本数。min_samples_leaf只有在左右分支中的每个分支中至少留下训练样本时，才会考虑任何深度的分割点。这可能具有平滑模型的效果，尤其是在回归中。
min_weight_fraction_leaf：需要在叶节点处的总权重（所有输入样本的）的最小加权分数。当未提供 sample_weight 时，样本具有相同的权重。
max_features：寻找最佳分割时要考虑的特征数量。
max_leaf_nodesmax_leaf_nodes：以最佳优先方式种植一棵树。最佳节点定义为杂质的相对减少。如果 None 则无限数量的叶节点。
min_impurity_decrease：如果该分裂导致杂质减少大于或等于该值，则该节点将被分裂。
min_impurity_split: 树提前停止的阈值。如果一个节点的杂质高于阈值，则该节点将分裂，否则，它是一个叶子。
bootstrap：构建树时是否使用bootstrap样本。如果为 False，则使用整个数据集来构建每棵树。
oob_score：是否使用out-of-bag样本来估计泛化准确度。

from sklearn.ensemble import RandomForestClassifier


rf_clf = RandomForestClassifier(n_estimators=100)
rf_clf.fit(X_train, y_train)


print_score(rf_clf, X_train, y_train, X_test, y_test, train=True)
print_score(rf_clf, X_train, y_train, X_test, y_test, train=False)

登入後複製

5.5随机森林超参数调优

调优随机森林的主要参数是n_estimators参数。一般来说，森林中的树越多，泛化性能越好，但它会减慢拟合和预测的时间。

我们还可以调优控制森林中每棵树深度的参数。有两个参数非常重要:max_depth和max_leaf_nodes。实际上，max_depth将强制具有更对称的树，而max_leaf_nodes会限制最大叶节点数量。

n_estimators = [100, 500, 1000, 1500]
max_features = ['auto', 'sqrt']
max_depth = [2, 3, 5]
max_depth.append(None)
min_samples_split = [2, 5, 10]
min_samples_leaf = [1, 2, 4, 10]
bootstrap = [True, False]


params_grid = {'n_estimators': n_estimators, 'max_features': max_features,
 'max_depth': max_depth, 'min_samples_split': min_samples_split,
 'min_samples_leaf': min_samples_leaf, 'bootstrap': bootstrap}


rf_clf = RandomForestClassifier(random_state=42)


rf_cv = GridSearchCV(rf_clf, params_grid, scoring="f1", cv=3, verbose=2, n_jobs=-1)


rf_cv.fit(X_train, y_train)
best_params = rf_cv.best_params_
print(f"Best parameters: {best_params}")


rf_clf = RandomForestClassifier(**best_params)
rf_clf.fit(X_train, y_train)


print_score(rf_clf, X_train, y_train, X_test, y_test, train=True)
print_score(rf_clf, X_train, y_train, X_test, y_test, train=False)