使用Python检测和处理回归中的多重共线性问题

王林转载: 2023-08-18 15:05:20 330浏览

多重共线性是指回归模型中的自变量之间存在高度的相互关联。这可能导致模型的系数不准确，使得难以判断不同的自变量对因变量的影响。在这种情况下，有必要识别和处理回归模型的多重共线性，并结合不同的程序和它们的输出，我们将逐步解释。

方法

检测多重共线性
处理多重共线性

算法

步骤 1 − 导入必要的库

第二步 - 将数据加载到pandas Dataframes中

步骤 3 - 使用预测变量创建相关矩阵

第四步 − 创建一个相关矩阵的热力图，以可视化相关性

第5步 - 计算输出的每个预测变量的方差膨胀因子

步骤 6 − 确定预测器

第7步 - 预测器应该被移除

步骤8 - 重新运行回归模型

第九步 - 再次检查。

方法一：检测多重共线性

使用pandas包的corr()函数来确定独立变量的相关矩阵。使用seaborn库生成热力图来显示相关矩阵。使用statsmodels包的variance_inflation_factor()函数来确定每个独立变量的方差膨胀因子（VIF）。VIF大于5或10表示存在高多重共线性。

Example-1

的中文翻译为：

示例-1

在这段代码中，一旦数据加载到Pandas DataFrame中，预测变量X和因变量y就会被分开。为了计算每个预测变量的VIF，我们使用statsmodels包中的variance_inflation_factor()函数。在过程的最后一步，我们将VIF值以及预测变量的名称存储在一个全新的Pandas DataFrame中，然后显示结果。使用这段代码，将生成一个包含每个预测变量的变量名称和VIF值的表格。当一个变量具有较高的VIF值（高于5或10，取决于情况），进一步分析该变量是很重要的。

import pandas as pd
from statsmodels.stats.outliers_influence import variance_inflation_factor

# Load data into a pandas DataFrame
data = pd.read_csv("mydata.csv")

# Select independent variables
X = data[['independent_var1', 'independent_var2', 'independent_var3']]

# Calculate VIF for each independent variable
vif = pd.DataFrame()
vif["VIF Factor"] = [variance_inflation_factor(X.values, i) for i in range(X.shape[1])]
vif["features"] = X.columns

# Print the VIF results
print(vif)

输出

VIF  Factor      Features 
0    3.068988    Independent_var1
1    3.870567    Independent_var2
2    3.843753    Independent_var3

方法二：处理多重共线性

排除模型中一个或多个强相关的自变量。可以使用主成分分析（PCA）将高度相关的自变量合并为一个变量。可以使用岭回归或套索回归等正则化方法来减少强相关自变量对模型系数的影响。使用上述方法，可以使用以下示例代码来识别和解决多重共线性问题−

import pandas as pd
import seaborn as sns
from statsmodels.stats.outliers_influence import variance_inflation_factor
from sklearn.decomposition import PCA
from sklearn.linear_model import Ridge

# Load the data into a pandas DataFrame
data = pd.read_csv('data.csv')

# Calculate the correlation matrix
corr_matrix = data.corr()

# Create a heatmap to visualize the correlation matrix
sns.heatmap(corr_matrix, annot=True, cmap='coolwarm')

# Check for VIF for each independent variable
for i in range(data.shape[1]-1):
   vif = variance_inflation_factor(data.values, i)
   print('VIF for variable {}: {:.2f}'.format(i, vif))

# Remove highly correlated independent variables
data = data.drop(['var1', 'var2'], axis=1)

# Use PCA to combine highly correlated independent variables
pca = PCA(n_components=1)
data['pca'] = pca.fit_transform(data[['var1', 'var2']])

# Use Ridge regression to reduce the impact of highly correlated independent variables
X = data.drop('dependent_var', axis=1)
y = data['dependent_var']
ridge = Ridge(alpha=0.1)
ridge.fit(X, y)

除了输出每个独立变量的VIF值之外，该函数不会生成任何其他输出。运行此代码只会输出每个独立变量的VIF值；不会打印任何图形或模型性能。

在这个例子中，数据首先被加载到一个pandas DataFrame中，然后计算相关矩阵，最后创建一个热力图来展示相关矩阵。然后，我们在测试每个独立变量的VIF之后，消除具有高度相关性的独立因素。我们使用岭回归来减少高度相关的独立变量对模型系数的影响，并使用主成分分析将高度相关的独立变量合并为一个变量。

import pandas as pd

#create DataFrame
df = pd.DataFrame({'rating': [90, 85, 82, 18, 14, 90, 16, 75, 87, 86],
         'points': [22, 10, 34, 46, 27, 20, 12, 15, 14, 19],
         'assists': [1, 3, 5, 6, 5, 7, 6, 9, 9, 5],
         'rebounds': [11, 8, 10, 6, 3, 4, 4, 10, 10, 7]})

#view DataFrame
print(df)

输出

   rating  points  assists  rebounds
0      90      22        1        11
1      85      10        3         8
2      82      34        5        10
3      18      46        6         6
4      14      27        5         3
5      90      20        7         4
6      16      12        6         4
7      75      15        9        10
8      87      14        9        10
9      86      19        5         7

使用Pandas包，可以通过这个Python程序生成一个称为DataFrame的数组数据结构。具体的维度包括四个不同的列：助攻、篮板、得分和评分。该库在代码的开头行被导入，并在之后被称为"pd"以减少复杂性。通过在第二行代码中执行pd.DataFrame()方法最终构建了一个DataFrame。

在代码的第三行使用print()方法将DataFrame打印到控制台。每列的值构成了列表的定义，充当字典输入函数的键和值。每个球员的信息以表格形式显示，统计数据包括得分、助攻和篮板，排列在列中，每行代表一个球员。