使用 Scipy 将经验分布拟合到理论分布

简介

您有一个整数值的大型数据集，旨在计算 p 值，即概率遇到更高的价值。为了确定这些概率，您需要寻找近似数据分布的理论分布。本文探讨了如何使用 Python 的 Scipy 包来实现此目的。

拟合分布

Scipy 的 scipy.stats 模块提供了连续和离散的广泛集合概率分布。每个分布都有自己的参数来表征其形状和行为。目标是根据拟合优度检验找到最适合您的经验数据的分布。

拟合优度检验

误差平方和 (SSE)

One方法是利用误差平方和 (SSE) 作为拟合优度度量。 SSE 计算经验概率密度函数和理论概率密度函数之间的平方差。具有最小 SSE 的分布被认为是最佳拟合。

Python 实现

以下 Python 代码演示了如何使数据符合理论分布使用 SSE：

<br>导入 pandas 作为 pd<br>导入numpy as np<br>import scipy.stats as st<br>import matplotlib.pyplot as plt<p>data = pd.read_csv('data.csv') # 替换为你的数据文件</p>
<h1>数据直方图</h1>
<p>plt.hist(data, bins=50)<br>plt.show()</p>
<h1>候选分布</h1>
<p>dist_names = ['norm', 'expon', 'gamma', 'beta']</p>
<h1>拟合每个分布并计算SSE</h1>
<p>best_distribution = None<br>min_sse = np.inf<br>for dist in dist_names:</p>
<div class="code" style="position:relative; padding:0px; margin:0px;"><pre class="brush:php;toolbar:false">dist = getattr(st, dist)
params = dist.fit(data)

# Calculate SSE
sse = np.mean((dist.pdf(data, *params) - np.histogram(data, bins=50, density=True)[0]) ** 2)

# Update the best distribution if necessary
if sse < min_sse:
    min_sse = sse
    best_distribution = dist, params