Ramalan Harga Rumah dengan Scikit-learn: Panduan Lengkap

Pembelajaran mesin sedang mengubah pelbagai industri, termasuk hartanah. Satu tugas biasa ialah meramalkan harga rumah berdasarkan pelbagai ciri seperti bilangan bilik tidur, bilik mandi, rakaman persegi dan lokasi. Dalam artikel ini, kami akan meneroka cara membina model pembelajaran mesin menggunakan scikit-learn untuk meramalkan harga rumah, merangkumi semua aspek daripada prapemprosesan data kepada penggunaan model.

Jadual Kandungan

1. Pengenalan kepada Scikit-belajar
2. Definisi Masalah
3. Pengumpulan Data
4. Prapemprosesan Data
5. Pemilihan Ciri
6. Latihan Model
7. Penilaian Model
8. Penalaan Model (Pengoptimuman Hiperparameter)
9. Pengedaran Model
10. Kesimpulan

1. Pengenalan kepada Scikit-belajar

Scikit-learn ialah salah satu perpustakaan yang paling banyak digunakan untuk pembelajaran mesin dalam Python. Ia menawarkan alat yang mudah dan cekap untuk analisis dan pemodelan data. Sama ada anda berurusan dengan pengelasan, regresi, pengelompokan atau pengurangan dimensi, scikit-learn menyediakan set utiliti yang luas untuk membantu anda membina model pembelajaran mesin yang mantap.

Dalam panduan ini, kami akan membina model regresi menggunakan scikit-belajar untuk meramalkan harga rumah. Mari kita ikuti setiap langkah proses tersebut.

2. Definisi Masalah

Tugas di tangan adalah untuk meramalkan harga rumah berdasarkan ciri-cirinya seperti:

• Bilangan bilik tidur
• Bilangan bilik air
• Keluasan (dalam kaki persegi)
• Lokasi

Ini adalah masalah pembelajaran diselia di mana pembolehubah sasaran (harga rumah) berterusan, menjadikannya tugas regresi. Scikit-learn menyediakan pelbagai algoritma untuk regresi, seperti Regression Linear dan Random Forest, yang akan kami gunakan dalam projek ini.

3. Pengumpulan Data

Anda boleh sama ada menggunakan set data dunia nyata seperti set data Harga Kaggle House atau mengumpulkan data anda sendiri daripada API awam.

Berikut ialah contoh rupa data anda:

Pembolehubah sasaran di sini ialah Harga.

4. Prapemprosesan Data

Sebelum memasukkan data ke dalam model pembelajaran mesin, kami perlu memprosesnya terlebih dahulu. Ini termasuk pengendalian nilai yang tiada, pengekodan ciri kategori dan penskalaan data.

Mengendalikan Data yang Hilang

Data yang hilang adalah perkara biasa dalam set data dunia sebenar. Kita boleh sama ada mengisi nilai yang tiada dengan ukuran statistik seperti median atau menjatuhkan baris dengan data yang tiada:

data.fillna(data.median(), inplace=True)

Pengekodan Ciri Kategori

Memandangkan model pembelajaran mesin memerlukan input berangka, kami perlu menukar ciri kategori seperti Lokasi kepada nombor. Pengekodan Label memberikan nombor unik kepada setiap kategori:

from sklearn.preprocessing import LabelEncoder
encoder = LabelEncoder()
data['Location'] = encoder.fit_transform(data['Location'])

Penskalaan Ciri

Adalah penting untuk menskalakan ciri seperti Kawasan dan Harga untuk memastikan ia berada pada skala yang sama, terutamanya untuk algoritma yang sensitif kepada magnitud ciri. Begini cara kami menggunakan penskalaan:

from sklearn.preprocessing import StandardScaler
scaler = StandardScaler()
X_scaled = scaler.fit_transform(X)

5. Pemilihan Ciri

Tidak semua ciri menyumbang sama kepada pembolehubah sasaran. Pemilihan ciri membantu dalam mengenal pasti ciri yang paling penting, yang meningkatkan prestasi model dan mengurangkan pemasangan berlebihan.

Dalam projek ini, kami menggunakan SelectKBest untuk memilih 5 ciri teratas berdasarkan korelasinya dengan pembolehubah sasaran:

from sklearn.feature_selection import SelectKBest, f_regression
selector = SelectKBest(score_func=f_regression, k=5)
X_new = selector.fit_transform(X, y)

6. Latihan Model

Sekarang kami telah memproses data terlebih dahulu dan memilih ciri terbaik, tiba masanya untuk melatih model. Kami akan menggunakan dua algoritma regresi: Regression Linear dan Hutan Rawak.

Regresi Linear

Regresi linear sesuai dengan garis lurus melalui data, meminimumkan perbezaan antara nilai yang diramalkan dan sebenar:

from sklearn.linear_model import LinearRegression
linear_model = LinearRegression()
linear_model.fit(X_train, y_train)

Hutan Rawak

Random Forest ialah kaedah ensemble yang menggunakan berbilang pepohon keputusan dan purata keputusannya untuk meningkatkan ketepatan dan mengurangkan overfitting:

from sklearn.ensemble import RandomForestRegressor
forest_model = RandomForestRegressor(n_estimators=100)
forest_model.fit(X_train, y_train)

Perpecahan Ujian Keretapi

Untuk menilai sejauh mana model kami digeneralisasikan, kami membahagikan data kepada set latihan dan ujian:

from sklearn.model_selection import train_test_split
X_train, X_test, y_train, y_test = train_test_split(X_new, y, test_size=0.2, random_state=42)

7. Penilaian Model

Selepas melatih model, kita perlu menilai prestasi mereka menggunakan metrik seperti Mean Squared Error (MSE) dan R-squared (R²).

Ralat Kuasa Dua Min (MSE)

MSE mengira purata perbezaan kuasa dua antara nilai yang diramalkan dan sebenar. MSE yang lebih rendah menunjukkan prestasi yang lebih baik:

from sklearn.metrics import mean_squared_error
mse = mean_squared_error(y_test, y_pred)

R-kuasa dua (R²)

R² memberitahu kita sejauh mana model menerangkan varians dalam pembolehubah sasaran. Nilai 1 bermaksud ramalan yang sempurna:

from sklearn.metrics import r2_score
r2 = r2_score(y_test, y_pred)

Bandingkan prestasi model Regresi Linear dan Hutan Rawak menggunakan metrik ini.

8. Penalaan Model (Pengoptimuman Hiperparameter)

Untuk meningkatkan lagi prestasi model, kami boleh memperhalusi hiperparameter. Untuk Random Forest, hiperparameter seperti n_estimators (bilangan pokok) dan max_depth (kedalaman maksimum pokok) boleh memberi kesan ketara kepada prestasi.

Berikut ialah cara menggunakan GridSearchCV untuk pengoptimuman hiperparameter:

from sklearn.model_selection import GridSearchCV

param_grid = {
    'n_estimators': [50, 100, 200],
    'max_depth': [None, 10, 20]
}

grid_search = GridSearchCV(RandomForestRegressor(), param_grid, cv=5)
grid_search.fit(X_train, y_train)

best_model = grid_search.best_estimator_

9. Penerapan Model

Setelah anda melatih dan menala model, langkah seterusnya ialah penggunaan. Anda boleh menggunakan Flask untuk mencipta aplikasi web ringkas yang menyediakan ramalan.

Berikut ialah apl Flask asas untuk menyampaikan ramalan harga rumah:

from flask import Flask, request, jsonify
import joblib

app = Flask(__name__)

# Load the trained model
model = joblib.load('best_model.pkl')

@app.route('/predict', methods=['POST'])
def predict():
    data = request.json
    prediction = model.predict([data['features']])
    return jsonify({'predicted_price': prediction[0]})

if __name__ == '__main__':
    app.run()

Simpan model terlatih menggunakan joblib:

import joblib
joblib.dump(best_model, 'best_model.pkl')

Dengan cara ini, anda boleh membuat ramalan dengan menghantar permintaan kepada API.

10. Kesimpulan

Dalam projek ini, kami meneroka keseluruhan proses membina model pembelajaran mesin menggunakan scikit-learn untuk meramalkan harga rumah. Daripada prapemprosesan data dan pemilihan ciri kepada latihan model, penilaian dan penggunaan, setiap langkah diliputi dengan contoh kod praktikal.

Sama ada anda baru dalam pembelajaran mesin atau ingin menggunakan scikit-learning dalam projek dunia sebenar, panduan ini menyediakan aliran kerja komprehensif yang boleh anda sesuaikan untuk pelbagai tugas regresi.

Jangan ragu untuk mencuba model, set data dan teknik yang berbeza untuk meningkatkan prestasi dan ketepatan model anda.

Regresi #AI #DataAnalysis #DataPreprocessing #MLModel #RandomForest #LinearRegression #Flask #APIDdevelopment #RealEstate #TechBlog #Tutorial #DataEngineering #DeepLearning #PredictiveAnalytics #DevCommunity

Atas ialah kandungan terperinci Ramalan Harga Rumah dengan Scikit-learn: Panduan Lengkap. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!