Memasang Ketergantungan Python pada AWS Lambda Menggunakan EFS

Apabila bekerja dengan AWS Lambda, salah satu cabaran biasa yang dihadapi oleh pembangun ialah mengurus kebergantungan Python yang besar. Perpustakaan seperti Panda, Shapely dan GeoPandas, yang penting untuk tugasan seperti analisis geospatial, selalunya melebihi had lapisan unzip Lambda 250 MB. Penyelesaian praktikal? Simpan kebergantungan anda pada EFS (Sistem Fail Elastik) dan lekapkannya pada fungsi Lambda anda.

Dalam siaran ini, kami akan menjalankan proses penyediaan ini, termasuk prasyarat, faedah utama dan pelaksanaan langkah demi langkah.

Prasyarat

Siaran ini ditujukan untuk pengguna yang mempunyai pengalaman AWS lanjutan. Ia menganggap pemahaman yang kukuh tentang perkhidmatan AWS seperti Lambda, EFS, VPC dan kumpulan keselamatan, serta kebiasaan mengurus infrastruktur dan menggunakan penyelesaian berskala dalam awan.
Sebelum kita menyelami persediaan, pastikan anda mempunyai perkara berikut:

1. Fungsi AWS Lambda: Fungsi Lambda yang digunakan yang akan anda konfigurasikan dengan EFS.
2. Sistem Fail EFS: Sistem Fail Elastik yang dicipta di rantau AWS yang sama.
3. Titik akses EFS: Titik akses EFS yang dibuat di rantau AWS yang sama, dengan laluan direktori akar ke /data , Pastikan anda menetapkan kebenaran POSIX dan kebenaran penciptaan direktori dengan sewajarnya seperti berikut, 1101 dan 1001, Kumpulan Sekunder ID 1002 dan Kebenaran 0755.
4. VPC dan Rangkaian: Pastikan fungsi Lambda berada dalam VPC yang sama dengan EFS, dengan subnet dan kumpulan keselamatan dikonfigurasikan dengan betul.
5. Kebenaran IAM: Fungsi Lambda anda memerlukan kebenaran untuk mengakses EFS. Lampirkan dasar yang sesuai (cth., elasticfilesystem:ClientMount, elasticfilesystem:ClientWrite).

Kod Pengendali untuk Memasang Pakej

Pengendali memasang kebergantungan Python terus pada storan Amazon EFS yang dipasang pada fungsi AWS Lambda. Pendekatan ini memintas pengehadan saiz lapisan Lambda, menjadikannya sesuai untuk kebergantungan berat seperti panda, geopanda dan berbentuk, selalunya diperlukan untuk pemprosesan data geospatial. Ia memastikan perpustakaan yang diperlukan tersedia dalam direktori /mnt/data untuk Lambda gunakan semasa pelaksanaan:

import os
import subprocess

PACKAGE_DIR = "/mnt/data/lib/{}/site-packages/"

def get_python_version_tag():
    """Generates a Python version tag like 'python3.11'."""
    return f"python{os.sys.version_info.major}.{os.sys.version_info.minor}"

def install_package(package):
    """Installs a Python package into the EFS-mounted directory."""
    target_dir = PACKAGE_DIR.format(get_python_version_tag())
    os.makedirs(target_dir, exist_ok=True)
    try:
        subprocess.run(
            [
                "pip",
                "install",
                package,
                "--target",
                target_dir,
                "--upgrade",
                "--no-cache-dir",
            ],
            check=True,
        )
        print(f"Package {package} installed successfully!")
    except subprocess.CalledProcessError as e:
        print(f"Failed to install package {package}: {e}")

def handler(event, context):
    """AWS Lambda Handler for installing packages."""
    try:
        # List of packages to install from the event input
        packages = event.get("packages", [])
        for package in packages:
            install_package(package)
        #optional for see packages installed
        #os.system(f"ls -la {PACKAGE_DIR.format(get_python_version_tag())}")
        return {"statusCode": 200, "body": "Packages installed successfully!"}
    except Exception as e:
        print(f"Error: {e}")
        return {"statusCode": 500, "body": f"An error occurred: {e}"}

Langkah-langkah untuk Menguji

Apabila menggunakan fungsi Lambda anda, luluskan muatan JSON berikut:

{
    "packages": ["requests", "pandas"]
}

Sahkan Pemasangan Pakej

Navigasi ke titik lekap EFS anda (cth., /mnt/data/lib/) menggunakan sesi SSH atau AWS CLI.
Semak pakej yang dipasang di bawah tapak-pakej/ direktori.
atau gunakan mudah a untuk melihat pakej yang dipasang

import os
import subprocess

PACKAGE_DIR = "/mnt/data/lib/{}/site-packages/"

def get_python_version_tag():
    """Generates a Python version tag like 'python3.11'."""
    return f"python{os.sys.version_info.major}.{os.sys.version_info.minor}"

def install_package(package):
    """Installs a Python package into the EFS-mounted directory."""
    target_dir = PACKAGE_DIR.format(get_python_version_tag())
    os.makedirs(target_dir, exist_ok=True)
    try:
        subprocess.run(
            [
                "pip",
                "install",
                package,
                "--target",
                target_dir,
                "--upgrade",
                "--no-cache-dir",
            ],
            check=True,
        )
        print(f"Package {package} installed successfully!")
    except subprocess.CalledProcessError as e:
        print(f"Failed to install package {package}: {e}")

def handler(event, context):
    """AWS Lambda Handler for installing packages."""
    try:
        # List of packages to install from the event input
        packages = event.get("packages", [])
        for package in packages:
            install_package(package)
        #optional for see packages installed
        #os.system(f"ls -la {PACKAGE_DIR.format(get_python_version_tag())}")
        return {"statusCode": 200, "body": "Packages installed successfully!"}
    except Exception as e:
        print(f"Error: {e}")
        return {"statusCode": 500, "body": f"An error occurred: {e}"}

Akhirnya Gunakan Ketergantungan yang Dipasang dalam Lambda

Kemas kini pengendali fungsi Lambda anda untuk memasukkan kebergantungan yang dipasang pada EFS, kunci di sini ialah lekapkan laluan kebergantungan dalam efs ke PYTHONPATH pengendali lambda:

Nota Penting

Semua fungsi Lambda yang ingin menggunakan kebergantungan yang dipasang mesti melampirkan EFS pada Lambda. Tanpa lampiran ini, Lambda tidak akan dapat mengakses kebergantungan yang diperlukan yang disimpan pada EFS.

{
    "packages": ["requests", "pandas"]
}

Faedah Utama

Walaupun memasang kebergantungan Python secara langsung dalam EFS bukan amalan biasa, ia menawarkan kelebihan tertentu dalam senario di mana pengehadan lalai Lambda, seperti saiz lapisan unzip 250 MB, menjadi terhad. Pendekatan ini amat berfaedah untuk aplikasi yang memerlukan pengiraan geospatial dengan perpustakaan berat seperti Panda, Shaply dan GeoPandas, yang selalunya melebihi had saiz lapisan.

Faedah Menggunakan EFS untuk Ketergantungan:

• Pintas Had Saiz Lapisan Lambda: Pasang dan gunakan perpustakaan tanpa perlu risau tentang kekangan pembungkusan.
• Dayakan Pemprosesan Geospatial Berskala Besar: Mengendalikan pengiraan spatial yang kompleks dalam persekitaran tanpa pelayan.
• Perkemas Pengurusan Ketergantungan: Tambah atau kemas kini perpustakaan secara dinamik tanpa menggunakan semula fungsi Lambda anda.

Penyelesaian ini sesuai untuk tugas pemprosesan data lanjutan, seperti analisis geospatial, juga membolehkan penskalaan storan yang mudah seperti yang diperlukan, sambil mengekalkan fleksibiliti seni bina tanpa pelayan.

Atas ialah kandungan terperinci Memasang Ketergantungan Python pada AWS Lambda Menggunakan EFS. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!