EFS를 사용하여 AWS Lambda에 Python 종속성 설치-파이썬 튜토리얼-php.cn

Installing Python Dependencies on AWS Lambda Using EFS

AWS Lambda를 사용할 때 개발자가 직면하는 일반적인 과제 중 하나는 대규모 Python 종속성을 관리하는 것입니다. 지리공간 분석과 같은 작업에 필수적인 Pandas, Shapely, GeoPandas와 같은 라이브러리는 종종 Lambda의 압축 해제 레이어 제한인 250MB를 초과합니다. 실용적인 해결책? EFS(Elastic File System)에 종속성을 저장하고 이를 Lambda 함수에 탑재하세요.

이 게시물에서는 전제 조건, 주요 이점, 단계별 구현을 포함하여 설정 과정을 살펴보겠습니다.

전제조건

이 게시물은 고급 AWS 경험이 있는 사용자를 대상으로 합니다. Lambda, EFS, VPC 및 보안 그룹과 같은 AWS 서비스에 대한 확실한 이해와 인프라 관리 및 클라우드에서 확장 가능한 솔루션 배포에 대한 지식이 있다고 가정합니다.
설정을 시작하기 전에 다음 사항을 확인하세요.

AWS Lambda 함수: EFS로 구성할 배포된 Lambda 함수입니다.
EFS 파일 시스템: 동일한 AWS 리전에서 생성된 탄력적 파일 시스템입니다.
EFS 액세스 포인트: 동일한 AWS 리전에서 생성된 EFS 액세스 포인트이며 루트 디렉터리 경로는 /data 입니다. POSIX 권한과 디렉터리 생성 권한을 다음과 같이 적절하게 설정했는지 확인하세요. 1101 및 1001, 보조 그룹 ID 1002 및 권한 0755.
VPC 및 네트워킹: Lambda 함수가 EFS와 동일한 VPC에 있고 서브넷과 보안 그룹이 올바르게 구성되어 있는지 확인하세요.
IAM 권한: Lambda 함수에는 EFS에 액세스할 수 있는 권한이 필요합니다. 적절한 정책(예: elasticfilesystem:ClientMount, elasticfilesystem:ClientWrite)을 연결합니다.

패키지 설치를 위한 핸들러 코드

핸들러는 AWS Lambda 함수에 탑재된 Amazon EFS 스토리지에 Python 종속성을 직접 설치합니다. 이 접근 방식은 Lambda 레이어의 크기 제한을 우회하므로 지리 공간 데이터 처리에 종종 필요한 pandas, geopandas 및 Shapely와 같은 무거운 종속성에 적합합니다. 실행 중에 Lambda가 사용할 필수 라이브러리를 /mnt/data 디렉터리에서 사용할 수 있는지 확인합니다.

import os
import subprocess

PACKAGE_DIR = "/mnt/data/lib/{}/site-packages/"

def get_python_version_tag():
    """Generates a Python version tag like 'python3.11'."""
    return f"python{os.sys.version_info.major}.{os.sys.version_info.minor}"

def install_package(package):
    """Installs a Python package into the EFS-mounted directory."""
    target_dir = PACKAGE_DIR.format(get_python_version_tag())
    os.makedirs(target_dir, exist_ok=True)
    try:
        subprocess.run(
            [
                "pip",
                "install",
                package,
                "--target",
                target_dir,
                "--upgrade",
                "--no-cache-dir",
            ],
            check=True,
        )
        print(f"Package {package} installed successfully!")
    except subprocess.CalledProcessError as e:
        print(f"Failed to install package {package}: {e}")

def handler(event, context):
    """AWS Lambda Handler for installing packages."""
    try:
        # List of packages to install from the event input
        packages = event.get("packages", [])
        for package in packages:
            install_package(package)
        #optional for see packages installed
        #os.system(f"ls -la {PACKAGE_DIR.format(get_python_version_tag())}")
        return {"statusCode": 200, "body": "Packages installed successfully!"}
    except Exception as e:
        print(f"Error: {e}")
        return {"statusCode": 500, "body": f"An error occurred: {e}"}

로그인 후 복사

테스트 단계

Lambda 함수를 호출할 때 다음 JSON 페이로드를 전달하세요.

{
    "packages": ["requests", "pandas"]
}

로그인 후 복사

패키지 설치 확인

SSH 세션이나 AWS CLI를 사용하여 EFS 마운트 지점(예: /mnt/data/lib/)으로 이동합니다.
site-packages/ 디렉터리에서 설치된 패키지를 확인하세요.
또는 간단히 a를 사용하여 설치된 패키지를 확인하세요

import os
import subprocess

PACKAGE_DIR = "/mnt/data/lib/{}/site-packages/"

def get_python_version_tag():
    """Generates a Python version tag like 'python3.11'."""
    return f"python{os.sys.version_info.major}.{os.sys.version_info.minor}"

def install_package(package):
    """Installs a Python package into the EFS-mounted directory."""
    target_dir = PACKAGE_DIR.format(get_python_version_tag())
    os.makedirs(target_dir, exist_ok=True)
    try:
        subprocess.run(
            [
                "pip",
                "install",
                package,
                "--target",
                target_dir,
                "--upgrade",
                "--no-cache-dir",
            ],
            check=True,
        )
        print(f"Package {package} installed successfully!")
    except subprocess.CalledProcessError as e:
        print(f"Failed to install package {package}: {e}")

def handler(event, context):
    """AWS Lambda Handler for installing packages."""
    try:
        # List of packages to install from the event input
        packages = event.get("packages", [])
        for package in packages:
            install_package(package)
        #optional for see packages installed
        #os.system(f"ls -la {PACKAGE_DIR.format(get_python_version_tag())}")
        return {"statusCode": 200, "body": "Packages installed successfully!"}
    except Exception as e:
        print(f"Error: {e}")
        return {"statusCode": 500, "body": f"An error occurred: {e}"}

로그인 후 복사

마지막으로 Lambda에 설치된 종속성 사용

EFS에 설치된 종속성을 포함하도록 Lambda 함수의 핸들러를 업데이트합니다. 여기서 핵심은 efs의 종속성 경로를 람다 핸들러의 PYTHONPATH에 마운트하는 것입니다.

중요사항

설치된 종속성을 사용하려는 모든 Lambda 함수는 EFS를 Lambda에 연결해야 합니다. 이 첨부 파일이 없으면 Lambda는 EFS에 저장된 필수 종속성에 액세스할 수 없습니다.

{
    "packages": ["requests", "pandas"]
}

로그인 후 복사

주요 이점

EFS에 Python 종속 항목을 직접 설치하는 것은 일반적인 방법은 아니지만 압축 해제된 레이어 크기 250MB와 같은 Lambda의 기본 제한이 제한되는 시나리오에서는 특정 이점을 제공합니다. 이 접근 방식은 종종 레이어 크기 제한을 초과하는 Pandas, Shapely 및 GeoPandas와 같은 무거운 라이브러리가 포함된 지리 공간 계산이 필요한 애플리케이션에 특히 유용합니다.