使用 AWS Lambda 时，开发人员面临的常见挑战之一是管理大型 Python 依赖项。 Pandas、Shapely 和 GeoPandas 等库对于地理空间分析等任务至关重要，通常会超过 Lambda 的 250 MB 解压层限制。一个实用的解决方案？将您的依赖项存储在 EFS（弹性文件系统） 上并将其挂载到您的 Lambda 函数。
在这篇文章中，我们将逐步介绍其设置过程，包括先决条件、主要优势和分步实施。
这篇文章面向具有高级 AWS 经验的用户。它假设您对 Lambda、EFS、VPC 和安全组等 AWS 服务有深入的了解，并且熟悉管理基础设施和在云中部署可扩展的解决方案。
在我们深入设置之前，请确保您具备以下条件：
处理程序直接在挂载到 AWS Lambda 函数的 Amazon EFS 存储上安装 Python 依赖项。这种方法绕过了 Lambda 层的大小限制，使其适用于地理空间数据处理通常需要的重依赖项，例如 pandas、geopandas 和 shapely。它确保 /mnt/data 目录中提供所需的库，供 Lambda 在执行期间使用：
import os
import subprocess
PACKAGE_DIR = "/mnt/data/lib/{}/site-packages/"
def get_python_version_tag():
"""Generates a Python version tag like 'python3.11'."""
return f"python{os.sys.version_info.major}.{os.sys.version_info.minor}"
def install_package(package):
"""Installs a Python package into the EFS-mounted directory."""
target_dir = PACKAGE_DIR.format(get_python_version_tag())
os.makedirs(target_dir, exist_ok=True)
try:
subprocess.run(
[
"pip",
"install",
package,
"--target",
target_dir,
"--upgrade",
"--no-cache-dir",
],
check=True,
)
print(f"Package {package} installed successfully!")
except subprocess.CalledProcessError as e:
print(f"Failed to install package {package}: {e}")
def handler(event, context):
"""AWS Lambda Handler for installing packages."""
try:
# List of packages to install from the event input
packages = event.get("packages", [])
for package in packages:
install_package(package)
#optional for see packages installed
#os.system(f"ls -la {PACKAGE_DIR.format(get_python_version_tag())}")
return {"statusCode": 200, "body": "Packages installed successfully!"}
except Exception as e:
print(f"Error: {e}")
return {"statusCode": 500, "body": f"An error occurred: {e}"}
调用 Lambda 函数时，传递以下 JSON 负载：
{
"packages": ["requests", "pandas"]
}
使用 SSH 会话或 AWS CLI 导航到您的 EFS 挂载点（例如 /mnt/data/lib/）。
检查 site-packages/ 目录下已安装的软件包。
或者简单地使用 a 查看已安装的软件包
import os
import subprocess
PACKAGE_DIR = "/mnt/data/lib/{}/site-packages/"
def get_python_version_tag():
"""Generates a Python version tag like 'python3.11'."""
return f"python{os.sys.version_info.major}.{os.sys.version_info.minor}"
def install_package(package):
"""Installs a Python package into the EFS-mounted directory."""
target_dir = PACKAGE_DIR.format(get_python_version_tag())
os.makedirs(target_dir, exist_ok=True)
try:
subprocess.run(
[
"pip",
"install",
package,
"--target",
target_dir,
"--upgrade",
"--no-cache-dir",
],
check=True,
)
print(f"Package {package} installed successfully!")
except subprocess.CalledProcessError as e:
print(f"Failed to install package {package}: {e}")
def handler(event, context):
"""AWS Lambda Handler for installing packages."""
try:
# List of packages to install from the event input
packages = event.get("packages", [])
for package in packages:
install_package(package)
#optional for see packages installed
#os.system(f"ls -la {PACKAGE_DIR.format(get_python_version_tag())}")
return {"statusCode": 200, "body": "Packages installed successfully!"}
except Exception as e:
print(f"Error: {e}")
return {"statusCode": 500, "body": f"An error occurred: {e}"}
更新 Lambda 函数的处理程序以包含安装在 EFS 上的依赖项，这里的关键是将 efs 中的依赖项路径挂载到 lambda 处理程序的 PYTHONPATH：
所有希望使用已安装依赖项的 Lambda 函数都必须将 EFS 附加到 Lambda。如果没有此附件，Lambda 将无法访问 EFS 上存储的所需依赖项。
{
"packages": ["requests", "pandas"]
}
虽然直接在 EFS 中安装 Python 依赖项并不常见，但在 Lambda 的默认限制（例如 250 MB 解压缩层大小）受到限制的情况下，它提供了某些优势。这种方法对于需要使用诸如 Pandas、Shapely 和 GeoPandas 等繁重库进行地理空间计算的应用程序特别有用，这些库通常超出层大小限制。
该解决方案非常适合高级数据处理任务，例如地理空间分析，还可以根据需要轻松扩展存储，同时保持无服务器架构的灵活性。
以上是使用 EFS 在 AWS Lambda 上安装 Python 依赖项的详细内容。更多信息请关注PHP中文网其他相关文章！
