Déployez des modèles de visages câlins sur AWS Lambda en quelques étapes

Vous avez toujours voulu déployer un modèle Hugging Face sur AWS Lambda, mais vous êtes resté coincé avec la construction de conteneurs, les démarrages à froid et la mise en cache des modèles ? Voici comment le faire en moins de 5 minutes avec Scaffoldly.

TL;DR

1. Créez un système de fichiers EFS nommé .cache dans AWS :

   • Accédez à la console AWS EFS
   • Cliquez sur "Créer un système de fichiers"
   • Nommez-le .cache
   • Sélectionnez n'importe quel VPC (Scaffoldly s'occupera du reste !)

2. Créez votre application à partir de la branche python-huggingface :
   

    npx scaffoldly create app --template python-huggingface
   

   Copier après la connexion

   Copier après la connexion

3. Déployez-le :
   

    cd my-app && npx scaffoldly deploy
   

   Copier après la connexion

   Copier après la connexion

C'est ça ! Vous obtiendrez un modèle Hugging Face exécuté sur Lambda (en utilisant openai-community/gpt2 comme exemple), avec une mise en cache et un déploiement de conteneurs appropriés.

Conseil de pro : Pour la configuration EFS, vous pouvez la personnaliser jusqu'à un seul AZ en mode Burstable pour encore plus d'économies. Scaffoldly fera correspondre la fonction Lambda au VPC, aux sous-réseaux et au groupe de sécurité de l'EFS.

✨ Découvrez la démo en direct et l'exemple de code !

Le problème

Le déploiement de modèles ML sur AWS Lambda implique traditionnellement :

• Création et gestion de conteneurs Docker
• Déterminer la mise en cache et le stockage des modèles
• Gérer les limites de taille de Lambda
• Gestion des démarrages à froid
• Configuration des points de terminaison de l'API

C'est beaucoup de travail d'infrastructure quand on veut juste servir un modèle !

La solution

Scaffoldly gère toute cette complexité avec un simple fichier de configuration. Voici une application complète qui sert un modèle Hugging Face (en utilisant openai-community/gpt2 comme exemple) :

# app.py
from flask import Flask
from transformers import pipeline
app = Flask(__name__)
generator = pipeline('text-generation', model='openai-community/gpt2')
@app.route("/")
def hello_world():
    output = generator("Hello, world,")
    return output[0]['generated_text']

// requirements.txt
Flask ~= 3.0
gunicorn ~= 23.0
torch ~= 2.5
numpy ~= 2.1
transformers ~= 4.46
huggingface_hub[cli] ~= 0.26

// scaffoldly.json
{
  "name": "python-huggingface",
  "runtime": "python:3.12",
  "handler": "localhost:8000",
  "files": ["app.py"],
  "packages": ["pip:requirements.txt"],
  "resources": ["arn::elasticfilesystem:::file-system/.cache"],
  "schedules": {
    "@immediately": "huggingface-cli download openai-community/gpt2"
  },
  "scripts": {
    "start": "gunicorn app:app"
  },
  "memorySize": 1024
}

Comment ça marche

Scaffoldly fait des choses intelligentes dans les coulisses :

1. Construction de conteneurs intelligents :

   • Crée automatiquement un conteneur Docker optimisé pour Lambda
   • Gère toutes les dépendances Python, y compris PyTorch
   • Pousse vers ECR sans que vous écriviez de commandes Docker

2. Gestion efficace des modèles :

   • Utilise Amazon EFS pour mettre en cache les fichiers de modèle
   • Pré-télécharge les modèles après le déploiement pour des démarrages à froid plus rapides
   • Monte automatiquement le cache dans Lambda

3. Configuration prête pour Lambda :

   • Rus up un bon serveur WSGI (gunicorn)
   • Crée une URL de fonction Lambda publique
   • Demandes d'URL de fonction proxy à gunicorn
   • Gère les rôles et les autorisations IAM

À quoi ressemble le déploiement

Voici le résultat d'une commande npx scaffoldly déployer que j'ai exécutée sur cet exemple :

Performances et coûts réels

✅ Coûts : ~0,20 $/jour pour AWS Lambda, ECR et EFS

✅ Démarrage à froid : ~20s pour première demande (chargement du modèle)

✅ Demandes chaleureuses : 5 à 20 s (inférence basée sur le CPU)

Bien que cette configuration utilise l'inférence CPU (qui est plus lente que le GPU), il s'agit d'un moyen incroyablement rentable d'expérimenter des modèles ML ou de servir des points de terminaison à faible trafic.

Personnalisation pour d'autres modèles

Vous souhaitez utiliser un modèle différent ? Mettez simplement à jour deux fichiers :

1. Changez le modèle dans app.py :

 npx scaffoldly create app --template python-huggingface

1. Mettez à jour le téléchargement dans scaffoldly.json :

 cd my-app && npx scaffoldly deploy

Utilisation de modèles privés ou fermés

Scaffoldly prend en charge les modèles privés et fermés via la variable d'environnement HF_TOKEN. Vous pouvez ajouter votre jeton Hugging Face de plusieurs manières :

• Développement local : Ajoutez à votre profil shell (.bashrc, .zprofile, etc.) :

# app.py
from flask import Flask
from transformers import pipeline
app = Flask(__name__)
generator = pipeline('text-generation', model='openai-community/gpt2')
@app.route("/")
def hello_world():
    output = generator("Hello, world,")
    return output[0]['generated_text']

• CI/CD : ajouter comme secret d'actions GitHub :

// requirements.txt
Flask ~= 3.0
gunicorn ~= 23.0
torch ~= 2.5
numpy ~= 2.1
transformers ~= 4.46
huggingface_hub[cli] ~= 0.26

Le jeton sera automatiquement utilisé pour télécharger et accéder à vos modèles privés ou sécurisés.

Bonus CI/CD

Scaffoldly génère même une action GitHub pour les déploiements automatisés :

// scaffoldly.json
{
  "name": "python-huggingface",
  "runtime": "python:3.12",
  "handler": "localhost:8000",
  "files": ["app.py"],
  "packages": ["pip:requirements.txt"],
  "resources": ["arn::elasticfilesystem:::file-system/.cache"],
  "schedules": {
    "@immediately": "huggingface-cli download openai-community/gpt2"
  },
  "scripts": {
    "start": "gunicorn app:app"
  },
  "memorySize": 1024
}

Essayez-le vous-même

L'exemple complet est disponible sur GitHub :
échafaudage/exemples d'échafaudage#python-huggingface

Et vous pouvez créer votre propre copie de cet exemple en exécutant :

generator = pipeline('text-generation', model='your-model-here')

Vous pouvez le voir fonctionner en direct (bien que les réponses puissent être lentes en raison de l'inférence du processeur) :
Démo en direct

Quelle est la prochaine étape ?

• Essayez de déployer différents modèles Hugging Face
• Rejoignez la communauté Scaffoldly sur Discord
• Découvrez d'autres exemples
• Startez nos dépôts si vous avez trouvé cela utile !
  • La chaîne d'outils d'échafaudage
  • Le référentiel d'exemples Scaffoldly

Licences

Scaffoldly est Open Source et les contributions de la communauté sont les bienvenues.

• Les exemples sont sous licence Apache-2.0.
• La chaîne d'outils d'échafaudage est sous licence FSL-1.1-Apache-2.0.

Quels autres modèles souhaitez-vous exécuter dans AWS Lambda ? Faites-le moi savoir dans les commentaires !

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!