Rumah > pembangunan bahagian belakang > Tutorial Python > Ucapkan Selamat Tinggal kepada Syot Kilat Yatim: Automatikkan Pembersihan dengan Tanpa Pelayan, Terraform dan AWS EventBridge!

Ucapkan Selamat Tinggal kepada Syot Kilat Yatim: Automatikkan Pembersihan dengan Tanpa Pelayan, Terraform dan AWS EventBridge!

Susan Sarandon
Lepaskan: 2024-10-30 18:03:03
asal
509 orang telah melayarinya

Say Goodbye to Orphaned Snapshots: Automate Cleanup with Serverless, Terraform, and AWS EventBridge!

Dari masa ke masa, akaun AWS boleh mengumpul sumber yang tidak lagi diperlukan tetapi terus menanggung kos. Satu contoh biasa ialah syot kilat EBS yatim yang ditinggalkan selepas volum dipadamkan. Mengurus syot kilat ini secara manual boleh membosankan dan mahal.

Panduan ini menunjukkan cara untuk mengautomasikan pembersihan syot kilat EBS yatim piatu menggunakan Python (Boto3) dan Terraform dalam fungsi AWS Lambda, yang kemudiannya dicetuskan menggunakan AWS EventBridge pada jadual atau acara.

Pada akhirnya, anda akan mempunyai penyelesaian tanpa pelayan yang lengkap untuk memastikan persekitaran AWS anda bersih dan kos efektif.

Langkah 1: Memasang AWS CLI dan Terraform

Pertama, mari pastikan alatan penting dipasang.

AWS CLI
AWS CLI membenarkan akses baris perintah kepada perkhidmatan AWS. Pasang mengikut sistem pengendalian anda:

macOS: brew install awscli
Windows: Pemasang AWS CLI
Linux: Gunakan pengurus pakej (cth., sudo apt install awscli untuk Ubuntu).
Sahkan pemasangan:

aws --version
Salin selepas log masuk
Salin selepas log masuk

Terraform
Terraform ialah alat Infrastruktur sebagai Kod (IaC) yang popular untuk mentakrif dan mengurus sumber AWS.

macOS: brew install terraform
Tingkap: Pemasang Terraform
Linux: Muat turun binari dan alihkannya ke /usr/local/bin.

Sahkan pemasangan:

terraform -version
Salin selepas log masuk
Salin selepas log masuk

Langkah 2: Mengkonfigurasi Akses AWS

Konfigurasikan AWS CLI anda dengan kekunci akses untuk membenarkan Terraform dan Lambda membuat pengesahan dengan perkhidmatan AWS.

Dapatkan Kunci Akses daripada akaun AWS anda (AWS IAM Console).
Konfigurasikan AWS CLI:

aws configure
Salin selepas log masuk
Salin selepas log masuk

Ikuti gesaan untuk memasukkan Kunci Akses anda, Kunci Akses Rahsia, wilayah lalai (cth., us-east-1) dan format output (cth., json).

Langkah 3: Kod Python untuk Pembersihan Syot Kilat Anak Yatim

Arahan langkah demi langkah untuk mencipta fungsi Lambda disediakan di sini.

Fungsi Lambda ini menggunakan Boto3, SDK Python AWS, untuk menyenaraikan semua syot kilat EBS, menyemak status volum yang berkaitan dan memadamkan syot kilat di mana volum tidak lagi tersedia. Berikut ialah kod fungsi lengkap:

import boto3
import logging

logger = logging.getLogger()
logger.setLevel(logging.INFO)

def lambda_handler(event, context):
    ec2_cli = boto3.client("ec2")
    response = ec2_cli.describe_snapshots(OwnerIds=["self"], DryRun=False)
    snapshot_id = []
    for each_snapshot in response["Snapshots"]:
        try:
            volume_stat = ec2_cli.describe_volume_status(
                VolumeIds=[each_snapshot["VolumeId"]], DryRun=False
            )
        except ec2_cli.exceptions.ClientError as e:
            if e.response["Error"]["Code"] == "InvalidVolume.NotFound":
                snapshot_id.append(each_snapshot["SnapshotId"])
            else:
                raise e

    if snapshot_id:
        for each_snap in snapshot_id:
            try:
                ec2_cli.delete_snapshot(SnapshotId=each_snap)
                logger.info(f"Deleted SnapshotId {each_snap}")
            except ec2_cli.exceptions.ClientError as e:
                return {
                    "statusCode": 500,
                    "body": f"Error deleting snapshot {each_snap}: {e}",
                }

    return {"statusCode": 200}
Salin selepas log masuk
Salin selepas log masuk

Langkah 4: Konfigurasi Terraform untuk Infrastruktur Tanpa Pelayan

Menggunakan Terraform, kami akan mencipta fungsi Lambda, peranan IAM dan dasar untuk menggunakan skrip ini ke AWS. Selain itu, kami akan menyediakan peraturan EventBridge untuk mencetuskan Lambda mengikut jadual biasa.

Persediaan Terraform dan Konfigurasi Pembekal
Bahagian ini mengkonfigurasi Terraform, termasuk menyediakan pengurusan keadaan jauh dalam S3.
Nota: Tukar nilai versi_perlu mengikut keluaran versi terraform.

aws --version
Salin selepas log masuk
Salin selepas log masuk

Peranan dan Dasar IAM untuk Lambda
Konfigurasi IAM ini menyediakan kebenaran untuk Lambda mengakses EC2 dan CloudWatch, mendayakan pemadaman syot kilat dan pengelogan.

terraform -version
Salin selepas log masuk
Salin selepas log masuk

Membungkus dan Menggunakan Fungsi Lambda
Di sini, kami membungkus kod Python dan menggunakan ia sebagai fungsi Lambda.

aws configure
Salin selepas log masuk
Salin selepas log masuk

Peraturan EventBridge untuk Invocation Lambda
AWS EventBridge membolehkan anda membuat pencetus berjadual atau berasaskan peristiwa untuk fungsi Lambda. Di sini, kami akan mengkonfigurasi EventBridge untuk menggunakan fungsi Lambda kami mengikut jadual, seperti setiap 24 jam. Anda boleh mengetahui lebih lanjut tentang EventBridge dan acara yang dijadualkan dalam dokumentasi AWS di sini.

import boto3
import logging

logger = logging.getLogger()
logger.setLevel(logging.INFO)

def lambda_handler(event, context):
    ec2_cli = boto3.client("ec2")
    response = ec2_cli.describe_snapshots(OwnerIds=["self"], DryRun=False)
    snapshot_id = []
    for each_snapshot in response["Snapshots"]:
        try:
            volume_stat = ec2_cli.describe_volume_status(
                VolumeIds=[each_snapshot["VolumeId"]], DryRun=False
            )
        except ec2_cli.exceptions.ClientError as e:
            if e.response["Error"]["Code"] == "InvalidVolume.NotFound":
                snapshot_id.append(each_snapshot["SnapshotId"])
            else:
                raise e

    if snapshot_id:
        for each_snap in snapshot_id:
            try:
                ec2_cli.delete_snapshot(SnapshotId=each_snap)
                logger.info(f"Deleted SnapshotId {each_snap}")
            except ec2_cli.exceptions.ClientError as e:
                return {
                    "statusCode": 500,
                    "body": f"Error deleting snapshot {each_snap}: {e}",
                }

    return {"statusCode": 200}
Salin selepas log masuk
Salin selepas log masuk

Langkah 5: Menggunakan Konfigurasi Terraform

Selepas menentukan infrastruktur, mulakan dan gunakan konfigurasi Terraform:

terraform {
  required_version = ">=1.5.6"
  required_providers {
    aws = {
      source  = "hashicorp/aws"
      version = "~> 5.72.0"
    }
  }
  backend "s3" {
    bucket         = "terraform-state-files-0110"
    key            = "delete-orphan-snapshots/terraform.tfstate"
    region         = "us-east-1"
    dynamodb_table = "tf_state_file_locking"
  }
}

provider "aws" {
  region = "us-east-1"
}
Salin selepas log masuk

Langkah 6: Menguji dan Memantau Fungsi Lambda

Untuk mengesahkan bahawa penyelesaian berfungsi:

  1. Cetuskan Acara Secara Manual (pilihan): Untuk ujian awal, cetuskan fungsi Lambda secara manual daripada konsol AWS Lambda.
  2. Pantau Log CloudWatch: Fungsi Lambda menulis log ke CloudWatch, tempat anda boleh menyemak entri untuk mengesahkan pemadaman syot kilat.
  3. Laraskan Jadual mengikut Keperluan: Ubah suai schedule_expression untuk menetapkan kekerapan tersuai untuk pembersihan syot kilat.

Membungkus
Dengan menggabungkan Python (Boto3), Terraform dan AWS EventBridge, kami telah mencipta penyelesaian automatik sepenuhnya tanpa pelayan untuk membersihkan syot kilat EBS yatim piatu. Persediaan ini bukan sahaja mengurangkan kos awan tetapi juga menggalakkan persekitaran AWS yang kemas dan cekap. Dengan seruan berjadual, anda boleh yakin bahawa sumber yatim piatu dialih keluar secara konsisten.

Cuba penyelesaian ini dalam akaun AWS anda sendiri dan alami manfaat automasi dalam pengurusan sumber awan!

Atas ialah kandungan terperinci Ucapkan Selamat Tinggal kepada Syot Kilat Yatim: Automatikkan Pembersihan dengan Tanpa Pelayan, Terraform dan AWS EventBridge!. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!

sumber:dev.to
Kenyataan Laman Web ini
Kandungan artikel ini disumbangkan secara sukarela oleh netizen, dan hak cipta adalah milik pengarang asal. Laman web ini tidak memikul tanggungjawab undang-undang yang sepadan. Jika anda menemui sebarang kandungan yang disyaki plagiarisme atau pelanggaran, sila hubungi admin@php.cn
Artikel terbaru oleh pengarang
Tutorial Popular
Lagi>
Muat turun terkini
Lagi>
kesan web
Kod sumber laman web
Bahan laman web
Templat hujung hadapan