Comment utiliser Python pour télécharger des images simultanément avec plusieurs threads-Tutoriel Python-php.cn

Comment télécharger un grand nombre d'images en utilisant Comment utiliser Comment utiliser Python pour télécharger des images simultanément avec plusieurs threads pour télécharger des images simultanément avec plusieurs threads ? L'article suivant vous expliquera comment utiliser Comment utiliser Comment utiliser Python pour télécharger des images simultanément avec plusieurs threads pour télécharger des images simultanément avec plusieurs threads pour télécharger des images simultanément avec plusieurs threads. J'espère qu'il vous sera utile !

Comment utiliser Python pour télécharger des images simultanément avec plusieurs threads

Parfois, cela prend des heures pour télécharger un grand nombre d'images - réparons cela

Je comprends - vous en avez assez d'attendre que votre programme télécharge des images. Parfois, je dois télécharger des milliers d'images, ce qui prend des heures, et vous ne pouvez pas attendre que votre programme ait fini de télécharger ces images stupides. Vous avez beaucoup de choses importantes à faire.

Créons un script de téléchargement d'images simple qui lira un fichier texte et téléchargera très rapidement toutes les images répertoriées dans un dossier.

Effet Final

C'est ce que nous allons construire à la fin.

image downloader python

Comment utiliser Comment utiliser Python pour télécharger des images simultanément avec plusieurs threads pour télécharger des images simultanément avec plusieurs threads

Installation des dépendances

Installons la bibliothèque de requêtes préférées de chacun.

pip install requests

Copier après la connexion

Nous allons maintenant voir du code de base pour télécharger une seule URL et essayer de trouver automatiquement le nom de l'image et comment utiliser les tentatives.

import requests

res = requests.get(img_url, stream=True)
count = 1
while res.status_code != 200 and count <= 5:
    res = requests.get(img_url, stream=True)
    print(f&#39;Retry: {count} {img_url}&#39;)
    count += 1

Copier après la connexion

Ici, nous réessayons de télécharger l'image cinq fois en cas d'échec. Essayons maintenant de trouver automatiquement le nom de l'image et de l'enregistrer.

import more required library

import io
from PIL import Image

# lets try to find the image name
image_name = str(img_url[(img_url.rfind(&#39;/&#39;)) + 1:])
if &#39;?&#39; in image_name:
    image_name = image_name[:image_name.find(&#39;?&#39;)]

Copier après la connexion

Explication

Supposons que l'URL que nous voulons télécharger soit :

instagram.fktm7-1.fna.fbcdn.net/vp...

D'accord, c'est le bordel. Décomposons ce que fait le code pour l'URL. Nous utilisons d'abord rfind pour trouver la dernière barre oblique (/), puis nous sélectionnons tout après cela. Voici les résultat >? et prenez n'importe quoi devant. rfind 找到最后一个正斜杠（/），然后选择之后的所有内容。这是结果：

65872070_1200425330158967_6201268309743367902_n.jpg?_nc_ht=instagram.fktm7–1.fna.fbcdn.net&_nc_cat=111

现在我们的第二部分找到一个 ?，然后只取它前面的任何东西。

这是我们最终的图像名称：

65872070_1200425330158967_6201268309743367902_n.jpg

这个结果非常好，适用于大多数用例。

现在我们已经下载了图像名称和图像，我们将保存它。

i = Image.open(io.BytesIO(res.content))
i.save(image_name)

Copier après la connexion

如果你在想，「我到底应该怎么使用上面的代码？」那么你的想法是正确的。这是一个漂亮的函数，我们在上面所做的一切都被扁平处理了。在这里，我们还测试了下载的类型是否为图像，以防找不到图像名称。

def image_downloader(img_url: str):
    """
    Input:
    param: img_url  str (Image url)
    Tries to download the image url and use name provided in headers. Else it randomly picks a name
    """
    print(f&#39;Downloading: {img_url}&#39;)
    res = requests.get(img_url, stream=True)
    count = 1
    while res.status_code != 200 and count <= 5:
        res = requests.get(img_url, stream=True)
        print(f&#39;Retry: {count} {img_url}&#39;)
        count += 1
    # checking the type for image
    if &#39;image&#39; not in res.headers.get("content-type", &#39;&#39;):
        print(&#39;ERROR: URL doesnot appear to be an image&#39;)
        return False
    # Trying to red image name from response headers
    try:
        image_name = str(img_url[(img_url.rfind(&#39;/&#39;)) + 1:])
        if &#39;?&#39; in image_name:
            image_name = image_name[:image_name.find(&#39;?&#39;)]
    except:
        image_name = str(random.randint(11111, 99999))+&#39;.jpg&#39;

    i = Image.open(io.BytesIO(res.content))
    download_location = &#39;cats&#39;
    i.save(download_location + &#39;/&#39;+image_name)
    return f&#39;Download complete: {img_url}&#39;

Copier après la connexion

现在，你可能会问：「这个人所说的多处理在哪里？」。

这很简单。我们将简单地定义我们的池并将我们的函数和图像 URL 传递给它。

results = ThreadPool(process).imap_unordered(image_downloader, images_url)
for r in results:
    print(r)

Copier après la connexion

让我们把它放在一个函数中：

def run_downloader(process:int, images_url:list):
    """
    Inputs:
        process: (int) number of process to run
        images_url:(list) list of images url
    """
    print(f&#39;MESSAGE: Running {process} process&#39;)
    results = ThreadPool(process).imap_unordered(image_downloader, images_url)
    for r in results:
        print(r)

Copier après la connexion

再一次，你可能会说，「这一切都很好，但我想立即开始下载我的 1000 张图像列表。我不想复制和粘贴所有这些代码并试图弄清楚如何合并所有内容。」

这是一个完整的脚本。它执行以下操作：

以图像列表文本文件和进程号作为输入
按照您想要的速度下载它们
打印下载文件的总时间
还有一些不错的函数可以帮助我们读取文件名并处理错误和其他东西

完整的脚本

# -*- coding: utf-8 -*-
import io
import random
import shutil
import sys
from multiprocessing.pool import ThreadPool
import pathlib

import requests
from PIL import Image
import time

start = time.time()

def get_download_location():
    try:
        url_input = sys.argv[1]
    except IndexError:
        print(&#39;ERROR: Please provide the txt file\n$python image_downloader.py cats.txt&#39;)
    name = url_input.split(&#39;.&#39;)[0]
    pathlib.Path(name).mkdir(parents=True, exist_ok=True)
    return name

def get_urls():
    """
    通过读取终端中作为参数提供的 txt 文件返回 url 列表
    """
    try:
        url_input = sys.argv[1]
    except IndexError:
        print(&#39;ERROR: Please provide the txt file\n Example \n\n$python image_downloader.py dogs.txt \n\n&#39;)
        sys.exit()
    with open(url_input, &#39;r&#39;) as f:
        images_url = f.read().splitlines()

    print(&#39;{} Images detected&#39;.format(len(images_url)))
    return images_url

def image_downloader(img_url: str):
    """
    输入选项:
    参数: img_url  str (Image url)
    尝试下载图像 url 并使用标题中提供的名称。否则它会随机选择一个名字
    """
    print(f&#39;Downloading: {img_url}&#39;)
    res = requests.get(img_url, stream=True)
    count = 1
    while res.status_code != 200 and count <= 5:
        res = requests.get(img_url, stream=True)
        print(f&#39;Retry: {count} {img_url}&#39;)
        count += 1
    # checking the type for image
    if &#39;image&#39; not in res.headers.get("content-type", &#39;&#39;):
        print(&#39;ERROR: URL doesnot appear to be an image&#39;)
        return False
    # Trying to red image name from response headers
    try:
        image_name = str(img_url[(img_url.rfind(&#39;/&#39;)) + 1:])
        if &#39;?&#39; in image_name:
            image_name = image_name[:image_name.find(&#39;?&#39;)]
    except:
        image_name = str(random.randint(11111, 99999))+&#39;.jpg&#39;

    i = Image.open(io.BytesIO(res.content))
    download_location = get_download_location()
    i.save(download_location + &#39;/&#39;+image_name)
    return f&#39;Download complete: {img_url}&#39;

def run_downloader(process:int, images_url:list):
    """
    输入项:
        process: (int) number of process to run
        images_url:(list) list of images url
    """
    print(f&#39;MESSAGE: Running {process} process&#39;)
    results = ThreadPool(process).imap_unordered(image_downloader, images_url)
    for r in results:
        print(r)

try:
    num_process = int(sys.argv[2])
except:
    num_process = 10

images_url = get_urls()
run_downloader(num_process, images_url)

end = time.time()
print(&#39;Time taken to download {}&#39;.format(len(get_urls())))
print(end - start)

Copier après la connexion

将其保存到 Comment utiliser Comment utiliser Python pour télécharger des images simultanément avec plusieurs threads pour télécharger des images simultanément avec plusieurs threads 文件中，然后运行它。

python3 image_downloader.py cats.txt

Copier après la connexion

这是 GitHub 存储库的链接。

用法

python3 image_downloader.py <filename_with_urls_seperated_by_newline.txt> <num_of_process>

Copier après la connexion

这将读取文本文件中的所有 URL，并将它们下载到名称与文件名相同的文件夹中。

num_of_process

Voici le nom final de notre image :

65872070_1200425330158967_6201268309743367902_n.jpg

Ce résultat est très bon et convient à la plupart des cas d'utilisation.

image downloader python Maintenant que nous avons téléchargé le nom de l'image et l'image, nous allons l'enregistrer.

python3 image_downloader.py cats.txt

Copier après la connexion

Si vous vous demandez : « Comment diable suis-je censé utiliser le code ci-dessus, alors vous avez raison ? C'est une belle fonction et tout ce que nous avons fait dessus est aplati. Ici, nous testons également si le type téléchargé est une image, au cas où le nom de l'image ne serait pas trouvé. Comment utiliser Comment utiliser Python pour télécharger des images simultanément avec plusieurs threads pour télécharger des images simultanément avec plusieurs threads rrreee

Maintenant, vous vous demandez peut-être : « Où est le multitraitement dont cette personne parle ? ».

C'est facile. Nous allons simplement définir notre pool et lui transmettre notre fonction et l'URL de notre image.

rrreeeMettons cela dans une fonction : rrreee

Encore une fois, vous pourriez dire : « C'est bien beau, mais je veux commencer à télécharger ma liste de 1000 images immédiatement, je ne veux pas copier et. collez-les tous Le code et essayez de comprendre comment tout fusionner 🎜🎜Il s'agit d'un script complet. Il effectue les opérations suivantes : 🎜

🎜 prend en entrée un fichier texte de liste d'images et un numéro de processus 🎜
🎜 à la vitesse à laquelle vous voulez les télécharger 🎜
🎜Imprimer la durée totale de téléchargement du fichier🎜
🎜Il existe également des fonctions intéressantes qui nous aident à lire les noms de fichiers et à gérer les erreurs et autres éléments🎜

🎜🎜Script complet🎜🎜rrreee🎜Enregistrez-le dans un fichier Comment utiliser Comment utiliser Python pour télécharger des images simultanément avec plusieurs threads pour télécharger des images simultanément avec plusieurs threads et exécutez-le. 🎜rrreee🎜Ceci est un lien vers le référentiel GitHub🎜. 🎜🎜🎜Usage🎜🎜rrreee🎜Cela lira toutes les URL du fichier texte et les téléchargera dans un dossier portant le même nom que le nom du fichier. 🎜🎜num_of_process est facultatif (par défaut, il utilise 10 processus). 🎜🎜🎜🎜Exemple🎜🎜🎜rrreee🎜🎜🎜🎜🎜🎜🎜Je serais heureux de recevoir toute réponse sur la façon d'améliorer cela davantage. 🎜🎜【Recommandation associée : 🎜Tutoriel vidéo Comment utiliser Comment utiliser Python pour télécharger des images simultanément avec plusieurs threads pour télécharger des images simultanément avec plusieurs threads3🎜】🎜

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!