Comment puis-je restreindre la consommation de données dans les requêtes HTTP GET lors du scraping de pages Web ?

Restriction de la consommation de données dans les requêtes HTTP GET

Lors du scraping de pages HTML, il peut être avantageux de limiter la quantité de données reçues dans HTTP GET demandes afin d’éviter d’éventuels goulots d’étranglement. Ceci est particulièrement important lorsqu'il s'agit d'URL qui fournissent des données excessives.

Pour y parvenir, envisagez d'utiliser un io.LimitedReader ou io.LimitReader. Ces outils vous permettent de contrôler le nombre maximum d'octets lus à partir d'une réponse.

Utilisation de io.LimitedReader :

limitedReader := &io.LimitedReader{R: response.Body, N: limit}
body, err := io.ReadAll(limitedReader)

Utilisation de io.LimitReader :

body, err := io.ReadAll(io.LimitReader(response.Body, limit))

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!