Was ist das Problem mit Warteschlangen -Thread in Go's Crawler Colly?

Go Crawler Collys Anfrage Warteschlange und Thread-Zuwächse: Eingehende Diskussion

Bei der Verwendung der Colly Crawler Library of Go ist es wichtig, die Anfrage -Warteschlange und den Mechanismus für die Genauigkeit zu verstehen. Dieser Artikel analysiert die Wechselwirkung zwischen der Anzahl der Warteschlangen in Colly und der Anfrageverzögerung und beantwortet "die Frage der Warteschlangen -Threads in Go Crawler Colly?".

Wir verwenden ein Beispiel, um zu veranschaulichen: Setzen Sie die Warteschlange -Thread -Anzahl auf 2, verwenden Sie q, _ := queue.New(2, storage) um eine Warteschlange zu erstellen, und fügen drei Anforderungen hinzu. Um den Effekt zu beobachten, setzen Sie die Sammlerverzögerung auf 5 Sekunden. Intuitiv sollten beide Anfragen fast gleichzeitig ausgestellt und nach 5 Sekunden zurückgegeben werden. Die dritte Anfrage wird nach 10 Sekunden ausgeführt.

Die tatsächlichen Ergebnisse sind jedoch unterschiedlich:

1. Es werden zwei Anfragen erstellt.
2. Nach 5 Sekunden kehrt die erste Anfrage zurück.
3. Die dritte Anfrage wird erstellt.
4. Nach weiteren 5 Sekunden kehrt die zweite Anfrage zurück.
5. Nach weiteren 5 Sekunden kehrt die dritte Anfrage zurück.

Dies zeigt, dass bei der Verarbeitung von Colly's Collector die Anfrage die Gesamtsituation der Warteschlange berücksichtigt, die Verzögerung der Anfrage selbst die tatsächliche Ausführungszeit beeinflusst. Die Anzahl der Warteschläfelthreads begrenzt die Anzahl der gleichzeitigen Anforderungen. Wenn die Anforderung jedoch festgelegt ist, überschreibt die Verzögerung den gleichzeitigen Grenzwertffekt der Anzahl der Threads. Jede Anfrage wird nach Abschluss der vorherigen Anfrage um weitere 5 Sekunden verzögert, anstatt reales parallel bearbeitet zu werden.

Collys OnRequest -Rückruffunktion wird abgefeuert, wenn die Anfrage erstellt wird, nicht wenn die Anfrage ausgestellt wird. Es wird hauptsächlich zur Vorverarbeitung vor der Anfrage verwendet, anstatt die Zeit der Anfrage zur Ausgabe zu kontrollieren. Die tatsächliche Anfrage wird durch die Verzögerungseinstellung des Sammlers festgelegt.

Wenn die Anforderung auf Verzögerung festgelegt wird, hat die Anzahl der Threads in der Kolly -Warteschlange nur geringe Auswirkungen auf die Parallelität, und die Reihenfolge und Zeit der Anforderung werden hauptsächlich durch die Verzögerungseinstellung des Sammlers gesteuert. Dies hilft, ein klareres Verständnis für Collys Warteschlangenmechanismus und Parallelitätskontrolle zu haben.

Das obige ist der detaillierte Inhalt vonWas ist das Problem mit Warteschlangen -Thread in Go's Crawler Colly?. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!