Go的爬蟲Colly中Queue線程的問題是什么？

Go爬蟲Colly的請求隊列與線程并發：深入探討

使用go語言的Colly爬蟲庫時，理解其請求隊列和線程并發機制至關重要。本文分析Colly中隊列線程數與請求延遲之間的交互，解答“Go爬蟲Colly中Queue線程的問題？”。

我們通過一個例子來闡述：設定隊列線程數為2，使用q, _ := queue.New(2, storage)創建隊列，并加入三個請求。為觀察效果，設置Collector的延遲為5秒。直覺上，兩個請求應幾乎同時發出，并在5秒后返回；第三個請求則在10秒后執行。

然而，實際結果卻不同：

1. 兩個請求被創建。
2. 5秒后，第一個請求返回。
3. 第三個請求被創建。
4. 另5秒后，第二個請求返回。
5. 再5秒后，第三個請求返回。

這說明Colly的Collector在處理請求時，會考慮隊列的整體情況，但請求自身的延遲會影響實際執行時間。 隊列線程數限制并發請求數量，但如果請求設置了延遲，則延遲會覆蓋線程數的并發限制效果。每個請求會在前一個請求完成后，再延遲5秒執行，而不是真正并行處理。

Colly的OnRequest回調函數在請求創建時觸發，而非請求發出時。它主要用于請求發出前的預處理，而非控制請求的發出時間。 實際請求發出時間由Collector的延遲設置決定。

因此，當請求設置了延遲時，Colly隊列的線程數對并發影響較小，請求的執行順序和時間主要由Collector的延遲設置控制。 這有助于更清晰地理解Colly的隊列機制和并發控制。