python爬蟲 - scrapy使用redis的時候，redis需要進行一些設定嗎？

用scrapy+redis+mongodb寫了個爬蟲，運行時不能爬取所有符合規則的網址，猜想是不是redis需要進行設定之類的，求高手解答。

巴扎黑 2017-04-24 09:12:00 0  1  542

laravel - 使用Guzzle軟體爬 , 如何登入？

筆者在laravel框架使用Guzzle爬我的主頁上的數據，純屬興趣；但是獲取的頁面是登錄頁面；筆者試過，這種寫法，但是沒用 {代碼...} 希望有大牛告知？

学习ing 2017-06-13 09:24:34 0  1  938

python - 使用scrapy框架爬百度圖片被牆

請求地址url是透過firefox查看得到的json的位址，用瀏覽器可以打開，但是用scrapy爬的時候就被ban了求解決方法。 https://image.baidu.com/searc...

给我你的怀抱 2017-05-24 11:34:48 0  3  733

php - 能不能繞過帳號權限的限制(只有VIP使用者才會顯示全部圖片)，爬到所有圖片？ iis伺服器

1.能不能繞過帳戶權限的限制(只有VIP使用者才會顯示全部圖片)，爬到所有圖片？ iis伺服器

世界只因有你 2017-05-17 09:55:42 0  2  731

php - java用什麼方法判斷爬過來的資料請求超時?

{程式碼...} 我是用new url 的方式來爬別人的api拿資料的.但有時會回傳{"errorCode":213,"errorMsg":"Timeout","success":"false"} 我現在是想如果返回Timeout ,我就執行某些操作..該怎麼做啊?這些返回出來的都是字...

巴扎黑 2017-05-16 13:02:09 0  2  475

python - 使用requests爬取[大街網]職位信息，嘗試多次失敗，幫忙看看我的程式碼有什麼問題？該怎麼改呢？

之前爬取過幾個靜態的網站數據，都還比較順利，這次遇到ajax，看了幾個文檔，感覺不是很難，就直接上手了，但還是卡住了。 。 。目標：爬取大街網的職位資訊。流程：1，使用瀏覽器審查元素功能查看資料動態載入的...

大家讲道理 2017-05-18 11:01:06 0  1  2212

mongodb可以匯出資料到excel嗎？

用scrapy+redis+mongodb寫的爬蟲，爬到的資料可以儲存在mongodb中，可以匯出為excel格式嗎？

伊谢尔伦 2017-04-27 09:02:42 0  2  848

node.js - node爬蟲，如何使用IP池防反爬？

問題是這樣的，本菜鳥剛開始學node，當然，明顯是衝著爬蟲去的。然後我最近在看一本小說，但是那些免費的小說網站廣告太多，所以計劃寫個爬蟲把整本小說爬下來，但是遇到url請求次數太頻繁，以至於會遭反爬，被屏. ..

为情所困 2017-06-05 11:13:33 0  1  1297

網頁爬蟲 - python3.4.1 request模組報錯 'list' object has no attribute 'get'

用python 寫了一個爬取ip位址的爬蟲，由於該網站是反爬蟲的，所以寫了代理使用線程池開啟10個線程來爬取ip地址然而直接報錯'list' object has no attribute 'get'不知道如何解決，貼上本人代碼。 from bs4 import...

世界只因有你 2017-06-12 09:24:16 0  3  3622

PHP爬蟲是如何連接到動態爬蟲代理的？

php爬蟲是如何接入爬蟲代理的呢，之前用的是python  和php一樣的 嗎 接入方式？

Laical 2020-03-13 17:10:19 0  0  1185

python + selenium + chromedriver 如何實作無介面爬取

在使用selenium爬取12306的過程中，發現使用phantomjs無法爬取，使用chromedriver就可以，應該是phantomjs被網站偵測出來後封禁了，使用chromedriver又會顯示介面，爬取效率低。現在有兩點疑問，google了好久都沒...

迷茫 2017-05-18 10:53:13 0  2  1001

javascript - node爬取微博

剛接觸node,想寫個爬蟲，爬取新浪微博評論，但是發現頁面是由JS動態生成的，用http模組爬取不到，然後用phantomjs爬取，（聽說會比較慢，運行了近15分鐘，這也太慢了，不知是否寫錯），還是不行，問一下有什麼辦...

仅有的幸福 2017-06-30 10:00:08 0  1  1047

python - 關於爬蟲爬取圖片的問題？

現在的爬蟲通常都是從html裡面解析出圖片，但問題是有的圖片路徑寫在js裡面。這個怎麼爬？我知道瀏覽器打開f12點source可以看裡面的圖片，但要怎麼用爬蟲把source裡面的資源爬出來？

我想大声告诉你 2017-06-28 09:25:40 0  2  1100

python中的一個用法不清楚

在python寫爬蟲的過程中（爬取wiki百科的詞條），使用迭代器輸出過程中出現了url["href"]想著應該屬於迭代器裡面一個用法，但卻沒有找到，求助這個用法的意思，謝謝{程式碼...} 最後一行的url["href"]，對爬取得...

阿神 2017-05-18 10:59:46 0  1  846

如何把nutch爬取的網頁內容存寫到MongoDB?

最近在做一個網絡爬蟲，想把nutch獲取的爬取內容寫到MongoDB,網上找了很多，仍然不清，我是使用nutch-1.10, 我找到的內容有提到nutch2.x 才支持mongoDB的配置！請問如何把nutch爬取的網頁內容存寫到MongoDB?謝謝！

習慣沉默 2017-04-28 09:06:15 0  0  637

python - 網頁title中包含換行，如何用正規表示式擷取出來？

在用python做CSDN的網頁爬蟲，在爬取網頁title時，我一直用的正規表示式(?<=\<title\>).+?(?=\<)在CSDN中用不了，去CSDN源碼一看，title換行顯示了所以導致原來的正則表達式無法使用，那麼，問題...

女神的闺蜜爱上我 2017-06-22 11:51:43 0  2  1067

爬取網站域名下所有鏈接

用php什麼實現爬取網站下所有的連結？輸入域名，就可以取得改域名下所有的連結。循環爬取連結的時候，又要如何去掉重複的連結？

蜻竺 2020-06-16 15:59:46 0  1  1347

python - scrapy 爬取pages比實際進入items的多得多？

{程式碼...} 為什麼我使用scrapy爬取的時候訪問pages要比實際進入items的的多的多?就是爬了半天items裡沒有幾條數據入庫的有什麼辦法解決麼？

PHP中文网 2017-05-18 10:47:40 0  1  740

PC端存取卻變成行動位址問題#python#scrapy

用scrapy 爬取喜馬拉雅，爬取PC端位址，入口連結的response沒問題，但後面response看到的是行動位址。 。 。 。 spider 程式碼如下： {程式碼...} 控制台輸出： 已經寫了一個 middlewares.RotateUserAgentMiddleware，...

淡淡烟草味 2017-06-30 09:55:13 0  2  1134

網頁爬蟲 - 部落格園部落格中的圖片怎麼用python爬取下來？

寫了一小段程式碼，爬取部落格園部落格中的圖片，這段程式碼對部分連結有效，還有一部分連結一爬就報錯，這是什麼原因呢？ {代碼...} 如圖，可以正確爬取圖片 若把url換成 {代碼...} 則立刻報錯 求解決，謝謝！

某草草 2017-05-18 10:45:39 0  1  1021