python - pyspider 定時爬取問題

在寫爬蟲的時候，發現 在程式碼中設定了 every 之後，21號爬取了一次之後，今天看 result 沒有更新，那個 lastcrawltime 依舊是 21號的。請問是不是我的參數設定的不正確？

我想大声告诉你 2017-05-18 10:53:29 0  2  979

python - scrapy 爬取pages比實際進入items的多得多？

{程式碼...} 為什麼我使用scrapy爬取的時候訪問pages要比實際進入items的的多的多?就是爬了半天items裡沒有幾條數據入庫的有什麼辦法解決麼？

PHP中文网 2017-05-18 10:47:40 0  1  673

javascript - 為什麼我用phantomjs抓取頁面，如果頁面資料多就抓取不到？

我想抓取一個愛淘寶的搜尋頁面，它是有js渲染產生的頁面，所以我選擇用phantomjs抓取。但是在抓取過程中出現一個問題。當搜尋結果超過兩個的時候，就取得不到數據。但是截圖顯示資料載入正常。不知道是淘寶做了限...

習慣沉默 2017-07-05 10:50:52 0  1  913

java如何爬取js處理後的程式碼

頁面位址: http://acm.hdu.edu.cn/showpro... 爬取的目標: 想要爬取這些個公式的程式碼，Chrome按F12看到的程式碼: 但是爬取到的程式碼如下:這個程式碼並不能顯示正確的公式，似乎這些程式碼都是js產生的，該如何爬取到這...

为情所困 2017-05-17 10:04:18 0  2  645

python - 鬥魚追蹤人數爬下來是張加載圖片，如何爬取追蹤人數

爬取鬥魚追蹤人數顯示 {程式碼...} 等網站載入完畢顯示 {程式碼...} 應該如何爬取這種資料？

巴扎黑 2017-07-05 10:34:08 0  1  993

如何在nginx上防止惡意的ddos抓取

首先我對別人抓取我網站的內容完全沒有意見，我也不是一定要嚴格限制別人抓取，但是某些人的抓取完全沒有底線，用一個腳本甚至多個腳本並發的去抓取某個伺服器的內容，跟ddos沒有差別。我的伺服器目前就遇到了這...

黄舟 2017-05-16 17:30:17 0  4  1080

curl爬取網頁是數據

如果url連結給的是https://mbd.baidu.com/newspage/data/landingsuper?context=%7B%22nid%22%3A%22news_4480296238548479181%22%7D&n_type=0&p_from=1 的連結怎麼取網頁資訊

phpcn_u68041 2017-12-07 10:08:47 0  5  1221

php源碼怎麼透過取得代理ip的介面自訂切換來爬取資料呢？

php源碼怎麼透過取得代理ip的介面自訂切換來爬取資料呢？ php源碼怎麼透過取得代理ip的介面自訂切換來爬取資料呢？

chen 2022-11-04 23:36:05 0  0  580

python - 關於爬蟲爬取圖片的問題？

現在的爬蟲通常都是從html裡面解析出圖片，但問題是有的圖片路徑寫在js裡面。這個怎麼爬？我知道瀏覽器打開f12點source可以看裡面的圖片，但要怎麼用爬蟲把source裡面的資源爬出來？

我想大声告诉你 2017-06-28 09:25:40 0  2  1044

php抓取網頁數據

我有這樣的一些需求，抓取百度外帶商家端的網頁https://wmpass.baidu.com/ucen...，但是這個網頁是使用模組化前端框架寫的，查看原始碼就只能看到一些渲染之前的原始碼，我用的querylist取得到的不是頁面渲染之後...

PHP中文网 2017-05-24 11:34:27 0  1  889

python多執行緒爬取文件，怎麼設定超時重連。

用python爬取資料時，單一進程裡開啟多執行緒抓取，畢竟IO密集我就沒搞多進程了。程式碼如下 {程式碼...} 但是只要一個執行緒的requests沒有回傳值，執行緒就會一直等待，也不會寫入，所以會出現，主行程一直沒阻塞的問題...

黄舟 2017-05-18 11:02:31 0  1  840

node.js - node爬蟲，如何使用IP池防反爬？

問題是這樣的，本菜鳥剛開始學node，當然，明顯是衝著爬蟲去的。然後我最近在看一本小說，但是那些免費的小說網站廣告太多，所以計劃寫個爬蟲把整本小說爬下來，但是遇到url請求次數太頻繁，以至於會遭反爬，被屏. ..

为情所困 2017-06-05 11:13:33 0  1  1238

各位python爬蟲大牛看過來,這個網站的反爬蟲怎麼處理

https://www.everysaving.co.uk透過python爬取這個網站的資料,然而回不了資料,！我加入了header和代理IP去抓取,也不行,望各位大牛們不妨試試看。 。 。

曾经蜡笔没有小新 2017-05-18 11:01:00 0  4  778

javascript - node爬取微博

剛接觸node,想寫個爬蟲，爬取新浪微博評論，但是發現頁面是由JS動態生成的，用http模組爬取不到，然後用phantomjs爬取，（聽說會比較慢，運行了近15分鐘，這也太慢了，不知是否寫錯），還是不行，問一下有什麼辦...

仅有的幸福 2017-06-30 10:00:08 0  1  1001

javascript - superagent爬取網站出現重定向問題

用superagent爬網頁，遇到重定向，拿不到重定向後的響應體，該如何解決，如何獲取重定向後的網頁我想獲取501頁面的res，但是他跳到37018頁面，導致我拿到501頁的空res。測試了爬取不到的網頁，發現有2種情...

迷茫 2017-05-31 10:38:19 0  1  859

網路爬蟲過程中無法定位HTML元素。該元素在網站檢查工具中可見

我正在嘗試從此URL中爬取所有表格的標題：https://www.nature.com/articles/s41586-023-06192-4我可以在網站上找到這個HTML元素：<bid="Tab1"data- test="table-caption">Table1CalculatedCt–M–Ctangles</b>我無法爬取這個標題

P粉225961749 2023-09-19 12:41:46 0  1  602

python - 使用scrapy框架爬百度圖片被牆

請求地址url是透過firefox查看得到的json的位址，用瀏覽器可以打開，但是用scrapy爬的時候就被ban了求解決方法。 https://image.baidu.com/searc...

给我你的怀抱 2017-05-24 11:34:48 0  3  672

node.js - 關於Node爬蟲爬小說的問題

{程式碼...} 下面是我請求的程式碼，具體章節列表我在另一個js裡面爬出來寫在json裡面了，這邊是直接請求每個連結的了: {程式碼...} 就和這個一樣，爬了一段時間就這樣了，就跟死機了似得，後面不管等多久都沒動靜，設...

巴扎黑 2017-05-16 13:38:49 0  1  623

Python爬取網頁requests亂碼

**之前有在裁判文書上爬取數據，這段時間重新運行爬蟲後發現無法獲取網頁數據，找了一下發現requests網頁源碼返回的是亂碼** （如下截取一部分返回的數據：&lt;meta http -equiv="Content-Type" content="text/htm...

phpcn_u1582 2017-06-22 11:51:56 0  4  1262

laravel - 使用Guzzle軟體爬 , 如何登入？

筆者在laravel框架使用Guzzle爬我的主頁上的數據，純屬興趣；但是獲取的頁面是登錄頁面；筆者試過，這種寫法，但是沒用 {代碼...} 希望有大牛告知？

学习ing 2017-06-13 09:24:34 0  1  827