網頁爬蟲 - python3.4.1 request模組報錯 'list' object has no attribute 'get'

用python 寫了一個爬取ip位址的爬蟲，由於該網站是反爬蟲的，所以寫了代理使用線程池開啟10個線程來爬取ip地址然而直接報錯'list' object has no attribute 'get'不知道如何解決，貼上本人代碼。 from bs4 import...

世界只因有你 2017-06-12 09:24:16 0  3  3564

redis - 行python爬蟲時，MySQL版本是5.7，總是報錯

執行python爬蟲時，MySQL版本是5.7，總是報錯 {程式碼...} 問題出在什麼地方？怎麼解決呢？

扔个三星炸死你 2017-06-12 09:19:42 0  2  947

PHP爬蟲是如何連接到動態爬蟲代理的？

php爬蟲是如何接入爬蟲代理的呢，之前用的是python  和php一樣的 嗎 接入方式？

Laical 2020-03-13 17:10:19 0  0  1146

網頁爬蟲 - Python爬蟲入門知識

本人快大二了，自習了Python，文法基本上會。想學下爬蟲，但是感覺這牽涉到好多知識啊，有沒有過來人總結下都有什麼知識，或者Python爬蟲該怎麼學？

欧阳克 2017-07-05 10:34:11 0  3  1228

python - 關於爬蟲爬取圖片的問題？

現在的爬蟲通常都是從html裡面解析出圖片，但問題是有的圖片路徑寫在js裡面。這個怎麼爬？我知道瀏覽器打開f12點source可以看裡面的圖片，但要怎麼用爬蟲把source裡面的資源爬出來？

我想大声告诉你 2017-06-28 09:25:40 0  2  1067

php - snoopy爬蟲 報錯405 Not Allowed

程式碼$httpClass = new Snoopy();$httpClass->fetch('https://v.qq.com/');$url = $httpClass->results;print_r($url);die();爬取https://www.baidu.com/就一直報405錯誤爬取https://v.qq.com/ 是正常運作...

高洛峰 2017-05-16 12:58:40 0  2  636

node.js - node爬蟲，如何使用IP池防反爬？

問題是這樣的，本菜鳥剛開始學node，當然，明顯是衝著爬蟲去的。然後我最近在看一本小說，但是那些免費的小說網站廣告太多，所以計劃寫個爬蟲把整本小說爬下來，但是遇到url請求次數太頻繁，以至於會遭反爬，被屏. ..

为情所困 2017-06-05 11:13:33 0  1  1264

java - 爬蟲爬取圖片問題？

剛剛修改了下POM,大家可以重新下載源碼這是我寫的爬蟲的項目地址項目不報錯，但是問題是下載圖片到本地後經常性的是圖片不完整，如下： 這是下載圖片的核心代碼，如下： {程式碼...} 經過資料查詢，感覺是範圍請...

天蓬老师 2017-06-23 09:12:30 0  1  884

網頁爬蟲 - python requests爬蟲問題

我在使用requests爬蟲的時候，出現了這樣一個問題，我提交帳號密碼後，網頁首先不會提交，而是會有一個防刷的標識，url也沒有改變，然後刷新之後，網頁的data才被提交到另一個頁面，請問我如何直接提交，或者可以...

仅有的幸福 2017-05-27 17:39:37 0  1  599

網頁爬蟲 - Python requests.get 爬蟲 設定代理 IP位址未改變

工作需要爬取亞馬遜上面的訊息，但是亞馬遜反爬蟲太厲害，同一個IP位址會被封。 Python版本：3.6， IDE：Pycharm 2017.1上網查了很多資料，requests函式庫的手冊也讀過，但是都是同一個方法，程式碼如下： {程式碼...} ...

typecho 2017-06-12 09:24:11 0  1  1234

python - 爬蟲內容儲存成文字檔案 編碼問題

測試一個非常簡單的爬蟲，把一個非常簡約風格的網頁的文字內容儲存到本地的電腦上。最後出現錯誤： {代碼...} 代碼如下： {代碼...}

欧阳克 2017-06-12 09:26:21 0  1  898

網頁爬蟲 - node.js 爬蟲 外部呼叫函數無法取得變數值

最近想自己寫個爬蟲爬點小說看一下,但是碰到了一些困難console.log(catalogUrl)能夠打印出所需要的網址但是我期望的是我在外部調用var xxx = getCatalogUrl(book)這個函數能夠獲取catalogUrl這個變數的值我試...

習慣沉默 2017-05-16 13:25:17 0  2  556

網頁爬蟲 - Java爬蟲已取得圖片連結但是無法下載圖片

利用爬蟲在html中獲取的相應圖片資源src的代碼是這樣的但是再通過代碼將資源轉成鏈接的形式下載圖片的時候，就報了400的錯誤然而，我使用chrome去測試鏈接是否存在是，發現，真正對方網站伺服器能夠辨識的是也...

黄舟 2017-05-17 10:01:58 0  2  618

python - csdn爬蟲評論

https://github.com/xchaoinfo/fuck-login/blob/master/015%20CSDN/csdn.py 根據87-88行的註釋說明，為什麼用爬蟲去評論csdn文章的時候需要轉化成這個鏈接，這個連結是怎麼得來的，我看了下網頁程式碼沒有相關連結...

仅有的幸福 2017-05-18 10:53:42 0  2  904

selenium - 請教 Python 爬蟲工具

1)我要抓的是Instagram 某明星的粉絲2)Instagram pc 站使用了大量的js 渲染3)沒寫過爬蟲,老闆明天就要數據我目前使用的是BeautifulSoup, selenium 和phantomjs 代碼demo 大概是{代碼...} 問題是:1) 我不知道...

阿神 2017-06-28 09:22:20 0  1  1034

新手求教python3如何把dict循環寫入csv檔（進行爬蟲時遇到的問題）？

爬蟲生成dict後，想寫入csv文件，卻出錯使用jupyter notebook,window環境。具體程式碼如下 {程式碼...} 執行上面程式碼，提示錯誤為 ValueError: too many values to unpack (expected 2)透過查詢原因是要將dict遍...

我想大声告诉你 2017-05-18 10:49:20 0  3  1475

如何使用PHP爬蟲採集亞馬遜？

由於上次亞馬遜網站升級，導致爬蟲掛掉，現在亞馬遜的反扒策略更加嚴格。導致無法正常採集。有新的採集策略嗎？

Laical 2020-03-26 17:20:49 0  0  1251

node.js - node爬蟲，request設定代理，總是報錯求助

我用request爬取圖片，為了防止ip被封，用了代理，可是用了代理後，總是報錯。 nodejs用到了request和async模組 {程式碼...} download(item,cb) ，cb是async中控制流程的回呼函數: {程式碼...} 每次下載沒幾個，就報錯...

学习ing 2017-06-21 10:12:18 0  2  1091

angular.js - 百度爬蟲如何處理「#」符號？

由於採用angular，整站都是ajax方式加載，這樣非常不利於SEO。針對百度的angular的SEO成了問題。現在想問一下 百度的爬蟲，如何處理URL中的#符號

高洛峰 2017-05-15 16:54:39 0  2  624

python爬蟲 - scrapy使用redis的時候，redis需要進行一些設定嗎？

用scrapy+redis+mongodb寫了個爬蟲，運行時不能爬取所有符合規則的網址，猜想是不是redis需要進行設定之類的，求高手解答。

巴扎黑 2017-04-24 09:12:00 0  1  524