Python 爬虫进阶？

class WPooler:

    def __init__(self, maxsize=1024, concurrent=4):
        self.queue = queue.Queue(maxsize=maxsize)
        self.concurrent = concurrent
        self.threads = []

        for i in range(self.concurrent):
            self.threads.append(WThreader(self.queue))

        for thread in self.threads:
            thread.start()

    def do(self, func, args=(), kwargs={}, callback=None):
        self.queue.put((func, args, kwargs, callback))

    def async(self, callback=None):
        return Asyncer(self, callback=callback)

    def wait(self):
        self.queue.join()


class WThreader(threading.Thread):

    def __init__(self, queue):
        threading.Thread.__init__(self, daemon=True)
        self.queue = queue

    def run(self):
        while True:
            func, args, kwargs, callback = self.queue.get(block=True)
            try:
                r = func(*args, **kwargs)
                if callback:
                    callback(r)
            except Exception as e:
                logging.exception(e)
            finally:
                self.queue.task_done()

爬虫是在没有（用）API获取数据的情况下以Hack的方式获取数据的一种有效手段；进阶，就是从爬取简单页面逐渐过渡到复杂页面的过程。针对特定需求，爬取的网站类型不同，可以使用不同的python库相结合，达到快速抓取数据的目的。但是无论使用什么库，第一步分析目标网页的页面元素发现抓取规律总是必不可少的：有些爬虫是通过访问固定url前缀拼接不同的后缀进行循环抓取，有些是通过一个起始url作为种子url继而获取更多的目标url递归抓取；有些网页是静态数据可以直接获取，有些网页是js渲染数据需要构造二次请求……如果统统都写下来，一篇文章是不够的，这里举几个典型的栗子：

1. 页面url为固定url前缀拼接不同的后缀：

如《失控》这本书， ISBN: 7513300712 ，对应url为 "http://openisbn.com/isbn/7513300712/ " ，分析url规律就是以 "http://openisbn.com/isbn/" 作为固定前缀然后拼接ISBN号得到；然后分析页面元素，Chrome右键 —> 检查：

我先直接使用urllib2 + re 来获得“Category:” 信息:

#-*- coding:UTF-8 -*-

import re
import urllib2


isbn = '7513300712'
url = 'http://openisbn.com/isbn/{0}'.format(isbn)
category_pattern = re.compile(r'Category: *.*, ')
html = urllib2.urlopen(url).read()
category_info = category_pattern.findall(html)

if len(category_info) > 0 :
    print category_info[0]
else:
    print 'get category failed.'

http://weixin.sogou.com/gzh?openid=oIWsFt4ORWCSUS8szIwVLoRuAq9M