Scrapy爬虫实现千库网美图数据获取和热门分享排名
随着互联网的普及,人们对图像的需求逐渐增加,美图网站也应运而生。千库网是一个专门提供高清美图和素材资源的平台,这里面有海量精美的图片素材,可供使用者免费下载,也可以替代商业美术资源。然而,手动下载这些美图耗费时间且效率低下。因此,本文介绍如何用Scrapy爬虫实现千库网上的美图数据获取和热门分享排名。
一、安装Scrapy
安装Scrapy前,我们需要提前安装Python环境。在Python环境下,通过pip install scrapy的命令即可安装Scrapy。
二、创建Scrapy工程
打开命令行 terminal,进入想要创建工程的目录下,输入命令 scrapy startproject qkspider,即可在该目录下创建一个名为“qkspider”的Scrapy工程。
三、创建爬虫
进入工程目录,输入命令 scrapy genspider qk qkpic.com ,即可在spiders文件夹下创建一个名为“qk”的爬虫。
四、编写代码
1.修改settings.py文件
首先,打开qkspider目录下的settings.py文件,在其中添加以下代码:
ITEM_PIPELINES = {'qkspider.pipelines.QkspiderPipeline':100,}
这是为了将获取到的美图数据存储到数据库中。
2.修改pipelines.py文件
接着,我们需要打开qkspider目录下的pipelines.py文件,在其中添加以下代码:
import pymongo class QkspiderPipeline(object): def __init__(self): client = pymongo.MongoClient("mongodb://localhost:27017/") db = client['qkdb'] self.collection = db['qkpic'] def process_item(self, item, spider): self.collection.insert(dict(item)) return item
这是为了将获取到的美图数据存储到MongoDB中。
3.修改items.py文件
打开qkspider目录下的items.py文件,在其中添加以下代码:
import scrapy class QkspiderItem(scrapy.Item): title = scrapy.Field() img_url = scrapy.Field() share_num = scrapy.Field()
这是为了定义要获取的数据类型。
4.修改qk.py文件
打开spiders文件夹下的qk.py文件,在其中添加以下代码:
import scrapy from qkspider.items import QkspiderItem class QkSpider(scrapy.Spider): name = "qk" allowed_domains = ["qkpic.com"] start_urls = ["http://www.qkpic.com/"] def parse(self, response): items = [] pic_lists = response.xpath('//div[@class="index_mianpic"]/ul/li') for i, pic in enumerate(pic_lists): item = QkspiderItem() item['title'] = pic.xpath('./a/@title').extract_first() item['img_url'] = pic.xpath('./a/img/@src').extract_first() item['share_num'] = int(pic.xpath('./span/em/text()').extract_first()) items.append(item) return items
这是为了定义何种规则爬取千库网站的美图数据,并将数据存入MongoDB中。在该代码中,我们指定了要获取的美图信息,包括美图标题、URL地址、以及分享量。
五、运行爬虫
现在,我们可以在命令行 terminal 中运行刚刚编写的爬虫程序了。在qkspider目录下输入命令 scrapy crawl qk,即可运行qk.py文件中的程序,开始爬取千库网站的美图数据并存储到MongoDB中。
六、实现热门分享排名
为了获得千库网站热门分享排行榜,我们需要获取热门榜单页面的URL,并在qk.py文件中加入如下代码:
class QkSpider(scrapy.Spider): name = "qk" allowed_domains = ["qkpic.com"] start_urls = ["http://www.qkpic.com/", "http://www.qkpic.com/top/"] def parse(self, response): if response.url.startswith('http://www.qkpic.com/top/'): items = self.parse_rank_list(response) else: items = self.parse_pic_info(response) return items # 爬取热门榜单信息 def parse_rank_list(self, response): items = [] pic_lists = response.xpath('//div[@class="topcont"]/ul/li') for i, pic in enumerate(pic_lists): item = QkspiderItem() item['title'] = pic.xpath('./a/@title').extract_first() item['img_url'] = pic.xpath('./a/img/@src').extract_first() item['share_num'] = int(pic.xpath('./div[1]/i[2]/text()').extract_first()) items.append(item) return items
在该代码中,我们对start_urls赋值为网站首页以及热门榜单页面,并添加了一个新的函数parse_rank_list。
七、总结
本文介绍了如何使用Scrapy爬虫框架来爬取千库网站的美图数据。在爬虫的过程中,我们定义了需要获取的数据类型,并使用MongoDB存储获取到的数据。除此之外,本文还介绍了如何获取千库网站的热门分享排行榜,以拓展该爬虫程序的功能。
以上就是Scrapy爬虫实现千库网美图数据获取和热门分享排名的详细内容,更多请关注php中文网其它相关文章!
已抢185552个
抢已抢66879个
抢已抢352150个
抢已抢665600个
抢已抢119956个
抢已抢20422个
抢