用Python网络爬虫来看看最近电影院都有哪些上映的电影

Freigeben: 2023-07-25 17:21:57
nach vorne
1730 人浏览过

/1 前言/

    猫眼电影是淘宝联合打造电影分类最全的电影的平台,能够第一时间告知用户,最新的电影上线时间。今天教大家获取猫眼电影的即将上映的电影详情。

用Python网络爬虫来看看最近电影院都有哪些上映的电影

/2 项目目标/

    获取猫眼电影的即将上映的电影详情。


/3 项目准备/

软件:PyCharm

需要的库:requestslxmlrandomtime

插件:Xpath

网站如下:

https://maoyan.com/films?showType=2&offset={}
Nach dem Login kopieren

点击下一页的按钮,观察到网站的变化分别如下:

https://maoyan.com/films?showType=2&offset=30
https://maoyan.com/films?showType=2&offset=60
https://maoyan.com/films?showType=2&offset=90
Nach dem Login kopieren

点击下一页时,页面每增加一页offset=()每次增加30,所以可以用{}代替变换的变量,再用for循环遍历这网址,实现多个网址请求。

/4 项目实现/

1、定义一个class类继承object,定义init方法继承self,主函数main继承self。导入需要的库和网址,代码如下所示。

import requests
from lxml import etree


import time
import random


class MaoyanSpider(object):
    def __init__(self):
      self.url = "https://maoyan.com/films?showType=2&offset={}"


    def main(self):
        pass


if __name__ == '__main__':
    spider = MaoyanSpider()
    spider.main()
Nach dem Login kopieren


2、随机产生UserAgent。

 for i in range(1, 50):
    # ua.random,一定要写在这里,每次请求都会随机选择。
        self.headers = {
            'User-Agent': ua.random,
        }
Nach dem Login kopieren


3、发送请求,获取页面响应。

def get_page(self, url):
  # random.choice一定要写在这里,每次请求都会随机选择
  res = requests.get(url, headers=self.headers)
  res.encoding = 'utf-8'
  html = res.text
  self.parse_page(html)
Nach dem Login kopieren


4、xpath解析一级页面数据,获取页面信息。

1)基准xpath节点对象列表。

 #  创建解析对象
parse_html = etree.HTML(html)
# 基准xpath节点对象列表
dd_list = parse_html.xpath('//dl[@class="movie-list"]//dd')
Nach dem Login kopieren


2)依次遍历每个节点对象,提取数据。

 for dd in dd_list:
    name = dd.xpath('.//div[@class="movie-hover-title"]//span[@class="name noscore"]/text()')[0].strip()
    star = dd.xpath('.//div[@class="movie-hover-info"]//div[@class="movie-hover-title"][3]/text()')[1].strip()
    type = dd.xpath('.//div[@class="movie-hover-info"]//div[@class="movie-hover-title"][2]/text()')[1].strip()
    dowld=dd.xpath('.//div[@class="movie-item-hover"]/a/@href')[0].strip()
    # print(movie_dict)
    movie = '''【即将上映】
Nach dem Login kopieren


5、定义movie,保存打印数据。

 movie = '''【即将上映】
            
电影名字: %s


主演:%s


类型:%s
详情链接:https://maoyan.com%s
=========================================================
                                   ''' % (name, star, type,dowld)
print( movie)
Nach dem Login kopieren


6、random.randint()方法,设置时间延时。

time.sleep(random.randint(1, 3))
Nach dem Login kopieren


7、调用方法,实现功能。

html = self.get_page(url)
self.parse_page(html)
Nach dem Login kopieren


/5 效果展示/

1、点击绿色小三角运行输入起始页,终止页。

用Python网络爬虫来看看最近电影院都有哪些上映的电影


2、运行程序后,结果显示在控制台,如下图所示。

用Python网络爬虫来看看最近电影院都有哪些上映的电影


3、点击蓝色下载链接, 网络查看详情。

用Python网络爬虫来看看最近电影院都有哪些上映的电影


/6 小结/

1、不建议抓取太多数据,容易对服务器造成负载,浅尝辄止即可。

2、本文基于Python网络爬虫,利用爬虫库,实现爬取猫眼电影。

以上是用Python网络爬虫来看看最近电影院都有哪些上映的电影的详细内容。更多信息请关注PHP中文网其他相关文章!

Verwandte Etiketten:
Quelle:Go语言进阶学习
Erklärung dieser Website
Der Inhalt dieses Artikels wird freiwillig von Internetnutzern beigesteuert und das Urheberrecht liegt beim ursprünglichen Autor. Diese Website übernimmt keine entsprechende rechtliche Verantwortung. Wenn Sie Inhalte finden, bei denen der Verdacht eines Plagiats oder einer Rechtsverletzung besteht, wenden Sie sich bitte an admin@php.cn
Beliebte Tutorials
Mehr>
Neueste Downloads
Mehr>
Web-Effekte
Quellcode der Website
Website-Materialien
Frontend-Vorlage
Über uns Haftungsausschluss Sitemap
Chinesische PHP-Website:Online-PHP-Schulung für das Gemeinwohl,Helfen Sie PHP-Lernenden, sich schnell weiterzuentwickeln!