用python抓取求职网站信息-Python教程-PHP中文网

用python抓取求职网站信息

高洛峰

发布： 2017-03-19 14:05:29

原创

2101 人浏览过

这篇文章介绍用python抓取求职网站信息

本次抓取的是智联招聘网站搜索“数据分析师”之后的信息。

python版本： python3.5。

我用的主要package是 Beautifulsoup + Requests+csv

另外，我将招聘内容的简单描述也抓取下来了。

文件输出到csv文件后，发现用excel打开时有些乱码，但用文件软件打开（如notepad++）是没有问题的。

为了能用Excel打开时正确显示，我用pandas转换了以下，并添加上列名。转化完后，就可以正确显示了。关于用pandas转化，可以参考我的博客：

由于招聘内容的描述较多，最后将csv文件另存为excel文件，并调整下格式，以便于查看。

最后效果如下：用python抓取求职网站信息

实现代码如下：信息爬取的代码如下：

# Code based on Python 3.x
# _*_ coding: utf-8 _*_
# __Author: "LEMON"


from bs4 import BeautifulSoup
import requests
import csv


def download(url):
    headers = {&#39;User-Agent&#39;: &#39;Mozilla/5.0 (Windows NT 6.1; WOW64; rv:51.0) Gecko/20100101 Firefox/51.0&#39;}
    req = requests.get(url, headers=headers)
    return req.text


def get_content(html):
    soup = BeautifulSoup(html, &#39;lxml&#39;)
    body = soup.body
    data_main = body.find(&#39;div&#39;, {&#39;class&#39;: &#39;newlist_list_content&#39;})
    tables = data_main.find_all(&#39;table&#39;)

    zw_list = []
    for i,table in enumerate(tables):
        if i == 0:
            continue
        temp = []
        tds = table.find(&#39;tr&#39;).find_all(&#39;td&#39;)
        zwmc = tds[0].find(&#39;a&#39;).get_text()
        zw_link = tds[0].find(&#39;a&#39;).get(&#39;href&#39;)
        fkl = tds[1].find(&#39;span&#39;).get_text()
        gsmc = tds[2].find(&#39;a&#39;).get_text()
        zwyx = tds[3].get_text()
        gzdd = tds[4].get_text()
        gbsj = tds[5].find(&#39;span&#39;).get_text()

        tr_brief = table.find(&#39;tr&#39;, {&#39;class&#39;: &#39;newlist_tr_detail&#39;})
        brief = tr_brief.find(&#39;li&#39;, {&#39;class&#39;: &#39;newlist_deatil_last&#39;}).get_text()

        temp.append(zwmc)
        temp.append(fkl)
        temp.append(gsmc)
        temp.append(zwyx)
        temp.append(gzdd)
        temp.append(gbsj)
        temp.append(brief)
        temp.append(zw_link)

        zw_list.append(temp)
    return zw_list


def write_data(data, name):
    filename = name
    with open(filename, &#39;a&#39;, newline=&#39;&#39;, encoding=&#39;utf-8&#39;) as f:
        f_csv = csv.writer(f)
        f_csv.writerows(data)

if __name__ == &#39;__main__&#39;:

    basic_url = &#39;http://sou.zhaopin.com/jobs/searchresult.ashx?jl=%E5%85%A8%E5%9B%BD&kw=%E6%95%B0%E6%8D%AE%E5%88%86%E6%9E%90%E5%B8%88&sm=0&p=&#39;

    number_list = list(range(90)) # total number of page is 90
    for number in number_list:
        num = number + 1
        url = basic_url + str(num)
        filename = &#39;zhilian_DA.csv&#39;
        html = download(url)
        # print(html)
        data = get_content(html)
        # print(data)
        print(&#39;start saving page:&#39;, num)
        write_data(data, filename)

登录后复制

用pandas转化的代码如下：

# Code based on Python 3.x
# _*_ coding: utf-8 _*_
# __Author: "LEMON"

import pandas as pd

df = pd.read_csv(&#39;zhilian_DA.csv&#39;, header=None)


df.columns = [&#39;职位名称&#39;, &#39;反馈率&#39;, &#39;公司名称&#39;, &#39;月薪&#39;, &#39;工作地点&#39;,
           &#39;发布日期&#39;, &#39;招聘简介&#39;, &#39;网页链接&#39;]

# 将调整后的dataframe文件输出到新的csv文件
df.to_csv(&#39;zhilian_DA_update.csv&#39;, index=False)

登录后复制

以上是用python抓取求职网站信息的详细内容。更多信息请关注PHP中文网其他相关文章！