一：前言

這次爬取的是喜馬拉雅的熱門專欄下全部電台的每個頻道的信息和頻道中的每個音頻數據的各種信息，然後把爬取的數據儲存到mongodb以備後續使用。這次數據量在70萬左右。音訊資料包括音訊下載位址，頻道訊息，簡介等等，非常多。
昨天進行了人生中第一次面試，對方是一家人工智慧大數據公司，我準備在這大二的暑假去實習，他們就要求有爬取過音頻數據，所以我就來分析一下喜馬拉雅的音訊資料爬下來。目前我還在等待三面中，或是通知最終面試訊息。（因為能得到一定肯定，不管成功與否都很開心）

二：運行環境

IDE：Pycharm 2017

Python3.6

pymongo 3.4.0

requests 2.14.2

lxml 3.7.2

BeautifulSoup 4.5.3

三：實例分析

1.首先進入這次爬取的主頁，可以看到每頁12個頻道，每個頻道下面有很多的音頻，有的頻道中還有很多分頁。抓取計劃：循環84個頁面，對每個頁面解析後抓取每個頻道的名稱，圖片鏈接，頻道鏈接保存到mongodb。

熱門頻道

2.開啟開發者模式，分析頁面，很快就可以得到想要的資料的位置。下面的程式碼就實現了抓取全部熱門頻道的訊息，就可以儲存到mongodb。

start_urls = [&#39;http://www.ximalaya.com/dq/all/{}&#39;.format(num) for num in range(1, 85)]for start_url in start_urls:html = requests.get(start_url, headers=headers1).text
    soup = BeautifulSoup(html, &#39;lxml&#39;)for item in soup.find_all(class_="albumfaceOutter"):content = {&#39;href&#39;: item.a[&#39;href&#39;],&#39;title&#39;: item.img[&#39;alt&#39;],&#39;img_url&#39;: item.img[&#39;src&#39;]
        }
        print(content)

登入後複製

分析頻道

３.以下就是開始取得每個頻道中的全部音訊資料了，前面透過解析頁面取得了美國頻道的連結。例如我們進入　這個連結後分析頁面結構。可以看出每個音訊都有特定的ID，這個ID可以在一個div中的屬性中取得。使用split()和int()來轉換為單獨的ID。

頻道頁面分析

4.接著點擊一個音訊鏈接，進入開發者模式後刷新頁面然後點擊XHR，再點擊一個json連結可以看到這個就包括這個音訊的全部詳細資訊。

html = requests.get(url, headers=headers2).text
numlist = etree.HTML(html).xpath(&#39;//div[@class="personal_body"]/@sound_ids&#39;)[0].split(&#39;,&#39;)for i in numlist:
    murl = &#39;http://www.ximalaya.com/tracks/{}.json&#39;.format(i)html = requests.get(murl, headers=headers1).text
    dic = json.loads(html)

登入後複製

音訊頁面分析

#######5.上面只是對一個頻道的主頁面解析全部音訊信息，但是實際上頻道的音訊連結是有很多分頁的。 ###

html = requests.get(url, headers=headers2).text
ifanother = etree.HTML(html).xpath(&#39;//div[@class="pagingBar_wrapper"]/a[last()-1]/@data-page&#39;)if len(ifanother):num = ifanother[0]
    print(&#39;本频道资源存在&#39; + num + &#39;个页面&#39;)for n in range(1, int(num)):
        print(&#39;开始解析{}个中的第{}个页面&#39;.format(num, n))
        url2 = url + &#39;?page={}&#39;.format(n)# 之后就接解析音频页函数就行，后面有完整代码说明

登入後複製

############分頁#########6.全部程式碼###完整程式碼位址github.com/rieuse/learnPython###

__author__ = &#39;布咯咯_rieuse&#39;import jsonimport randomimport timeimport pymongoimport requestsfrom bs4 import BeautifulSoupfrom lxml import etree

clients = pymongo.MongoClient(&#39;localhost&#39;)
db = clients["XiMaLaYa"]
col1 = db["album"]
col2 = db["detaile"]

UA_LIST = []  # 很多User-Agent用来随机使用可以防ban，显示不方便不贴出来了
headers1 = {} # 访问网页的headers，这里显示不方便我就不贴出来了
headers2 = {} # 访问网页的headers这里显示不方便我就不贴出来了def get_url():
    start_urls = [&#39;http://www.ximalaya.com/dq/all/{}&#39;.format(num) for num in range(1, 85)]for start_url in start_urls:
        html = requests.get(start_url, headers=headers1).text
        soup = BeautifulSoup(html, &#39;lxml&#39;)for item in soup.find_all(class_="albumfaceOutter"):
            content = {&#39;href&#39;: item.a[&#39;href&#39;],&#39;title&#39;: item.img[&#39;alt&#39;],&#39;img_url&#39;: item.img[&#39;src&#39;]
            }
            col1.insert(content)
            print(&#39;写入一个频道&#39; + item.a[&#39;href&#39;])
            print(content)
            another(item.a[&#39;href&#39;])
        time.sleep(1)def another(url):
    html = requests.get(url, headers=headers2).text
    ifanother = etree.HTML(html).xpath(&#39;//div[@class="pagingBar_wrapper"]/a[last()-1]/@data-page&#39;)if len(ifanother):
        num = ifanother[0]
        print(&#39;本频道资源存在&#39; + num + &#39;个页面&#39;)for n in range(1, int(num)):
            print(&#39;开始解析{}个中的第{}个页面&#39;.format(num, n))
            url2 = url + &#39;?page={}&#39;.format(n)
            get_m4a(url2)
    get_m4a(url)def get_m4a(url):
    time.sleep(1)
    html = requests.get(url, headers=headers2).text
    numlist = etree.HTML(html).xpath(&#39;//div[@class="personal_body"]/@sound_ids&#39;)[0].split(&#39;,&#39;)for i in numlist:
        murl = &#39;http://www.ximalaya.com/tracks/{}.json&#39;.format(i)
        html = requests.get(murl, headers=headers1).text
        dic = json.loads(html)
        col2.insert(dic)
        print(murl + &#39;中的数据已被成功插入mongodb&#39;)if __name__ == &#39;__main__&#39;:
    get_url()

登入後複製

### 7.如果改成非同步的形式可以快一點，只要修改成下面這樣就行了。我試了每分鐘要比普通的多獲取近100條數據。這個原始碼也在github中。 ###############非同步#######