Python에서 크롤러의 실제 사용: Kuwo 음악 크롤러

인터넷 시대에 정보는 매우 중요해졌고, 데이터는 가치의 초석 중 하나가 되었으며, 웹 크롤러는 데이터를 획득하고 처리하는 중요한 도구 중 하나입니다. Python 언어는 단순성, 학습 용이성 및 효율성으로 인해 많은 크롤러 프로그래머가 선택하는 프로그래밍 언어가 되었습니다. 본 글에서는 Python 언어를 사용하여 Kuwo Music 웹사이트의 데이터를 실제 사례를 통해 크롤링하고, 데이터 분석 및 처리를 수행해 보겠습니다.

Kuwo Music은 중국에서 가장 잘 알려진 음악 플레이어 중 하나이며, 수많은 음악 리소스와 사용자 그룹을 보유하고 있습니다. Kuwo Music 웹사이트를 예로 들어 데이터 크롤링의 구체적인 구현 과정을 소개하겠습니다.

1. 데이터 분석

크롤링에 앞서 먼저 대상 사이트의 웹페이지 구조와 데이터 저장 방식을 분석해야 합니다. Kuwo Music 웹페이지를 열면 웹페이지 주소와 음악 ID 사이에 분명한 상관관계가 있음을 확인할 수 있습니다. 웹페이지 주소 뒤에 "/song/"과 음악 ID를 추가하면 해당 음악의 상세 페이지에 액세스할 수 있습니다.

음악의 세부 페이지를 열고 노래 이름, 아티스트, 앨범, 노래 재생 시간, 재생 볼륨, 댓글 수 등 귀중한 데이터가 많이 있다는 것을 확인하세요. 이 정보는 웹페이지 태그 형태로 HTML 파일에 저장됩니다. 페이지 소스 코드를 보면 대부분의 관련 정보가 "__songinfo__" 및 "__detailed_infoclearfix__" 클래스가 있는 태그에 숨겨져 있음을 알 수 있습니다.

2. 크롤러 구현

크롤러의 핵심은 데이터 크롤링과 저장을 별도로 구현하는 것입니다.

1. 데이터 크롤링

음악 ID가 포함된 목록을 받아 해당 음악에 해당하는 페이지에 액세스하여 유용한 정보를 크롤링하는 함수를 정의해야 합니다. 구체적인 구현은 다음과 같습니다.

import requests
from bs4 import BeautifulSoup

def get_music_info(musicids):
    musicinfo = []
    for musicid in musicids:
        url = 'http://www.kuwo.cn/play_detail/' + str(musicid)
        headers = {
            'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
        response = requests.get(url, headers=headers)
        response.encoding = response.apparent_encoding
        soup = BeautifulSoup(response.text, 'html.parser')

        music_title = soup.find('h1', class_='info_tit').text.strip() # 歌曲名称
        artist = soup.find('p', class_='name').text.strip() # 歌手
        album = soup.find('a', class_='sname').text.strip() # 专辑
        duration = soup.find('span', class_='hilight').text.strip() # 歌曲时长
        play_counts = soup.find('em', class_='num').text.strip() # 播放量
        comments_counts = soup.find('em', class_='sub').text.strip() # 评论数

        musicinfo.append([musicid, music_title, artist, album, duration, play_counts, comments_counts])
        print('正在爬取音乐《{}》信息'.format(music_title))
    return musicinfo

위 코드는 요청 라이브러리와 BeautifulSoup 라이브러리를 사용하여 웹 페이지를 요청하고 HTML 파일을 구문 분석하여 유용한 태그 정보를 얻습니다. 그 중 헤더는 서버에서 차단되는 것을 방지하기 위해 Chrome 브라우저 액세스를 시뮬레이션하는 위장된 헤더입니다.

2. 데이터 저장

크롤링된 데이터를 CSV 형식으로 저장합니다. 사용하기 전에 CSV 라이브러리를 가져와야 합니다.

import csv

그런 다음 데이터를 저장하고 크롤링된 음악을 저장하는 기능을 정의해야 합니다. 정보를 저장하고 올바른 CSV 형식으로 로컬 파일에 저장합니다. 구체적인 구현은 다음과 같습니다.

def save_csv(save_path, data_list):
    with open(save_path, 'w', newline='') as f:
        writer = csv.writer(f)
        writer.writerow(['歌曲ID', '歌曲名称', '歌手', '专辑', '歌曲时长', '播放量', '评论数'])
        writer.writerows(data_list)
    print("数据已保存至{}".format(save_path))

위 코드는 CSV 라이브러리의writer() 메서드를 사용하여 파일에 음악 정보를 씁니다. 참고로 CSV 파일의 파일 구분 기호는 쉼표이며, 파일에 쓸 때 줄 사이의 빈 줄을 수정하려면 newline='' 을 사용해야 합니다.

3. 데이터 분석

데이터 크롤링 및 저장이 완료되면 데이터 분석 및 처리를 시작할 수 있습니다. Python 언어에서는 pandas 및 matplotlib와 같은 라이브러리를 사용하여 데이터 분석 및 시각화를 쉽게 구현할 수 있습니다.

1. 라이브러리 가져오기

데이터 분석은 주로 pandas 및 matplotlib 라이브러리를 사용하므로 관련 라이브러리를 가져오려면 다음 코드를 사용해야 합니다.

import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns

2. 파일 읽기

pandas 라이브러리, 저장된 CSV 파일을 DataFrame으로 읽어옵니다. 구체적인 구현은 다음과 같습니다.

music_data = pd.read_csv('music_data.csv')

3. 데이터 필터링 및 정렬

pandas에서 sort_values() 메서드를 사용하여 데이터를 내림차순으로 정렬할 수 있습니다. 플레이 횟수 play_counts를 사용하고 head() 메서드를 사용하면 처음 20개 데이터만 유지됩니다.

top_20_play_counts = music_data.sort_values('播放量', ascending=False).head(20)

4. 데이터 시각화

matplotlib 라이브러리를 사용하여 데이터 시각화를 달성하면 데이터 간의 관계와 추세를 더 명확하게 이해할 수 있습니다. 다음 코드를 사용하여 상위 20개 Kuwo 음악 재생의 음악 곡선 차트를 그릴 수 있습니다.

plt.figure(figsize=(20, 8)) # 设置图像大小
sns.lineplot(x='歌曲名称', y='播放量', data=top_20_play_counts) # 绘制曲线图
plt.xticks(rotation=90, fontsize=14) # 调整x轴刻度大小和旋转角度
plt.yticks(fontsize=14) # 调整y轴刻度大小
plt.xlabel('歌曲名称', fontsize=16) # 坐标轴标题
plt.ylabel('播放量', fontsize=16)
plt.title('酷我音乐播放量排名前20的歌曲', fontsize=20) # 图像标题
plt.show() # 显示图像

위의 코드를 통해 쿠워뮤직 상위 20곡의 재생 추세를 보다 직관적으로 이해할 수 있습니다.

4. 요약

이 기사에서는 실제 크롤러 전투에서 Python 언어의 사용을 자세히 설명하기 위해 실제 사례를 사용합니다. 웹 페이지 구조 및 데이터 저장 방법을 분석하고, 데이터 크롤링을 위해 요청 및 BeautifulSoup 라이브러리를 사용하고, 마지막으로 데이터 분석 및 시각화를 위해 pandas 및 matplotlib 라이브러리를 사용합니다. 실제로 크롤러 분야에서 Python 언어를 적용하는 방법을 더 잘 이해하고 싶습니다.

위 내용은 Python에서 크롤러의 실제 사용: Kuwo 음악 크롤러의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!