Python verbindet und betreibt die MySQL-Datenbank, hauptsächlich über das Pymysql-Modul. Hier erklären wir, wie Sie die erfassten Daten in einer MySQL-Datenbank speichern.
Stellen Sie zunächst sicher, dass die MySQL-Datenbank auf Ihrem Computer installiert ist, und gehen Sie dann wie folgt vor:
# 1. 连接到mysql数据库 mysql -h227.0.0.1 -uroot -p123456 # 2. 建库 create database maoyandb charset utf8; # 3. 切换数据库 use maoyandb; # 4. 创建数据表 create table filmtab( name varchar(100), star varchar(400), time varchar(30) );
1) Stellen Sie eine Verbindung zur Datenbank her
db = pymysql.connect('localhost','root','123456','maoyandb')
Parameterbeschreibung:
localhost: Die lokale MySQL-Serveradresse oder die IP-Adresse der Remote-Datenbank.
root: der Benutzername, der für die Verbindung zu den Daten verwendet wird.
Passwort: Das Passwort, das zum Herstellen einer Verbindung zur Datenbank verwendet wird. Das lokale MySQL-Server-Passwort lautet „123456“.
db: Der Name der verbundenen Datenbank.
2) Cursorobjekt erstellen
cursor = db.cursor()
3) SQL-Befehl ausführen
execute()-Methode wird zum Ausführen von SQL-Anweisungen verwendet. Wie unten gezeigt:
#第一种方法：编写sql语句，使用占位符传入相应数据 sql = "insert into filmtab values('%s','%s','%s')" % ('刺杀,小说家','雷佳音','2021') cursor.excute(sql) 第二种方法：编写sql语句，使用列表传参方式 sql = 'insert into filmtab values(%s,%s,%s)' cursor.execute(sql,['刺杀,小说家','雷佳音','2021'])
4) Daten senden
db.commit()
5) Datenbank schließen
cursor.close() db.close()
Der vollständige Code lautet wie folgt:
# -*-coding:utf-8-*- import pymysql #创建对象 db = pymysql.connect('localhost','root','123456','maoyandb') cursor = db.cursor() # sql语句执性，单行插入 info_list = ['刺杀,小说家','雷佳音,杨幂','2021-2-12'] sql = 'insert into movieinfo values(%s,%s,%s)' #列表传参 cursor.execute(sql,info_list) db.commit() # 关闭 cursor.close() db.close()
Fragen Sie die Datenergebnisse wie folgt ab:
mysql> select * from movieinfo;
Es gibt auch eine effizientere Methode, nämlich die Verwendung vonexecutemany() zum Einfügen mehrerer Datenelemente gleichzeitig. Ein Beispiel ist wie folgt:
+------------+-------------------+----------+
| |. |. Lei Jiayin, 1.2 2 |
+-------------+----------- -- -----+-----------+
1 Zeilen im Satz (0,01 Sek.)
db = pymysql.connect('localhost','root','123456','maoyandb',charset='utf8') cursor = db.cursor() # sql语句执性，列表元组 info_list = [('我不是药神','徐峥','2018-07-05'),('你好,李焕英','贾玲','2021-02-12')] sql = 'insert into movieinfo values(%s,%s,%s)' cursor.executemany(sql,info_list) db.commit() # 关闭 cursor.close() db.close()
Fragen Sie die Einfügungsergebnisse wie folgt ab:
mysql> -- --------+----------------+|. Name ----------------+- -----+|. Ich bin nicht der Gott der Medizin | 12.02.2021 |
+-------------+-------------------+--- ----- ----+
2 Zeilen im Satz (0,01 Sek.)
Ändern Sie das Crawler-Programm
Ändern Sie nun das Crawler-Programm, um die erfassten Daten in der MySQL-Datenbank zu speichern. Wie unten gezeigt:Die Datenbankabfrage speichert die Ergebnisse wie folgt:# coding=gbk from urllib import request import re import time import random from ua_info import ua_list import pymysql class MaoyanSpider(object): def __init__(self): #初始化属性对象 self.url = 'https://maoyan.com/board/4?offset={}' #数据库连接对象 self.db = pymysql.connect( 'localhost','root','123456','maoyandb',charset='utf8') #创建游标对象 self.cursor = self.db.cursor() def get_html(self,url): headers = {'User-Agent':random.choice(ua_list)} req = request.Request(url=url,headers=headers) res = request.urlopen(req) html = res.read().decode() # 直接解析 self.parse_html(html) def parse_html(self,html): re_bds = '<div class="movie-item-info">.*?title="(.*?)".*?<p class="star">(.*?)</p>.*?class="releasetime">(.*?)</p>' pattern = re.compile(re_bds,re.S) r_list = pattern.findall(html) self.save_html(r_list) def save_html(self, r_list): L = [] sql = 'insert into movieinfo values(%s,%s,%s)' # 整理数据 for r in r_list: t = ( r[0].strip(), r[1].strip()[3:], r[2].strip()[5:15] ) L.append(t) print(L) # 一次性插入多条数据 L:[(),(),()] try: self.cursor.executemany(sql,L) # 将数据提交数据库 self.db.commit() except: # 发生错误则回滚 self.db.rollback() def run(self): for offset in range(0,11,10): url = self.url.format(offset) self.get_html(url) time.sleep(random.uniform(1,3)) # 断开游标与数据库连接 self.cursor.close() self.db.close() if __name__ == '__main__': start=time.time() spider = MaoyanSpider() spider.run() end=time.time() print("执行时间:%.2f" % (end-start))Nach dem Login kopieren
mysql> select * from movieinfo;
+----------------+---------------------- ---------------------+------------+
|. Name ------------ --------+
|. Xu Zheng, Zhou Yiwei, Wang Chuanjun |. The Shawshank Redemption | 10 |
|. Viggo Mortensen, Mahershala Ali, Linda Cardellini |. 2018-08-03 |
| Konkubine |. Leslie Cheung, Zhang Fengyi, Gong Li , Justino Durano, Sergio Bini Busterik |. 03.01.2020 |
|. Dieser Killer ist nicht zu kalt | 01.09.2010 |
+----------------+-------------------------------- -------------------+--------------- ------+
10 Zeilen im Satz (0,01 Sek.)Das obige ist der detaillierte Inhalt vonWie verwende ich Python Pymysql zur Datenspeicherung?. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!
