Als ich kürzlich ein Projekt analysierte, sah ich eine Datendatei mit dem Suffix „.sqlite“. Da ich vorher noch nicht viel damit in Berührung gekommen war, überlegte ich, wie ich sie mit Python öffnen könnte und Datenanalyse und -verarbeitung durchführen, also habe ich ein wenig recherchiert.

SQLite ist eine sehr beliebte relationale Datenbank, die von einer großen Anzahl von Anwendungen verwendet wird, da sie sehr leichtgewichtig ist.

Wie CSV-Dateien kann SQLite Daten in einer einzigen Datendatei speichern, um sie einfach mit anderen Personen zu teilen. Viele Programmiersprachen unterstützen die Verarbeitung von SQLite-Daten, und die Python-Sprache bildet da keine Ausnahme.

sqlite3 ist eine Standardbibliothek von Python, die zur Verarbeitung von SQLite-Datenbanken verwendet werden kann.

Verwenden Sie sqlite3 zum Erstellen und Betreiben von Datenbankdateien

Für die SQL-Anweisungen der Datenbank werden in diesem Artikel die grundlegendsten SQL-Anweisungen verwendet, die sich nicht auf das Lesen auswirken sollten. Wenn Sie mehr wissen möchten, können Sie auf die folgende Website verweisen:

Als Nächstes wenden wir das salite3-Modul an, um SQLite-Datendateien zu erstellen und Datenlese- und -schreibvorgänge durchzuführen. Die Hauptschritte sind wie folgt:

1. Stellen Sie eine Verbindung mit der Datenbank her und erstellen Sie eine Datenbankdatei (.sqlite-Datei)

2. Erstellen Sie einen Cursor

3. Erstellen Sie eine Datentabelle (Tabelle)

4. Fügen Sie Daten in die Datentabelle ein

5. Abfrage Daten

Der Democode lautet wie folgt:

import sqlite3with sqlite3.connect('test_database.sqlite') as con:
    c = con.cursor()
    c.execute('''CREATE TABLE test_table
    (date text, city text, value real)''')for table in c.execute("SELECT name FROM sqlite_master WHERE type='table'"):
        print("Table", table[0])
    c.execute('''INSERT INTO test_table VALUES
    ('2017-6-25', 'bj', 100)''')
    c.execute('''INSERT INTO test_table VALUES
    ('2017-6-25', 'pydataroad', 150)''')
    c.execute("SELECT * FROM test_table")
    print(c.fetchall())

Table test_table
[('2017-6-25', 'bj', 100.0), ('2017-6-25', 'pydataroad', 150.0)]

Für die visuelle Vorschau von Daten in der SQLite-Datenbank gibt es viele Tools, die verwendet werden können Das, was ich hier verwende, ist SQLite Studio. Es ist ein kostenloses Tool, das keine Installation erfordert. Interessierte Schüler können es nach dem Herunterladen verwenden.

https://sqlitestudio.pl/index.rvt?act=download

Der Effekt der Datenvorschau ist wie folgt:

Verwenden Sie Pandas, um SQLite-Datendateien zu lesen

Wie aus den laufenden Ergebnissen des obigen Codes ersichtlich ist, ist das Ergebnis der Datenabfrage eine Liste aus Tupeln. Die Listendaten von Python sind möglicherweise für die weitere Datenverarbeitung und -analyse unpraktisch. Sie können sich vorstellen, dass die Effizienz des Durchlaufens der Liste zum Abrufen der Daten relativ gering ist, wenn die Datenbanktabelle 1 Million oder mehr Datenzeilen enthält.

Zu diesem Zeitpunkt können wir erwägen, die von Pandas bereitgestellten Funktionen zu verwenden, um relevante Dateninformationen aus der SQLite-Datenbankdatei zu lesen und sie in einem DataFrame zu speichern, um die weitere Verarbeitung zu erleichtern.

Pandas bietet zwei Funktionen, die beide Informationen aus Datendateien mit dem Suffix „.sqlite“ lesen können.

• read_sql()

• read_sql_query()

import pandas as pdwith sqlite3.connect('test_database.sqlite') as con:# read_sql_query和read_sql都能通过SQL语句从数据库文件中获取数据信息df = pd.read_sql_query("SELECT * FROM test_table", con=con)# df = pd.read_sql("SELECT * FROM test_table", con=con)print(df.shape)
    print(df.dtypes)
    print(df.head())

<code style="font-size: 14px; font-family: Roboto, 'Courier New', Consolas, Inconsolata, Courier, monospace; margin: auto 5px; white-space: pre; border-radius: 3px; display: block !important; overflow: auto; padding: 1px;">(2, 3)
date      object
city      object
value    float64
dtype: object
        date        city  value
0  2017-6-25          bj  100.0
1  2017-6-25  pydataroad  150.0<br></code>