最近、プロジェクト分析をしていたときに、これまで触ったことがなかった「.sqlite」という拡張子を持つデータファイルを見つけたので、Pythonを使用してそれを開いてデータ分析を実行する方法を考えました。処理中なので、少し調べてみました。

SQLite は、非常に軽量であるため、多くのアプリケーションで使用されている非常に人気のあるリレーショナル データベースです。

csv ファイルと同様に、SQLite はデータを単一のデータ ファイルに保存して、他の人と簡単に共有できます。多くのプログラミング言語は SQLite データの処理をサポートしており、Python 言語も例外ではありません。

sqlite3 は、SQLite データベースの処理に使用できる Python の標準ライブラリです。

データベースファイルの作成と操作にはsqlite3を使用します

データベースのSQL文については、この記事では読み取りに影響しない最も基本的なSQL文を使用します。さらに詳しく知りたい場合は、次の Web サイトを参照してください:

次に、salite3 モジュールを適用して SQLite データ ファイルを作成し、データの読み取りと書き込み操作を実行します。主な手順は次のとおりです:

1. データベースとの接続を確立し、データベースファイル(.sqliteファイル)を作成します

2. カーソルを作成します

3. データテーブル(テーブル)を作成します

4. 挿入データ テーブルにデータを追加する データ

5. データをクエリする

デモ コードは次のとおりです:

import sqlite3with sqlite3.connect('test_database.sqlite') as con:
    c = con.cursor()
    c.execute('''CREATE TABLE test_table
    (date text, city text, value real)''')for table in c.execute("SELECT name FROM sqlite_master WHERE type='table'"):
        print("Table", table[0])
    c.execute('''INSERT INTO test_table VALUES
    ('2017-6-25', 'bj', 100)''')
    c.execute('''INSERT INTO test_table VALUES
    ('2017-6-25', 'pydataroad', 150)''')
    c.execute("SELECT * FROM test_table")
    print(c.fetchall())

Table test_table
[('2017-6-25', 'bj', 100.0), ('2017-6-25', 'pydataroad', 150.0)]

SQLite データベース内のデータの視覚的なプレビューに関して、ここで使用するツールは数多くあります。 SQLite Studio は無料のツールであり、インストールする必要があります。興味のある学生は、以下のリンクを参照してください。

https://sqlitestudio.pl/index.rvt?act=download

データプレビューの効果は次のとおりです:

パンダを使用してsqliteデータファイルを読み取ります

の実行結果より上記のコードを実行すると、データ クエリの結果がタプルで構成されたリストであることがわかります。 Python のリスト データは、さらなるデータ処理や分析には不便な場合があります。データベース テーブルに 100 万行以上のデータがある場合、データを取得するためにリストをループする効率が比較的低くなることが想像できます。

現時点では、pandas が提供する関数を使用して、SQLite データベース ファイルから関連するデータ情報を読み取り、それを DataFrame に保存して、さらなる処理を容易にすることを検討できます。

Pandas は 2 つの関数を提供しており、どちらも接尾辞「.sqlite」が付いたデータ ファイルから情報を読み取ることができます。

• read_sql()

• read_sql_query()