최근 프로젝트 분석을 하다가 ".sqlite"라는 접미사가 붙은 데이터 파일을 봤습니다. 한번도 접해본 적이 없어서 어떻게 파이썬으로 열어서 데이터 분석을 할 수 있을까 고민을 했는데요. 처리 중이어서 잠시 조사를 했습니다.

SQLite는 매우 가볍기 때문에 많은 응용 프로그램에서 사용되는 매우 인기 있는 관계형 데이터베이스입니다.

csv 파일과 마찬가지로 SQLite는 다른 사람들과 쉽게 공유할 수 있도록 단일 데이터 파일에 데이터를 저장할 수 있습니다. 많은 프로그래밍 언어가 SQLite 데이터 처리를 지원하며 Python 언어도 예외는 아닙니다.

sqlite3은 SQLite 데이터베이스를 처리하는 데 사용할 수 있는 Python의 표준 라이브러리입니다.

sqlite3을 사용하여 데이터베이스 파일 생성 및 운영

데이터베이스의 SQL 문에 대해 이 문서에서는 읽기에 영향을 주지 않는 가장 기본적인 SQL 문을 사용합니다. 더 알고 싶으시면 다음 웹사이트를 참고하세요:

다음으로 salite3 모듈을 적용하여 SQLite 데이터 파일을 생성하고 데이터 읽기 및 쓰기 작업을 수행하겠습니다. 주요 단계는 다음과 같습니다.

1. 데이터베이스와 연결 설정, 데이터베이스 파일(.sqlite 파일) 생성

2. 커서 생성

3. 데이터 테이블(테이블) 생성

4. Insert 데이터 테이블에 Data

5. Query data

데모 코드는 다음과 같습니다:

import sqlite3with sqlite3.connect('test_database.sqlite') as con:
    c = con.cursor()
    c.execute('''CREATE TABLE test_table
    (date text, city text, value real)''')for table in c.execute("SELECT name FROM sqlite_master WHERE type='table'"):
        print("Table", table[0])
    c.execute('''INSERT INTO test_table VALUES
    ('2017-6-25', 'bj', 100)''')
    c.execute('''INSERT INTO test_table VALUES
    ('2017-6-25', 'pydataroad', 150)''')
    c.execute("SELECT * FROM test_table")
    print(c.fetchall())

Table test_table
[('2017-6-25', 'bj', 100.0), ('2017-6-25', 'pydataroad', 150.0)]

SQLite 데이터베이스의 데이터를 시각적으로 미리 볼 수 있는 도구는 많이 있습니다. 무료 도구인 SQLite Studio는 설치가 필요하며 다운로드 후 사용할 수 있습니다. 관심 있는 학생은 아래 링크를 참조하세요.

https://sqlitestudio.pl/index.rvt?act=download

데이터 미리보기의 효과는 다음과 같습니다.

Pandas를 사용하여 sqlite 데이터 파일 읽기

실행 결과에서 위의 코드를 보면, 데이터 질의의 결과가 튜플로 구성된 리스트임을 알 수 있습니다. Python의 목록 데이터는 추가 데이터 처리 및 분석에 불편할 수 있습니다. 데이터베이스 테이블에 100만 개 이상의 데이터 행이 있는 경우 목록을 반복하여 데이터를 얻는 효율성은 상대적으로 낮다고 생각할 수 있습니다.

이때 pandas에서 제공하는 기능을 사용하여 SQLite 데이터베이스 파일에서 관련 데이터 정보를 읽고 이를 DataFrame에 저장하여 추가 처리를 용이하게 하는 것을 고려할 수 있습니다.

Pandas는 두 가지 기능을 제공하는데, 둘 다 접미사가 ".sqlite"인 데이터 파일에서 정보를 읽을 수 있습니다.

• read_sql()

• read_sql_query()

import pandas as pdwith sqlite3.connect('test_database.sqlite') as con:# read_sql_query和read_sql都能通过SQL语句从数据库文件中获取数据信息df = pd.read_sql_query("SELECT * FROM test_table", con=con)# df = pd.read_sql("SELECT * FROM test_table", con=con)print(df.shape)
    print(df.dtypes)
    print(df.head())