Excel 데이터를 Mysql로 ​​가져오는 것에 대해 자주 묻는 질문 요약: 데이터를 가져올 때 대량 일괄 삽입 문제를 해결하는 방법은 무엇입니까?

Excel 데이터를 Mysql로 ​​가져오는 것에 대해 자주 묻는 질문 요약: 데이터를 가져올 때 대량 일괄 삽입 문제를 해결하는 방법은 무엇입니까?

Excel 데이터를 MySQL로 가져오는 것은 일상적인 개발에서 자주 접하는 작업 중 하나입니다. 소량의 데이터를 가져오는 경우 데이터베이스 클라이언트 도구나 명령줄을 사용하여 삽입 작업을 수행할 수 있습니다. 그러나 대량의 데이터를 가져오는 경우 간단한 단일 삽입 작업으로 인해 심각한 성능 문제가 발생할 수 있습니다. 이 문서에서는 이 문제를 해결하는 방법을 설명하고 해당 코드 예제를 제공합니다.

문제 설명:
실제 사용 시 Excel 테이블의 대량 데이터를 MySQL 데이터베이스로 가져와야 하는 경우 단일 삽입의 효율성이 너무 낮아 가져오기 작업이 매우 느려집니다. 이는 많은 시간을 낭비할 뿐만 아니라 데이터베이스 연결 시간 초과, 메모리 오버플로 등의 문제를 일으킬 수도 있습니다.

해결책:
가져오기 효율성을 높이기 위해 일괄 삽입을 사용하여 한 번에 여러 레코드를 데이터베이스에 삽입할 수 있습니다. MySQL은 이러한 목적을 달성하기 위해 다양한 방법을 제공합니다. 아래에서는 일반적으로 사용되는 세 가지 방법을 소개합니다.

1. INSERT INTO…VALUES 문 사용
   일괄 삽입은 INSERT INTO…VALUES 문을 구성하여 수행됩니다. 구체적인 단계는 다음과 같습니다.

① Excel 테이블을 읽고 데이터를 2차원 배열에 저장합니다.
② 2차원 배열을 VALUES 절의 문자열 형식으로 변환합니다.
3 INSERT INTO 문을 연결합니다. VALUES 절을 데이터베이스에 삽입합니다.

코드 예:

import xlrd
import pymysql

# 连接数据库
conn = pymysql.connect(host='localhost', user='root', password='password', database='database')
cursor = conn.cursor()

# 读取Excel表格数据
data = xlrd.open_workbook('data.xlsx')
table = data.sheet_by_name('Sheet1')
rows = table.nrows

# 构建values子句
values = []
for i in range(1, rows):
    values.append(tuple(table.row_values(i)))

# 批量插入
sql = "INSERT INTO table_name (column1, column2, column3) VALUES (%s, %s, %s)"
cursor.executemany(sql, values)
conn.commit()

# 关闭连接
cursor.close()
conn.close()

2. LOAD DATA INFILE 문 사용
   MySQL은 파일에서 데이터를 가져오기 위한 LOAD DATA INFILE 문을 제공합니다. 데이터를 CSV 파일로 저장한 후 LOAD DATA INFILE 문을 사용하여 한 번에 데이터베이스로 가져오면 가져오기 효율성이 크게 향상될 수 있습니다.

코드 예:

LOAD DATA INFILE 'data.csv'
INTO TABLE table_name
FIELDS TERMINATED BY ',' OPTIONALLY ENCLOSED BY '"'
LINES TERMINATED BY '
'
IGNORE 1 LINES;

3. 일괄 삽입 도구 사용
   일괄 삽입을 구현하는 코드를 수동으로 작성하는 것 외에도 일부 도구를 사용하여 프로세스를 자동화할 수도 있습니다. 예를 들어 Python의 pandas 라이브러리를 사용하면 to_sql 메서드를 호출하여 DataFrame의 데이터를 MySQL 데이터베이스에 직접 삽입할 수 있습니다.

코드 예:

import pandas as pd
from sqlalchemy import create_engine

# 连接数据库
engine = create_engine('mysql+pymysql://root:password@localhost/database')

# 读取Excel表格数据
df = pd.read_excel('data.xlsx', sheet_name='Sheet1')

# 批量插入
df.to_sql('table_name', engine, if_exists='append', index=False)

# 关闭连接
engine.dispose()

요약:
Excel 데이터를 MySQL로 가져올 때 단일 삽입 방법을 사용하는 것은 비효율적이며 대량의 데이터 배치 가져오기 요구 사항을 충족할 수 없습니다. 일괄 삽입이나 도구 사용을 통해 가져오기 효율성이 크게 향상되고 가져오기 시간이 단축될 수 있습니다. 어떤 방법을 사용할지는 개인의 필요와 상황에 따라 다릅니다. 이 기사의 소개와 예제가 독자가 데이터를 가져올 때 발생하는 대량 삽입 문제를 해결하는 데 도움이 되기를 바랍니다.

위 내용은 Excel 데이터를 Mysql로 ​​가져오는 것에 대해 자주 묻는 질문 요약: 데이터를 가져올 때 대량 일괄 삽입 문제를 해결하는 방법은 무엇입니까?의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!