MySQL の一括挿入を使用してデータのインポート速度を向上させる方法-mysql チュートリアル-php.cn

MySQL バッチ挿入を使用してデータインポート速度を向上させる方法

はじめに:
MySQL をデータインポートに使用する場合、大量のデータが発生することがよくあり、従来の 1 つずつ挿入する必要があります。方法の方が効率的です。この記事では、MySQL のバッチ挿入機能を使用してデータのインポート速度を向上させる方法と、関連するコード例を紹介します。

バッチ挿入の原理と利点
MySQL には、バッチ挿入 (Batch Insert) 操作という非常に便利な機能が用意されています。バッチ挿入では、一度に複数行のデータを挿入できるため、データベースとのやり取りの数が減り、データのインポート速度が大幅に向上します。バッチ挿入には次のような主な利点があります。
データベースとのやり取りの数が減り、ネットワークのオーバーヘッドが軽減されます。
バッチ挿入ステートメントを使用すると、SQL ステートメントの解析と最適化の時間を短縮できます。
特に大量のデータの場合、データのインポートの効率が向上しました。

バッチ挿入を使用するための構文と例
MySQL では、バッチ挿入の構文は次のとおりです:

INSERT INTO 表名 (列1, 列2, 列3, ...) VALUES (值1, 值2, 值3, ...), (值1, 值2, 值3, ...), ...

ログイン後にコピー

サンプルコードは次のとおりです:

import mysql.connector # 连接数据库 conn = mysql.connector.connect(user='root', password='password', database='test') # 创建游标对象 cursor = conn.cursor() # 设置批量插入的数据 data = [ ('Alice', 25, 'female'), ('Bob', 30, 'male'), ('Cathy', 28, 'female') ] # 执行批量插入 insert_sql = "INSERT INTO students (name, age, gender) VALUES (%s, %s, %s)" cursor.executemany(insert_sql, data) # 提交事务 conn.commit() # 关闭游标和连接 cursor.close() conn.close()

ログイン後にコピー

上記のサンプルコードでは、3 行のデータを含むリストデータを作成し、executemany() メソッドを使用して一括挿入操作を実行します。最後に、トランザクションは commit() メソッドを通じて送信され、データの挿入が完了します。これにより、データの一括挿入が実現されます。

バッチ挿入に関する注意事項
バッチ挿入を使用する場合は、次の点に注意する必要があります。
バッチで挿入するデータの量が多すぎてはいけません。過剰なメモリ使用量が発生する可能性があります。
バッチ挿入を使用する場合は、挿入されたデータ形式が正しく、テーブル構造と一貫性があることを確認する必要があります。
大量のデータを挿入する場合、制御にトランザクションを使用することをお勧めします。これにより、データの一貫性が確保され、挿入速度が向上します。
結論
MySQL の一括挿入機能を使用すると、データのインポート速度が大幅に向上し、特に大量のデータのインポート操作ではその効果がより顕著になります。この記事が、MySQL のバッチ挿入機能を学習および使用している読者に役立つことを願っています。