首页 >数据库 >mysql教程 >如何批量上传CSV文件数据到MySql表中?使用 LOAD DATA 的一种非常快速的方法。

如何批量上传CSV文件数据到MySql表中?使用 LOAD DATA 的一种非常快速的方法。

PHPz
PHPz原创
2024-08-19 16:40:13367浏览

?介绍

您是否仍在使用“for”或“while”循环来迭代行并将它们插入数据库?您还在编写单独的代码来读取 .csv 文件并将其上传到 MySQL 数据库吗?

用MySQL提供的“LOAD DATA”语句对线性逻辑说“不”。准备好更改代码,以最大限度地减少代码行并大幅提高性能。

MySql 提供了 LOAD DATA 语句,这是一种非常高速的方式,可以用很少的代码从文本文件中读取数据并将其插入到表中。

?什么是 LOAD DATA INFILE 语句?

根据 MySQL 的官方文档,LOAD DATA 语句用于以非常快的方式从文件中读取数据,您可以通过一次查询将此数据插入表中,而不是多次访问数据库使用“INSERT INTO”查询。

MySQL还提供了一个语句-> “SELECT…INTO OUTFILE”,其作用与“LOAD DATA”的作用完全相反,即从表中读取数据到文件

MySql 提供的 mysqlimport 实用程序内部调用服务器上的 LOAD DATA 语句来导入数据。

?如何使用它?

上面的要点片段显示了通用加载数据语句。上面的代码中提到了所有可用的选项。

现在让我们关注一个简​​单的示例,即简单地读取 .csv 文件并将其行插入到兼容的表中。


一个简单的例子:

LOAD DATA INFILE ‘data.csv’ INTO TABLE db.my_table

包含所有基本选项的鸟瞰示例:

不用说,您的 CSV 文件应该具有正确的格式才能使此语句发挥作用?.

瞧,使用上述语句,您的包含超过 10 万行的 .csv 将在几秒钟内导入到您的表中。

现在,需要注意一些重要事项:


上述语句在MySql级别运行,因此源文件从客户端复制到服务器以便导入它们。

这会带来一些安全问题,我们需要确保使用此代码时客户端-服务器连接的安全。

在MySql 8.0中,使用LOCAL的能力默认设置为False。由于您的服务器和客户端应配置为允许 LOCAL,因此有些人可能会收到权限错误。

如果出现权限错误,我们需要通过启用
local_infile

:
SET GLOBAL local_infile = true;
来覆盖它

注意:覆盖此标志并不是安全解决方案,而是承认接受风险,您可以参考此文档以获取更多信息。

?‍?结论

MySql LOAD DATA 语句用于在非常短的时间内读取文件。

您可以将此代码与任何后端 API 一起使用来提供源文件。

源文件可以是任何文本文件,我们在本例中使用.csv。

LOAD DATA LOCAL

通过MySql将源文件复制到您的服务器,因此应该在服务器端实施安全措施。

mysqlimport

实用程序在内部使用 LOAD DATA 语句。 您可以通过在语句中添加

IGNORE 1 LINES

来忽略 CSV 中的标头。How to Bulk Upload CSV file data into MySql Table? A very fast way using LOAD DATA.

?参考

官方文档

以上是如何批量上传CSV文件数据到MySql表中?使用 LOAD DATA 的一种非常快速的方法。的详细内容。更多信息请关注PHP中文网其他相关文章!

声明:
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn