现在有个需求，要把excel数据导入到数据表中，但数据量比较大，最多的时候一次要导入几十W条数据，导入的数据不是直接写db的，是走接口的，接口一次性最多处理1000条，耗时比较长，现在有个想法，想把这个做成任务式的导入，每次导入就是创建一个导入任务，把所有任务做成队列，依次完成导入任务，有什么好的方法和建议
现在有个需求，要把excel数据导入到数据表中，但数据量比较大，最多的时候一次要导入几十W条数据，导入的数据不是直接写db的，是走接口的，接口一次性最多处理1000条，耗时比较长，现在有个想法，想把这个做成任务式的导入，每次导入就是创建一个导入任务，把所有任务做成队列，依次完成导入任务，有什么好的方法和建议
你的想法很好，可惜PHP不适合做这种事情，建议用Java之类的语言来实现你的想法。
PHP有了任务，直接把任务参数提交到数据库。
Java在后台每100ms访问一次数据库，看看有没有任务，有就处理。
php默认30秒 ；你可以加个set_time_limit(99999999);
几十万数据 应该是不要1分钟就倒完了
Crontab + task list 做后台异步任务，很适合这种场景
mysql load data infile 将数据快速导入到临时表
php守护进程分批将数据往接口同步（或者crontab写定时任务）
php拼接成sql，直接mysql后台source导入
最好是分段导入，不要一次性导入
