84669 人学习
152542 人学习
20005 人学习
5487 人学习
7821 人学习
359900 人学习
3350 人学习
180660 人学习
48569 人学习
18603 人学习
40936 人学习
1549 人学习
1183 人学习
32909 人学习
100万数据从A机房的一个表迁移到B机房的一个表,两个表结构不一样。我的实现方法如下:查出数据来,java层面进行数据的转义,然后开了30个线程,进行分页同步数据。即每次查询500条数据,然后插入B机房的表。线程池中有30个线程。
迁移到效率很慢,很慢。17万数据就用了一个多小时,还没有跑完数据,请问有什么方案可以提高效率的么???
有3个地方可能存在效率问题
JDBC调用的时候没有采用Batch Update,导致性能低
每次查500条太少了,每次查个几千条应该没问题
B机房的表有索引、约束,应该在迁移的时候把这些关掉或者drop掉,迁移完成后再打开
你这速度不正常,IO满了吗?还是网络有问题?我原来用kettle做迁移一小时几百万数据,因为ETL工具用惯了,所以数据迁移从来不写程序。
呃。。,为什么要用java呢?100万的数据很多吗,备份出来再倒入,在同一个机器做不是更快?
有3个地方可能存在效率问题
JDBC调用的时候没有采用Batch Update,导致性能低
每次查500条太少了,每次查个几千条应该没问题
B机房的表有索引、约束,应该在迁移的时候把这些关掉或者drop掉,迁移完成后再打开
你这速度不正常,IO满了吗?还是网络有问题?我原来用kettle做迁移一小时几百万数据,因为ETL工具用惯了,所以数据迁移从来不写程序。
呃。。,为什么要用java呢?100万的数据很多吗,备份出来再倒入,在同一个机器做不是更快?