Heim > Datenbank > MySQL-Tutorial > Hauptteil

java处理较大数据量到mysql

WBOY
Freigeben: 2016-06-07 15:47:00
Original
1512 Leute haben es durchsucht

1、 jdbd采用批处理插入大量数据,速度还是相当的慢,一个拥有一个自增字段、三个字符串字段的表,往里面插入1W条数据消耗一分多钟。代码如下: public class DBbatchdeal {/** * * @param conn jdbc链接 * @param tableName 表明 * @param lists 数据集 * @


 

 1、 jdbd采用批处理插入大量数据,速度还是相当的慢,一个拥有一个自增字段、三个字符串字段的表,往里面插入1W条数据消耗一分多钟。代码如下:

   

<span>public class DBbatchdeal {
	
	/**
	 * 
	 * @param conn      jdbc链接
	 * @param tableName 表明
	 * @param lists  数据集
	 * @param n      每行字段个数 出去自增字段
	 * @param flag  第一列是否自增字段
	 * @return  是否成功
	 */
	public boolean deal(Connection conn,String tableName,ArrayList<string> lists ,int n,boolean flag){
		StringBuffer sql = new StringBuffer();
        sql.append("insert into ").append(tableName)
            .append(" values(");
        sql=(flag==true?sql.append("null ,"):sql);
        for(int i=0;i<n-1 sql.append int size="lists.size();" m="(true==flag?n-1:n);" preparedstatement prestmt="null;" long a="System.currentTimeMillis();" try for j="0;j<size;j++){" string str="lists.get(j);" k="0;k<n;k++){" prestmt.setstring prestmt.addbatch if prestmt.executebatch prestmt.clearbatch catch e e.printstacktrace prestmt.close b="System.currentTimeMillis();" system.out.println return true public static void main args throws classnotfoundexception sqlexception class.forname connection conn='DriverManager.getConnection("jdbc:mysql://ip***/db",' dbbatchdeal deal="new" arraylist> lists =new ArrayList<string>();
			     for(int i=0;i</string></n-1></string></span>
Nach dem Login kopieren


2、因为上面的方法处理的较慢,又想了个较为麻烦点儿的方式,用mysql的load data来导入数据。具体就是写段导入数据的脚本用java来执行,测试了下1w条记录插入的时间还是相当短的。

结果如下:

                          java处理较大数据量到mysql

Java2Sh内容如下:

           

<span>import java.io.BufferedWriter;
import java.io.File;
import java.io.FileNotFoundException;
import java.io.FileOutputStream;
import java.io.IOException;
import java.io.OutputStream;
import java.io.OutputStreamWriter;
import java.io.Writer;

public class Java2Sh {
	
	
	/**
	 * 对文件进行赋权
	 * @param infile  文件全路径
	 * @return  runtime执行返回码 
	 */
	   public int chmodrun(String infile) {   
		      int retCode = 0;
		      try {
		        Runtime rtime = Runtime.getRuntime();
		        Process child = rtime.exec("chmod 777 " +infile);
		        retCode=child.waitFor();
		        System.out.println("chmod :"+retCode);
		      }
		      catch (Exception e) {
		        System.out.println("chmod  failed "+infile);
		        e.printStackTrace();
		      }
		      return retCode;
		    }
	   
	   
	   /**
	     *执行脚本文件
		 * @param infile  文件全路径
		 * @return  runtime执行返回码 
	    */
	   public int shellFile(String infile) {   
		      int retCode = 0;
		      try {
		        Runtime rtime = Runtime.getRuntime();
		        Process child = rtime.exec("sh " +infile);
		        retCode=child.waitFor();
		        System.out.println("shell file :"+retCode);
		      }
		      catch (Exception e) {
		        System.out.println("shell file  failed "+infile);
		        e.printStackTrace();
		      }
		      return retCode;
		    }
	   
	   public void writeData() throws IOException{//生成mysql2.txt
		   String str="13311122,passwds,20130710235959";
		   BufferedWriter out =new BufferedWriter(new OutputStreamWriter(new FileOutputStream(new File("D:\\mysql2.txt"))));
		   for(int i=0;i</span>
Nach dem Login kopieren

其中shh.sh内容为:

    mysql -h localhost -u root -ppwd /dblog

loaddata.sql内容为:

use dbname;
LOAD DATA INFILE '/mysql2.txt' INTO TABLE testTable FIELDS TERMINATED BY ','  (cardnum,cardpwd,times);
commit;


介于个人水平,贴出来仅供参考,欢迎告诉我更简便高效的方式,先谢过了

Verwandte Etiketten:
Quelle:php.cn
Erklärung dieser Website
Der Inhalt dieses Artikels wird freiwillig von Internetnutzern beigesteuert und das Urheberrecht liegt beim ursprünglichen Autor. Diese Website übernimmt keine entsprechende rechtliche Verantwortung. Wenn Sie Inhalte finden, bei denen der Verdacht eines Plagiats oder einer Rechtsverletzung besteht, wenden Sie sich bitte an admin@php.cn
Beliebte Tutorials
Mehr>
Neueste Downloads
Mehr>
Web-Effekte
Quellcode der Website
Website-Materialien
Frontend-Vorlage
Über uns Haftungsausschluss Sitemap
Chinesische PHP-Website:Online-PHP-Schulung für das Gemeinwohl,Helfen Sie PHP-Lernenden, sich schnell weiterzuentwickeln!