java处理较大数据量到mysql

WBOY
リリース: 2016-06-07 15:47:00
オリジナル
1512 人が閲覧しました

1、 jdbd采用批处理插入大量数据,速度还是相当的慢,一个拥有一个自增字段、三个字符串字段的表,往里面插入1W条数据消耗一分多钟。代码如下: public class DBbatchdeal {/** * * @param conn jdbc链接 * @param tableName 表明 * @param lists 数据集 * @


 

 1、 jdbd采用批处理插入大量数据,速度还是相当的慢,一个拥有一个自增字段、三个字符串字段的表,往里面插入1W条数据消耗一分多钟。代码如下:

   

<span>public class DBbatchdeal {
	
	/**
	 * 
	 * @param conn      jdbc链接
	 * @param tableName 表明
	 * @param lists  数据集
	 * @param n      每行字段个数 出去自增字段
	 * @param flag  第一列是否自增字段
	 * @return  是否成功
	 */
	public boolean deal(Connection conn,String tableName,ArrayList<string> lists ,int n,boolean flag){
		StringBuffer sql = new StringBuffer();
        sql.append("insert into ").append(tableName)
            .append(" values(");
        sql=(flag==true?sql.append("null ,"):sql);
        for(int i=0;i<n-1 sql.append int size="lists.size();" m="(true==flag?n-1:n);" preparedstatement prestmt="null;" long a="System.currentTimeMillis();" try for j="0;j<size;j++){" string str="lists.get(j);" k="0;k<n;k++){" prestmt.setstring prestmt.addbatch if prestmt.executebatch prestmt.clearbatch catch e e.printstacktrace prestmt.close b="System.currentTimeMillis();" system.out.println return true public static void main args throws classnotfoundexception sqlexception class.forname connection conn='DriverManager.getConnection("jdbc:mysql://ip***/db",' dbbatchdeal deal="new" arraylist> lists =new ArrayList<string>();
			     for(int i=0;i</string></n-1></string></span>
ログイン後にコピー


2、因为上面的方法处理的较慢,又想了个较为麻烦点儿的方式,用mysql的load data来导入数据。具体就是写段导入数据的脚本用java来执行,测试了下1w条记录插入的时间还是相当短的。

结果如下:

                          java处理较大数据量到mysql

Java2Sh内容如下:

           

<span>import java.io.BufferedWriter;
import java.io.File;
import java.io.FileNotFoundException;
import java.io.FileOutputStream;
import java.io.IOException;
import java.io.OutputStream;
import java.io.OutputStreamWriter;
import java.io.Writer;

public class Java2Sh {
	
	
	/**
	 * 对文件进行赋权
	 * @param infile  文件全路径
	 * @return  runtime执行返回码 
	 */
	   public int chmodrun(String infile) {   
		      int retCode = 0;
		      try {
		        Runtime rtime = Runtime.getRuntime();
		        Process child = rtime.exec("chmod 777 " +infile);
		        retCode=child.waitFor();
		        System.out.println("chmod :"+retCode);
		      }
		      catch (Exception e) {
		        System.out.println("chmod  failed "+infile);
		        e.printStackTrace();
		      }
		      return retCode;
		    }
	   
	   
	   /**
	     *执行脚本文件
		 * @param infile  文件全路径
		 * @return  runtime执行返回码 
	    */
	   public int shellFile(String infile) {   
		      int retCode = 0;
		      try {
		        Runtime rtime = Runtime.getRuntime();
		        Process child = rtime.exec("sh " +infile);
		        retCode=child.waitFor();
		        System.out.println("shell file :"+retCode);
		      }
		      catch (Exception e) {
		        System.out.println("shell file  failed "+infile);
		        e.printStackTrace();
		      }
		      return retCode;
		    }
	   
	   public void writeData() throws IOException{//生成mysql2.txt
		   String str="13311122,passwds,20130710235959";
		   BufferedWriter out =new BufferedWriter(new OutputStreamWriter(new FileOutputStream(new File("D:\\mysql2.txt"))));
		   for(int i=0;i</span>
ログイン後にコピー

其中shh.sh内容为:

    mysql -h localhost -u root -ppwd /dblog

loaddata.sql内容为:

use dbname;
LOAD DATA INFILE '/mysql2.txt' INTO TABLE testTable FIELDS TERMINATED BY ','  (cardnum,cardpwd,times);
commit;


介于个人水平,贴出来仅供参考,欢迎告诉我更简便高效的方式,先谢过了

関連ラベル:
ソース:php.cn
このウェブサイトの声明
この記事の内容はネチズンが自主的に寄稿したものであり、著作権は原著者に帰属します。このサイトは、それに相当する法的責任を負いません。盗作または侵害の疑いのあるコンテンツを見つけた場合は、admin@php.cn までご連絡ください。
人気のチュートリアル
詳細>
最新のダウンロード
詳細>
ウェブエフェクト
公式サイト
サイト素材
フロントエンドテンプレート
私たちについて 免責事項 Sitemap
PHP中国語ウェブサイト:福祉オンライン PHP トレーニング,PHP 学習者の迅速な成長を支援します!