java - 分页查询中如何使用多线程加快处理速度？

Question

一个历史表中有大量的数据，现在要通过分页式查询处理转换数据。 现在将处理数据的逻辑放在线程池中处理，以加快处理流程。 可是总是出现事务方面的异常 比如 ： SQLNonTransientConnectionException 请问该如何...

阿神 · Answer

Ketepikan logiknya.
Tiada penghakiman sama ada semua berbilang benang telah dilaksanakan Tutup selepas gelung sementara selesai. . .
Lepaskan CountDownLatch ke dalam benang melalui pembina

ExecutorService exe  = newFixedThreadPool(Runtime.getRuntime().availableProcessors());
CountDownLatch latch = new CountDownLatch(?); //?代表开启全部线程的数量
do {
    int offset = pageIndex * pageSize;
    List tradeInfos = tradeInfoService.findTradeInfoBysPage(queryParams,offset,pageSize);
    if (null != tradeInfos && tradeInfos.size() > 0) {
        currentPageLength = tradeInfos.size();
        TradeInfoProcesserTask task = new TradeInfoProcesserTask(tradeInfos, latch);
        exe.execute(task);
        pageIndex++;
    }else{
        System.out.println("Page Query TradeInfo Got NOTHING! Break query loop!");
        break;
    }
} while (currentPageLength == pageSize);

latch.await(); //多线程全部执行完
exe.shutdown();
doOtherThings();
System.out.println("分页式多线程处理数据完毕！");

public class TradeInfoProcesserTask implements Runnable{
    private volatile List tradeInfos;
    private CountDownLatch latch;
    
    public TradeInfoProcesserTask (List _tradeInfos, CountDownLatch latch){
        tradeInfos = _tradeInfos;
        this.latch = latch;
    }
    
    @Override
    public void run() {
        processTradeInfos();
        latch.countDown();
    }
    
    private void processTradeInfos(){
        //do something with tradeInfos .....
    }
}

PHP中文网 · Answer

Pertanyaan paging bukan serentak (DAO), tetapi pemprosesan data adalah serentak (Perkhidmatan), jadi di manakah tahap transaksi anda ditetapkan?