java - POI导入单个包含百万级数据量的Excle如何设计
黄舟
黄舟 2017-04-17 14:00:50
0
4
387

需求

 通过WEB界面向数据库中
 不定期的全量导入一份包含百万级数据量的Excle表

现在应用在本机测试过程中,开发机内存16G,导入无压力
服务器部署后,远程web导入,页面假死,查看服务端进程已down
服务器配置:centos6.5 1核1g
JDK1.6
导入控件:poi
求小伙伴指导如何解决

黄舟
黄舟

人生最曼妙的风景,竟是内心的淡定与从容!

全員に返信(4)
PHPzhong

1、首先确认是上传还是导入时导致页面假死。我推测应该是上传,因为你的excel文件应该不小,通过网络上传需要花费大量的时间,有可能导致web服务器超时设置,本地测试,上传肯定要比网络快N倍。

2、如果不是上传问题,那就是应该是导入数据库出现问题,如果你是一条条的插入,那效率肯定不高,可以采用batch insert 或者 load data infile 的方式。

いいねを押す +0
巴扎黑

先debug一下,看看主要时间花在哪一步了,然后再针对做出优化。

いいねを押す +0
左手右手慢动作

进程挂了,jstack不起作用了。
你可以远程debug。
还有你的测试环境和线上环境差异太大,不具备参考价值。
建议拿一台和先上环境一致的测试机,并且远程上传excel来测试。

いいねを押す +0
迷茫

如楼上所言,你需要先确定是哪一步导致服务器宕机,
是上传文件太大服务器内存溢出还是导入的时候挂掉的.
如果服务器没有提供core dump供出错分析的话,
自己在程序里多打印几处log来确定崩溃的位置,
知道了挂掉的原因再针对性的处理比较好.
这种通常都是OOM导致的.

いいねを押す +0
人気のチュートリアル
詳細>
最新のダウンロード
詳細>
ウェブエフェクト
公式サイト
サイト素材
フロントエンドテンプレート
私たちについて 免責事項 Sitemap
PHP中国語ウェブサイト:福祉オンライン PHP トレーニング,PHP 学習者の迅速な成長を支援します!