group-by - mysql group by 优化的问题
ringa_lee
ringa_lee 2017-04-17 16:31:14
0
1
526

我有一张接近八千万条数据的彩虹表,然后里面有二十多万条的重复数据,我想使用GROUP BY进行分组,但是使用了GROUP BY语句以后,mysql会生出一张零时表,而零时表,把我的硬盘全部沾满了,所以,求个办法,能帮去去处这重复的数据?

我的sql:

sql:

SELECT COUNT(id) FROMpasswordWHERElength= 4 GROUP BYciphertext

ringa_lee
ringa_lee

ringa_lee

全員に返信 (1)
迷茫

不赞成用一条SQL语句来搞定这类问题,因为数据库耗不起。可以用程序来实现(比如写个Python脚本),步骤是这样的:

  1. 把表A(8千万行)复制一个表结构,产生一张空表B;

  2. 对B的ciphertext列做唯一索引;

  3. 遍历表A的每一行,插入到表B,可以用REPLACEINSERT INTO ... ON DUPLICATE KEY UPDATE ...

  4. 校验表B的数据,如果结果正确,则删除表A,把表B重命名为表A。

いいねを押す+0
    最新のダウンロード
    詳細>
    ウェブエフェクト
    公式サイト
    サイト素材
    フロントエンドテンプレート
    私たちについて 免責事項 Sitemap
    PHP中国語ウェブサイト:福祉オンライン PHP トレーニング,PHP 学習者の迅速な成長を支援します!