• 技术文章 >数据库 >Redis

    关于Redis批量写入的介绍

    藏色散人藏色散人2020-09-30 16:51:43转载1184

    下面由Redis教程栏目给大家介绍关于Redis批量写入,希望对需要的朋友有所帮助!

    最近测试redis性能,需要批量插入1千万条以上的数据,

    就简单进行了研究,大概有以下几种方法:

    一:java程序调用,简单的for循环,通过Jedis的方法,直接插入,

    至于速度,不用看,不用试,根本不行,就不给实现了。

    二:通过shell脚本,也比较简单,但也是因为要通过port端口的形式,

    连接到redis,速度也是慢的不行,放弃。

    三:通过redis提供管道,感觉这种方法是最靠谱的,一下是实现:

    步骤1:首先简单写一个shell脚本:

    for((i=1;i<=1000000;i++))        doecho "set k$i v$i" >> /tmp/_t.txt        done

    目的是生成一个用批量插入的脚本文件,

    步骤2:这里linux或者windows上生成的文件不能直接当做redis语句来跑,

    简单来说,就是因为linux,windows和dos的换行并不一样,

    所以需要简单转换一下:

    转换的方法有好多种:

    1:一般Linux发行版中都带有这个小工具,只能把DOS转换为UNIX文件,命令如下:

    # unix2dos dosfile.txt

    上面的命令会去掉行尾的^M符号。(如果机器上没有安装nuix2dos,直接用方法2即可)

    2:用vim,vim是vi的改进版本,使用方式:

    #vim file.txt
    :set fileformat=dos
    ::wq

    一行命令即可,保存退出,

    步骤3:就是跑脚本了,通过redis提供的管道--pipe形式,

    cat redisTest.txt | redis-cli -h reids.aliyuncs.com -p 6379 -a xxxx --pipe

    三步即可,完成redis的批量插入,速度,在2000万条的情况下,生成脚本的速度稍慢,插入的速度还在几分钟,

    速度可以说是非常快了~

    以上就是关于Redis批量写入的介绍的详细内容,更多请关注php中文网其它相关文章!

    声明:本文转载于:csdn,如有侵犯,请联系admin@php.cn删除
    专题推荐:Redis批量写入
    上一篇:关于Redis原子计数器incr,防止并发请求 下一篇:简单易懂地介绍Redis缓存原理

    相关文章推荐

    • 如何在Laravel中使用Redis锁解决缓存击穿问题• Redis中的Scan命令的使用详解• php redis扩展安装不成功怎么办• 关于Redis原子计数器incr,防止并发请求

    全部评论我要评论

  • 取消发布评论发送
  • 1/1

    PHP中文网