首頁> 資料庫> Redis> 主體

redis中設定lru演算法的方法

發布: 2020-05-23 08:58:15
轉載
4091 人瀏覽過

redis中設定lru演算法的方法

1、設定Redis使用LRU演算法

LRU(Least Recently Used)最近最少使用演算法是眾多置換演算法中的一種。
Redis中有一個maxmemory概念,主要是為了將使用的記憶體限定在固定的大小。 Redis用到的LRU 演算法,是一種近似的LRU演算法。

(1)設定maxmemory

上面已經說過maxmemory是為了限定Redis最大記憶體使用量。有多種方法設定它的大小。其中一個方法是透過CONFIG SET設定,如下:

127.0.0.1:6379> CONFIG GET maxmemory 1) "maxmemory" 2) "0" 127.0.0.1:6379> CONFIG SET maxmemory 100MB OK 127.0.0.1:6379> CONFIG GET maxmemory 1) "maxmemory" 2) "104857600"
登入後複製

另一種方法是修改設定檔redis.conf:

maxmemory 100mb
登入後複製

注意,在64bit系統下,maxmemory設定為0表示不限制Redis記憶體使用,在32bit系統下,maxmemory隱式不能超過3GB。
當Redis記憶體使用達到指定的限制時,就需要選擇一個置換的策略。

(2)置換策略

當Redis記憶體使用達到maxmemory時,需要選擇設定好的maxmemory-policy進行舊資料的置換。
以下是可以選擇的置換策略:

  • noeviction: 不進行置換,表示即使記憶體達到上限也不進行置換,所有能造成記憶體增加的指令都會回傳error

  • allkeys-lru: 優先刪除掉最近最不常使用的key,用以保存新資料

  • volatile-lru: 只從設置在失效(expire set)的key中選擇最近最不常使用的key進行刪除,用以保存新資料

  • allkeys-random: 隨機從all-keys中選擇一些key進行刪除,用以儲存新資料

  • volatile-random: 只從設定失效(expire set)的key中,選擇一些key進行刪除,用以儲存新資料

  • volatile-ttl: 只從設定失效(expire set)的key中,選出存活時間(TTL)最短的key進行刪除,用以儲存新資料

要注意的是:

(1)設定maxmemory-policy的方法和設定maxmemory方法類似,透過redis.conf或是透過CONFIG SET動態修改。

(2)如果沒有匹配到可以刪除的key,那麼volatile-lru、volatile-random和volatile-ttl策略和noeviction替換策略一樣——不對任何key進行置換。

(3)選擇合適的置換策略是很重要的,這主要取決於你的應用程式的存取模式,當然你也可以動態的修改置換策略,並透過用Redis指令-INFO去輸出cache的命中率情況,進而可以對置換策略進行調優。

一般來說,有這樣一些常用的經驗:

  • 在所有的key都是最近最經常使用,那麼就需要選擇allkeys-lru進行置換最近最不常使用的key,如果你不確定要使用哪種策略,那麼建議使用allkeys-lru。

  • 如果所有的key的存取機率都是差不多的,那麼可以選用allkeys-random策略去置換資料。

  • 如果對資料有足夠的了解,能夠為key指定hint(透過expire/ttl指定),那麼可以選擇volatile-ttl進行置換。

volatile-lru 和 volatile-random經常在一個Redis實例既做cache又做持久化的情況下用到,然而,更好的選擇使用兩個Redis實例來解決這個問題。

設定是失效時間expire會佔用一些內存,而採用allkeys-lru就沒有必要設定失效時間,進而更有效的利用內存。

(3)置換策略是如何運作的

理解置換策略的執行方式是非常重要的,例如:

  1. 客戶端執行一條新指令,導致資料庫需要增加資料(例如set key value)

  2. #Redis會檢查記憶體使用,如果記憶體使用超過maxmemory,就會依照置換策略刪除一些key

  3. 新的指令執行成功

#我們持續的寫資料會導致記憶體達到或超出上限maxmemory,但是置換策略會將記憶體使用降低到上限以下。

如果一次需要使用很多的記憶體(例如一次寫入一個很大的set),那麼,Redis的記憶體使用可能超出最大記憶體限制一段時間。

(4)近似LRU演算法

Redis中的LRU不是嚴格意義上的LRU演算法實現,是近似的LRU實現,主要是為了節約內存佔用以及提升效能。 Redis有這樣一個配置-maxmemory-samples,Redis的LRU是取出配置的數目的key,然後從中選擇一個最近最不經常使用的key進行置換,預設的5,如下:

maxmemory-samples 5
登入後複製

可以透過調整樣本數量來取得LRU置換演算法的速度或精確性方面的優勢。

Redis不採用真正的LRU實作的原因是為了節約記憶體使用。雖然不是真正的LRU實現,但是它們在應用上幾乎是等價的。下圖是Redis的近似LRU實現和理論LRU實現的對比:

redis中設定lru演算法的方法

测试开始首先在Redis中导入一定数目的key,然后从第一个key依次访问到最后一个key,因此根据LRU算法第一个被访问的key应该最新被置换,之后再增加50%数目的key,导致50%的老的key被替换出去。

在上图中你可以看到三种类型的点,组成三种不同的区域:

  1. 淡灰色的是被置换出去的key

  2. 灰色的是没有被置换出去的key

  3. 绿色的是新增加的key

理论LRU实现就像我们期待的那样,最旧的50%数目的key被置换出去,Redis的LRU将一定比例的旧key置换出去。

可以看到在样本数为5的情况下,Redis3.0要比Redis2.8做的好很多,Redis2.8中有很多应该被置换出去的数据没有置换出去。在样本数为10的情况下,Redis3.0很接近真正的LRU实现。

LRU是一个预测未来我们会访问哪些数据的模型,如果我们访问数据的形式接近我们预想——幂律,那么近似LRU算法实现将能处理的很好。

在模拟测试中我们可以发现,在幂律访问模式下,理论LRU和Redis近似LRU的差距很小或者就不存在差距。

如果你将maxmemory-samples设置为10,那么Redis将会增加额外的CPU开销以保证接近真正的LRU性能,可以通过检查命中率来查看有什么不同。

通过CONFIG SET maxmemory-samples 动态调整样本数大小,做一些测试验证你的猜想。

2、LRU的实现

max_size = $size; } public function set_value($key, $value) { // 如果存在,则向队尾移动,先删除,后追加 // array_key_exists() 函数检查某个数组中是否存在指定的键名,如果键名存在则返回true,如果键名不存在则返回false。 if (array_key_exists($key, $this->array_lru)) { // unset() 销毁指定的变量。 unset($this->array_lru[$key]); } // 长度检查,超长则删除首元素 if (count($this->array_lru) > $this->max_size) { // array_shift() 函数删除数组中第一个元素,并返回被删除元素的值。 array_shift($this->array_lru); } // 队尾追加元素 $this->array_lru[$key] = $value; } public function get_value($key) { $ret_value = false; if (array_key_exists($key, $this->array_lru)) { $ret_value = $this->array_lru[$key]; // 移动到队尾 unset($this->array_lru[$key]); $this->array_lru[$key] = $ret_value; } return $ret_value; } public function vardump_cache() { echo "
"; var_dump($this->array_lru); } } $cache = new LRU_Cache(5); // 指定了最大空间 6 $cache->set_value("01", "01"); $cache->set_value("02", "02"); $cache->set_value("03", "03"); $cache->set_value("04", "04"); $cache->set_value("05", "05"); $cache->vardump_cache(); echo "
"; $cache->set_value("06", "06"); $cache->vardump_cache(); echo "
"; $cache->set_value("03", "03"); $cache->vardump_cache(); echo "
"; $cache->set_value("07", "07"); $cache->vardump_cache(); echo "
"; $cache->set_value("01", "01"); $cache->vardump_cache(); echo "
"; $cache->get_value("04"); $cache->vardump_cache(); echo "
"; $cache->get_value("05"); $cache->vardump_cache(); echo "
"; $cache->get_value("10"); $cache->vardump_cache(); echo "
";
登入後複製

更多redis知识请关注redis入门教程栏目。

以上是redis中設定lru演算法的方法的詳細內容。更多資訊請關注PHP中文網其他相關文章!

相關標籤:
來源:cnblogs.com
本網站聲明
本文內容由網友自願投稿,版權歸原作者所有。本站不承擔相應的法律責任。如發現涉嫌抄襲或侵權的內容,請聯絡admin@php.cn
最新問題
最新下載
更多>
網站特效
網站源碼
網站素材
前端模板
關於我們 免責聲明 Sitemap
PHP中文網:公益線上PHP培訓,幫助PHP學習者快速成長!