首頁 > 資料庫 > Redis > Redis阻塞的情況有哪些

Redis阻塞的情況有哪些

王林
發布: 2023-05-26 18:16:23
轉載
1568 人瀏覽過

指令阻塞

使用不當的指令造成客戶端阻塞:

  • keys * :取得所有的key 動作;

  • Hgetall:傳回哈希表中所有的欄位和;

  • smembers:傳回集合中的所有成員;

##這些指令時間複雜度是O(n),有時候也會全表掃描,隨著n的增加耗時也會越大進而導致客戶端阻塞。

SAVE 阻塞

大家都知道Redis 在進行RDB 快照的時候,會呼叫系統函數fork() ,建立一個子執行緒來完成暫存檔案的寫入,而觸發條件正是設定檔中的save 設定。

當達到我們的設定時,就會觸發bgsave 指令建立快照,這種方式是不會阻塞主執行緒的,而手動執行save 指令會在主執行緒中執行,

阻塞主執行緒。

同步持久化

當Redis 直接記錄AOF 日誌時,如果有大量的寫入操作,並且配置為同步持久化

appendfsync always
登入後複製

即每次發生資料變更會被立即記錄到磁碟,因為寫磁碟比較耗時,效能較差,所以有時會阻塞主執行緒。

AOF 重寫

  • fork 出一個子執行緒來將檔案重寫,在執行

    BGREWRITEAOF 指令時,Redis 伺服器會維護一個AOF重寫緩衝區,該緩衝區會在子執行緒建立新AOF 檔案期間,記錄伺服器執行的所有寫入命令。

  • 當子執行緒完成建立新AOF 檔案的工作之後,伺服器會將重寫緩衝區中的所有內容追加到新AOF 檔案的末尾,使得新的AOF 檔案保存的資料庫狀態與現有的資料庫狀態一致。

  • 最後,伺服器用新的 AOF 文件取代舊的 AOF 文件,以完成 AOF 文件重寫操作。

阻塞就是出現在步驟2的過程中,將緩衝區中新資料寫到新檔案的過程中會產生

阻塞

AOF 日誌

AOF 的日誌記錄不像關係型資料庫一樣在執行指令之前記錄日誌(方便故障復原),而是採用先執行指令後記錄日誌的方式。

原因就是AOF 記錄日誌是不會對指令進行語法檢查的,這樣就能減少額外的檢查開銷,不會對目前指令的執行產生阻塞,但可能會為下一個操作帶來阻塞風險。

這是因為AOF 日誌也是在主執行緒中執行的,如果在把日誌檔案寫入磁碟時,磁碟寫入壓力大,就會導致寫碟很慢,進而導致後續的操作也無法執行了。

大 Key 問題

大 key 不是指 key 的值很大,而是 key 對應的 value 很大。

大key 造成的阻塞問題如下:

  • 客戶端逾時阻塞:由於Redis 執行指令是單執行緒處理,然後在操作大key 時會比較耗時,那麼就會阻塞Redis,從客戶端這個視角看,就是很久很久都沒有回應。

  • 引發網路阻塞:每次取得大key 產生的網路流量較大,如果一個key 的大小是1 MB,每秒存取量為1000,那麼每秒會產生1000MB的流量,這對普通千兆網卡的伺服器來說是災難性的。

  • 阻塞工作線程:如果使用 del 刪除大 key 時,會阻塞工作線程,這樣就沒辦法處理後續的指令。

尋找大key

當我們在使用Redis 自帶的

--bigkeys 參數尋找大key 時,最好選擇在從節點上執行該指令,因為主節點上執行時,會阻塞主節點。

  • 我們也可以使用SCAN 指令來尋找大key;

  • #為了辨識大鍵,需要先確保Redis 使用了RDB 持久化,並分析對應的RDB 文件。網路上有現成的工具:

    • redis-rdb-tools:Python 語言寫的用來分析Redis 的RDB 快照檔案用的工具

    • 這個工具叫做rdb_bigkeys,是由Go 語言編寫的,可用於分析Redis 的RDB 快照文件,具有更高的效能。

刪除大 key

刪除操作的本質是要釋放鍵值對所佔用的記憶體空間。

釋放記憶體只是第一步,為了更有效率地管理記憶體空間,當應用程式釋放記憶體時,

作業系統需要把釋放掉的記憶體區塊插入一個空閒記憶體區塊的鍊錶 ,以便後續進行管理和再分配。這個過程本身需要一定時間,而且會阻塞目前釋放記憶體的應用程式。

所以,如果一下子釋放了大量內存,空閒內存塊鍊錶操作時間就會增加,相應地就會造成Redis

主線程的阻塞,如果主線程發生了阻塞,其他所有請求可能都會逾時,逾時越來越多,會造成Redis 連線耗盡,產生各種異常。

刪除大 key 時建議採用分批次刪除和非同步刪除的方式進行。

清空資料庫

清空資料庫和上面 bigkey 刪除也是同樣道理,flushdb、flushall 也涉及刪除和釋放所有的鍵值對,也是 Redis 的阻塞點。

叢集擴容

Redis 叢集可以進行節點的動態擴容縮容,這個過程目前仍處於半自動狀態,需要手動介入。

在擴縮容的時候,需要進行資料遷移。而 Redis 為了確保遷移的一致性,遷移所有操作都是同步操作。

執行遷移時,兩端的Redis 均會進入時長不等的阻塞狀態,對於小Key,該時間可以忽略不計,但如果一旦Key 的記憶體使用過大,嚴重的時候會接觸發集群內的故障轉移,造成不必要的切換。

以上是Redis阻塞的情況有哪些的詳細內容。更多資訊請關注PHP中文網其他相關文章!

相關標籤:
來源:yisu.com
本網站聲明
本文內容由網友自願投稿,版權歸原作者所有。本站不承擔相應的法律責任。如發現涉嫌抄襲或侵權的內容,請聯絡admin@php.cn
熱門教學
更多>
最新下載
更多>
網站特效
網站源碼
網站素材
前端模板