佳木斯湛栽影视文化发展公司

主頁 > 知識庫 > Redis的持久化方案詳解

Redis的持久化方案詳解

熱門標(biāo)簽:AI電銷 鐵路電話系統(tǒng) 地方門戶網(wǎng)站 網(wǎng)站排名優(yōu)化 呼叫中心市場需求 服務(wù)外包 Linux服務(wù)器 百度競價排名

Redis支持RDB與AOF兩種持久化機制,持久化可以避免因進(jìn)程異常退出或down機導(dǎo)致的數(shù)據(jù)丟失問題,在下次重啟時能利用之前的持久化文件實現(xiàn)數(shù)據(jù)恢復(fù)。

RDB持久化

RDB持久化即通過創(chuàng)建快照(壓縮的二進(jìn)制文件)的方式進(jìn)行持久化,保存某個時間點的全量數(shù)據(jù)。RDB持久化是Redis默認(rèn)的持久化方式。RDB持久化的觸發(fā)包括手動觸發(fā)與自動觸發(fā)兩種方式。

手動觸發(fā)

  • save, 在命令行執(zhí)行save命令,將以同步的方式創(chuàng)建rdb文件保存快照,會阻塞服務(wù)器的主進(jìn)程,生產(chǎn)環(huán)境中不要用
  • bgsave, 在命令行執(zhí)行bgsave命令,將通過fork一個子進(jìn)程以異步的方式創(chuàng)建rdb文件保存快照,除了fork時有阻塞,子進(jìn)程在創(chuàng)建rdb文件時,主進(jìn)程可繼續(xù)處理請求

自動觸發(fā)

在redis.conf中配置 save m n 定時觸發(fā),如 save 900 1表示在900s內(nèi)至少存在一次更新就觸發(fā)
主從復(fù)制時,如果從節(jié)點執(zhí)行全量復(fù)制操作,主節(jié)點自動執(zhí)行bgsave生成RDB文件并發(fā)送給從節(jié)點
執(zhí)行debug reload命令重新加載Redis時
執(zhí)行shutdown且沒有開啟AOF持久化
redis.conf中RDB持久化配置

 # 只要滿足下列條件之一,則會執(zhí)行bgsave命令
save 900 1 # 在900s內(nèi)存在至少一次寫操作
save 300 10
save 60 10000
# 禁用RBD持久化,可在最后加 save ""

# 當(dāng)備份進(jìn)程出錯時主進(jìn)程是否停止寫入操作
stop-writes-on-bgsave-error yes
# 是否壓縮rdb文件 推薦no 相對于硬盤成本cpu資源更貴
rdbcompression no

AOF持久化

AOF(Append-Only-File)持久化即記錄所有變更數(shù)據(jù)庫狀態(tài)的指令,以append的形式追加保存到AOF文件中。在服務(wù)器下次啟動時,就可以通過載入和執(zhí)行AOF文件中保存的命令,來還原服務(wù)器關(guān)閉前的數(shù)據(jù)庫狀態(tài)。

redis.conf中AOF持久化配置如下

# 默認(rèn)關(guān)閉AOF,若要開啟將no改為yes
appendonly no

# append文件的名字
appendfilename "appendonly.aof"

# 每隔一秒將緩存區(qū)內(nèi)容寫入文件 默認(rèn)開啟的寫入方式
appendfsync everysec

# 當(dāng)AOF文件大小的增長率大于該配置項時自動開啟重寫(這里指超過原大小的100%)。
auto-aof-rewrite-percentage 100

# 當(dāng)AOF文件大小大于該配置項時自動開啟重寫
auto-aof-rewrite-min-size 64mb

AOF持久化的實現(xiàn)包括3個步驟:

  • 命令追加:將命令追加到AOF緩沖區(qū)
  • 文件寫入:緩沖區(qū)內(nèi)容寫到AOF文件
  • 文件保存:AOF文件保存到磁盤

其中后兩步的頻率通過appendfsync來配置,appendfsync的選項包括

  • always, 每執(zhí)行一個命令就保存一次,安全性最高,最多只丟失一個命令的數(shù)據(jù),但是性能也最低(頻繁的磁盤IO)
  • everysec,每一秒保存一次,推薦使用,在安全性與性能之間折中,最多丟失一秒的數(shù)據(jù)
  • no, 依賴操作系統(tǒng)來執(zhí)行(一般大概30s一次的樣子),安全性最低,性能最高,丟失操作系統(tǒng)最后一次對AOF文件觸發(fā)SAVE操作之后的數(shù)據(jù)

AOF通過保存命令來持久化,隨著時間的推移,AOF文件會越來越大,Redis通過AOF文件重寫來解決AOF文件不斷增大的問題(可以減少文件的磁盤占有量,加快數(shù)據(jù)恢復(fù)的速度),原理如下:

調(diào)用fork,創(chuàng)建一個子進(jìn)程

子進(jìn)程讀取當(dāng)前數(shù)據(jù)庫的狀態(tài)來“重寫”一個新的AOF文件(這里雖然叫“重寫”,但實際并沒有對舊文件進(jìn)行任何讀取,而是根據(jù)數(shù)據(jù)庫的當(dāng)前狀態(tài)來形成指令)

主進(jìn)程持續(xù)將新的變動同時寫到AOF重寫緩沖區(qū)與原來的AOF緩沖區(qū)中

主進(jìn)程獲取到子進(jìn)程重寫AOF完成的信號,調(diào)用信號處理函數(shù)將AOF重寫緩沖區(qū)內(nèi)容寫入新的AOF文件中,并對新文件進(jìn)行重命名,原子地覆蓋原有AOF文件,完成新舊文件的替換

AOF的重寫也分為手動觸發(fā)與自動觸發(fā)

  • 手動觸發(fā): 直接調(diào)用bgrewriteaof命令
  • 自動觸發(fā): 根據(jù)auto-aof-rewrite-min-size和auto-aof-rewrite-percentage參數(shù)確定自動觸發(fā)時機。其中auto-aof-rewrite-min-size表示運行AOF重寫時文件最小體積,默認(rèn)為64MB。auto-aof-rewrite-percentage表示當(dāng)前AOF文件大小(aof_current_size)和上一次重寫后AOF文件大小(aof_base_size)的比值。自動觸發(fā)時機為 aof_current_size > auto-aof-rewrite-min-size (aof_current_size - aof_base_size)/aof_base_size> = auto-aof-rewrite-percentage

RDB vs AOF

RDB與AOF兩種方式各有優(yōu)缺點。

  • RDB的優(yōu)點:與AOF相比,RDB文件相對較小,恢復(fù)數(shù)據(jù)比較快(原因見數(shù)據(jù)恢復(fù)部分)
  • RDB的缺點:服務(wù)器宕機,RBD方式會丟失掉上一次RDB持久化后的數(shù)據(jù);使用bgsave fork子進(jìn)程時會耗費內(nèi)存。
  • AOF的優(yōu)點: AOF只是追加文件,對服務(wù)器性能影響較小,速度比RDB快,消耗內(nèi)存也少,同時可讀性高。
  • AOF的缺點:生成的文件相對較大,即使通過AOF重寫,仍然會比較大;恢復(fù)數(shù)據(jù)的速度比RDB慢。

數(shù)據(jù)庫的恢復(fù)

服務(wù)器啟動時,如果沒有開啟AOF持久化功能,則會自動載入RDB文件,期間會阻塞主進(jìn)程。如果開啟了AOF持久化功能,服務(wù)器則會優(yōu)先使用AOF文件來還原數(shù)據(jù)庫狀態(tài),因為AOF文件的更新頻率通常比RDB文件的更新頻率高,保存的數(shù)據(jù)更完整。

redis數(shù)據(jù)庫恢復(fù)的處理流程如下,

在數(shù)據(jù)恢復(fù)方面,RDB的啟動時間會更短,原因有兩個:

RDB 文件中每一條數(shù)據(jù)只有一條記錄,不會像AOF日志那樣可能有一條數(shù)據(jù)的多次操作記錄。所以每條數(shù)據(jù)只需要寫一次就行了,文件相對較小。

RDB 文件的存儲格式和Redis數(shù)據(jù)在內(nèi)存中的編碼格式是一致的,不需要再進(jìn)行數(shù)據(jù)編碼工作,所以在CPU消耗上要遠(yuǎn)小于AOF日志的加載。

但是在進(jìn)行RDB持久化時,fork出來進(jìn)行dump操作的子進(jìn)程會占用與父進(jìn)程一樣的內(nèi)存,采用的copy-on-write機制,對性能的影響和內(nèi)存的消耗都是比較大的。比如16G內(nèi)存,Redis已經(jīng)使用了10G,這時save的話會再生成10G,變成20G,大于系統(tǒng)的16G。這時候會發(fā)生交換,要是虛擬內(nèi)存不夠則會崩潰,導(dǎo)致數(shù)據(jù)丟失。所以在用redis的時候一定對系統(tǒng)內(nèi)存做好容量規(guī)劃。

RDB、AOF混合持久化

Redis從4.0版開始支持RDB與AOF的混合持久化方案。首先由RDB定期完成內(nèi)存快照的備份,然后再由AOF完成兩次RDB之間的數(shù)據(jù)備份,由這兩部分共同構(gòu)成持久化文件。該方案的優(yōu)點是充分利用了RDB加載快、備份文件小及AOF盡可能不丟數(shù)據(jù)的特性。缺點是兼容性差,一旦開啟了混合持久化,在4.0之前的版本都不識別該持久化文件,同時由于前部分是RDB格式,閱讀性較低。

開啟混合持久化

aof-use-rdb-preamble yes

數(shù)據(jù)恢復(fù)加載過程就是先按照RDB進(jìn)行加載,然后把AOF命令追加寫入。

持久化方案的建議

如果Redis只是用來做緩存服務(wù)器,比如數(shù)據(jù)庫查詢數(shù)據(jù)后緩存,那可以不用考慮持久化,因為緩存服務(wù)失效還能再從數(shù)據(jù)庫獲取恢復(fù)。

如果你要想提供很高的數(shù)據(jù)保障性,那么建議你同時使用兩種持久化方式。如果你可以接受災(zāi)難帶來的幾分鐘的數(shù)據(jù)丟失,那么可以僅使用RDB。

通常的設(shè)計思路是利用主從復(fù)制機制來彌補持久化時性能上的影響。即Master上RDB、AOF都不做,保證Master的讀寫性能,而Slave上則同時開啟RDB和AOF(或4.0以上版本的混合持久化方式)來進(jìn)行持久化,保證數(shù)據(jù)的安全性。

到此這篇關(guān)于Redis的持久化方案詳解的文章就介紹到這了,更多相關(guān)Redis的持久化方案內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!

您可能感興趣的文章:
  • redis數(shù)據(jù)的兩種持久化方式對比
  • 一篇文章揭秘Redis的磁盤持久化機制
  • Redis做數(shù)據(jù)持久化的解決方案及底層原理
  • Redis教程(十):持久化詳解
  • 淺談redis內(nèi)存數(shù)據(jù)的持久化方式
  • Redis數(shù)據(jù)持久化方式技術(shù)解析

標(biāo)簽:衡水 仙桃 崇左 蘭州 銅川 湖南 黃山 湘潭

巨人網(wǎng)絡(luò)通訊聲明:本文標(biāo)題《Redis的持久化方案詳解》,本文關(guān)鍵詞  ;如發(fā)現(xiàn)本文內(nèi)容存在版權(quán)問題,煩請?zhí)峁┫嚓P(guān)信息告之我們,我們將及時溝通與處理。本站內(nèi)容系統(tǒng)采集于網(wǎng)絡(luò),涉及言論、版權(quán)與本站無關(guān)。
  • 相關(guān)文章
  • 收縮
    • 微信客服
    • 微信二維碼
    • 電話咨詢

    • 400-1100-266
    潼关县| 溆浦县| 嫩江县| 阳朔县| 孝昌县| 东安县| 武宣县| 修水县| 大同市| 雷山县| 桐乡市| 平果县| 富裕县| 永川市| 邓州市| 镇沅| 神池县| 乌拉特后旗| 陆河县| 博白县| 铜梁县| 阳朔县| 应用必备| 鞍山市| 延吉市| 昌平区| 黔西| 安岳县| 新建县| 花莲市| 天柱县| 连江县| 垣曲县| 遂宁市| 多伦县| 樟树市| 黄平县| 翼城县| 凤凰县| 车险| 抚顺县|