佳木斯湛栽影视文化发展公司

主頁(yè) > 知識(shí)庫(kù) > linux rsync同步命令(值得收藏)

linux rsync同步命令(值得收藏)

熱門標(biāo)簽:百度競(jìng)價(jià)排名 呼叫中心市場(chǎng)需求 鐵路電話系統(tǒng) 網(wǎng)站排名優(yōu)化 服務(wù)外包 Linux服務(wù)器 地方門戶網(wǎng)站 AI電銷

 如果你是一位運(yùn)維工程師,你很可能會(huì)面對(duì)幾十臺(tái)、幾百臺(tái)甚至上千臺(tái)服務(wù)器,除了批量操作外,環(huán)境同步、數(shù)據(jù)同步也是必不可少的技能。

說(shuō)到“同步”,不得不提的利器就是rsync,今天就來(lái)說(shuō)說(shuō)我從這個(gè)工具中看到的同步的藝術(shù)。

[不帶任何選項(xiàng)]

我們經(jīng)常這樣使用rsync:

復(fù)制代碼 代碼如下:

$ rsync main.c machineB:/home/userB

1 只要目的端的文件內(nèi)容和源端不一樣,就會(huì)觸發(fā)數(shù)據(jù)同步,rsync會(huì)確保兩邊的文件內(nèi)容一樣。

2 但rsync不會(huì)同步文件的“modify time”,凡是有數(shù)據(jù)同步的文件,目的端的文件的“modify time”總是會(huì)被修改為最新時(shí)刻的時(shí)間。

3 rsync不會(huì)太關(guān)注目的端文件的rwx權(quán)限,如果目的端沒(méi)有此文件,那么權(quán)限會(huì)保持與源端一致;如果目的端有此文件,則權(quán)限不會(huì)隨著源端變更。

4 只要rsync有對(duì)源文件的讀權(quán)限,且對(duì)目標(biāo)路徑有寫權(quán)限,rsync就能確保目的端文件同步到和源端一致。

5 rsync只能以登陸目的端的賬號(hào)來(lái)創(chuàng)建文件,它沒(méi)有能力保持目的端文件的輸主和屬組和源端一致。(除非你使用root權(quán)限,才有資格要求屬主一致、屬組一致)

[-t選項(xiàng)]

我們經(jīng)常這樣使用-t選項(xiàng):

復(fù)制代碼 代碼如下:

$ rsync -t main.c machineB:/home/userB

1 使用-t選項(xiàng)后,rsync總會(huì)想著一件事,那就是將源文件的“modify time”同步到目標(biāo)機(jī)器。

2 帶有-t選項(xiàng)的rsync,會(huì)變得更聰明些,它會(huì)在同步前先對(duì)比兩邊文件的時(shí)間戳和文件大小,如果一致,則就認(rèn)為兩邊文件一樣,對(duì)此文件就不再采取更新動(dòng)作了。

3 因?yàn)閞sync的聰明,也會(huì)反被聰明誤。如果目的端的文件的時(shí)間戳、大小和源端完全一致,但是內(nèi)容恰巧不一致時(shí),rsync是發(fā)現(xiàn)不了的。這就是傳說(shuō)中的“坑”!

4 對(duì)于rsync自作聰明的情況,解決辦法就是使用-I選項(xiàng)。

[-I選項(xiàng)]

我們經(jīng)常這樣使用-I選項(xiàng):

復(fù)制代碼 代碼如下:

$ rsync -I main.c machineB:/home/userB

1 -I選項(xiàng)會(huì)讓rsync變得很乖很老實(shí),它會(huì)挨個(gè)文件去發(fā)起數(shù)據(jù)同步。

2 -I選項(xiàng)可以確保數(shù)據(jù)的一致性,代價(jià)便是速度上會(huì)變慢,因?yàn)槲覀兎艞壛恕皅uick check”策略。(quick check策略,就是先查看文件的時(shí)間戳和文件大小,依次先排除一批認(rèn)為相同的文件)

3 無(wú)論情況如何,目的端的文件的modify time總會(huì)被更新到當(dāng)前時(shí)刻。

【-v選項(xiàng)】

這個(gè)選項(xiàng),簡(jiǎn)單易懂,就是讓rsync輸出更多的信息,我們可以舉一個(gè)例子:

$ rsync -vI main.c machineB:/home/userB                          
main.c
sent 81 bytes received 42 bytes 246.00 bytes/sec
total size is 11 speedup is 0.09

你增加越多的v,就可以獲得越多的日志信息。

$ rsync -vvvvt abc.c machineB:/home/userB 
cmd= machine=machineB user= path=/home/userB
cmd[0]=ssh cmd[1]=machineB cmd[2]=rsync cmd[3]=--server cmd[4]=-vvvvte. cmd[5]=. cmd[6]=/home/userB 
opening connection using: ssh machineB rsync --server -vvvvte. . /home/userB 
note: iconv_open("ANSI_X3.4-1968", "ANSI_X3.4-1968") succeeded.
(Client) Protocol versions: remote=28, negotiated=28
(Server) Protocol versions: remote=30, negotiated=28
[sender] make_file(abc.c,*,2)
[sender] flist start=0, used=1, low=0, high=0
[sender] i=0 abc.c mode=0100664 len=11 flags=0
send_file_list done
file list sent
send_files starting
server_recv(2) starting pid=31885
recv_file_name(abc.c)
received 1 names
[receiver] i=0  abc.c mode=0100664 len=11
recv_file_list done
get_local_name count=1 /home/userB
recv_files(1) starting
generator starting pid=31885 count=1
delta transmission enabled
recv_generator(abc.c,0)
abc.c is uptodate
generate_files phase=1
send_files phase=1
recv_files phase=1
generate_files phase=2
send files finished
total: matches=0 hash_hits=0 false_alarms=0 data=0
generate_files finished
recv_files finished
client_run waiting on 14318
sent 36 bytes received 16 bytes 104.00 bytes/sec
total size is 11 speedup is 0.21
_exit_cleanup(code=0, file=main.c, line=1031): entered
_exit_cleanup(code=0, file=main.c, line=1031): about to call exit(0)

[-z選項(xiàng)]

這是個(gè)壓縮選項(xiàng),只要使用了這個(gè)選項(xiàng),rsync就會(huì)把發(fā)向?qū)Χ说臄?shù)據(jù)先進(jìn)行壓縮再傳輸。對(duì)于網(wǎng)絡(luò)環(huán)境較差的情況下建議使用。

一般情況下,-z的壓縮算法會(huì)和gzip的一樣。

[-r選項(xiàng)]

我們?cè)诘谝淮问褂胷sync時(shí),往往會(huì)遇到這樣的囧境:

$ rsync superman machineB:/home/userB
skipping directory superman

如果你不額外告訴rsync你需要它幫你同步文件夾的話,它是不會(huì)主動(dòng)承擔(dān)的,這也正是rsync的懶惰之處。

所以,如果你真的想同步文件夾,那就要加上-r選項(xiàng),即recursive(遞歸的、循環(huán)的),像這樣:

$ rsync -r superman machineB:/home/userB

我們?cè)谏厦娴闹v解中說(shuō)過(guò),如果時(shí)間戳和文件大小完全一致,只有文件內(nèi)容不同,且你沒(méi)有使用-I選項(xiàng)的話,那么,rsync是不會(huì)進(jìn)行數(shù)據(jù)同步的。

那么,提個(gè)問(wèn)題:“因?yàn)樵贚inux的世界里,文件夾也是文件,如果這類文件(文件夾)也只有內(nèi)容不同,而時(shí)間戳和文件大小都相同,rsync會(huì)發(fā)現(xiàn)么?”

實(shí)驗(yàn)大家可以自己動(dòng)手做,結(jié)論在這里告訴大家:

對(duì)于文件夾,rsync是會(huì)明察秋毫的,只要你加了-r選項(xiàng),它就會(huì)恪盡職守的進(jìn)入到文件夾里去檢查,而不會(huì)只對(duì)文件夾本身做“quick check”的。

[-l選項(xiàng)]

如果我們要同步一個(gè)軟鏈接文件,你猜rsync會(huì)提示什么?

$ ll
total 128
-rw-rw-r-- 1 userA userA 11 Dec 26 07:00 abc.c
lrwxrwxrwx 1 userA userA 5 Dec 26 11:35 softlink -> abc.c
$ rsync softlink machineB:/home/userB
skipping non-regular file "softlink"

嗯,你猜對(duì)了,rsync又無(wú)情地拒絕了我們。它一旦發(fā)現(xiàn)某個(gè)文件是軟鏈接,就會(huì)無(wú)視它,除非我們?cè)黾?l選項(xiàng)。

復(fù)制代碼 代碼如下:

$ rsync -l softlink machineB:/home/userB

使用了-l選項(xiàng)后,rsync會(huì)完全保持軟鏈接文件類型,原原本本的將軟鏈接文件復(fù)制到目的端,而不會(huì)“follow link”到指向的實(shí)體文件。

如果我偏偏就想讓rsync采取follow link的方式,那就用-L選項(xiàng)就可以了。你可以自己試試效果。

[-p選項(xiàng)]

這個(gè)選項(xiàng)的全名是“perserve permissions”,顧名思義,就是保持權(quán)限。

如果你不使用此選項(xiàng)的話,rsync是這樣來(lái)處理權(quán)限問(wèn)題的:

1 如果目的端沒(méi)有此文件,那么在同步后會(huì)將目的端文件的權(quán)限保持與源端一致;

2 如果目的端已存在此文件,那么只會(huì)同步文件內(nèi)容,權(quán)限保持原有不變。

如果你使用了-p選項(xiàng),則無(wú)論如何,rsync都會(huì)讓目的端保持與源端的權(quán)限一致的。

[-g選項(xiàng)和-o選項(xiàng)]

這兩個(gè)選項(xiàng)是一對(duì),用來(lái)保持文件的屬組(group)和屬主(owner),作用應(yīng)該很清晰明了。不過(guò)要注意的一點(diǎn)是,改變屬主和屬組,往往只有管理員權(quán)限才可以。

[-D選項(xiàng)]

-D選項(xiàng),原文解釋是“preserve devices(root only)”,從字面意思看,就是保持設(shè)備文件的原始信息。由于博主沒(méi)有實(shí)際體驗(yàn)過(guò)它的好處,所以沒(méi)有太多發(fā)言權(quán)。

[-a選項(xiàng)]

1 -a選項(xiàng)是rsync里比較霸道的一個(gè)選項(xiàng),因?yàn)槟闶褂?a選項(xiàng),就相當(dāng)于使用了-rlptgoD這一坨選項(xiàng)。以一敵七,唯-a選項(xiàng)也。(在看了前文之后,你應(yīng)該可以很輕松的理解這七個(gè)選項(xiàng)的作用了)

2 -a選項(xiàng)的學(xué)名應(yīng)該叫做archive option,中文叫做歸檔選項(xiàng)。使用-a選項(xiàng),就表明你希望采取遞歸方式來(lái)同步,且盡可能的保持各個(gè)方面的一致性。

3 但是-a選項(xiàng)也有阿克琉斯之踵,那就是-a無(wú)法同步“硬鏈接”情況。如果有這方面需求,要加上-H選項(xiàng)。

[--delete選項(xiàng)、--delete-excluded選項(xiàng)和--delete-after選項(xiàng)]

三個(gè)選項(xiàng)都是和“刪除”有關(guān)的:

1 –delete:如果源端沒(méi)有此文件,那么目的端也別想擁有,刪除之。(如果你使用這個(gè)選項(xiàng),就必須搭配-r選項(xiàng)一起)

2 –delete-excluded:專門指定一些要在目的端刪除的文件。

3 –delete-after:默認(rèn)情況下,rsync是先清理目的端的文件再開(kāi)始數(shù)據(jù)同步;如果使用此選項(xiàng),則rsync會(huì)先進(jìn)行數(shù)據(jù)同步,都完成后再刪除那些需要清理的文件。

看到這么多delete,你是否有點(diǎn)肝顫? 的確,在rsync的官方說(shuō)明里也有這么一句話:

This option can be dangerous if used incorrectly! 
It is a very good idea to run first using the dry  run  option
(-n) to see what files would be deleted to make sure
important files aren't listed.

從這句話里,我們學(xué)到了一個(gè)小技巧,那就是-n選項(xiàng),它是一個(gè)嚇唬人的選項(xiàng),它會(huì)用受影響的文件列表來(lái)警告你,但不會(huì)真的去刪除,這就讓我們有了確認(rèn)的機(jī)會(huì)和回旋的余地。我們看看實(shí)際用法吧:

$ rsync -n --delete -r . machineB:/home/userB/
deleting superman/xxx
deleting main.c
deleting acclink

[--exclude選項(xiàng)和--exclude-from選項(xiàng)]

如果你不希望同步一些東西到目的端的話,可以使用–exclude選項(xiàng)來(lái)隱藏,rsync還是很重視大家隱私的,你可以多次使用–exclude選項(xiàng)來(lái)設(shè)置很多的“隱私”。

如果你要隱藏的隱私太多的話,在命令行選項(xiàng)中設(shè)置會(huì)比較麻煩,rsync還是很體貼,它提供了–exclude-from選項(xiàng),讓你可以把隱私一一列在一個(gè)文件里,然后讓rsync直接讀取這個(gè)文件就好了。

[--partial選項(xiàng)]

這就是傳說(shuō)中的斷點(diǎn)續(xù)傳功能。默認(rèn)情況下,rsync會(huì)刪除那些傳輸中斷的文件,然后重新傳輸。但在一些特別情況下,我們不希望重傳,而是續(xù)傳。

我們?cè)谑褂弥?,?jīng)常會(huì)看到有人會(huì)使用-P選項(xiàng),這個(gè)選項(xiàng)其實(shí)是為了偷懶而設(shè)計(jì)的。以前人們總是要手動(dòng)寫–partial –progress,覺(jué)得太費(fèi)勁了,倒不如用一個(gè)新的選項(xiàng)來(lái)代替,于是-P應(yīng)運(yùn)而生了。有些讀者會(huì)問(wèn)–partial我知道作用了,可–progress是干什么用的呢?為什么很多人要使用它呢,它有那么大的吸引力?(真有…)

[--progress選項(xiàng)]

使用這個(gè)選項(xiàng),rsync會(huì)顯示出傳輸進(jìn)度信息,有什么用呢,rsync給了一個(gè)很有意思的解釋:

This gives a bored user something to watch.

好了,寫了這么多,大家看的已經(jīng)很乏味了,去實(shí)際用用–progress解解悶,是個(gè)不錯(cuò)的選擇 ^_^

下面給大家介紹的是rsync參數(shù)的具體解釋:

-v, --verbose 詳細(xì)模式輸出
-q, --quiet 精簡(jiǎn)輸出模式
-c, --checksum 打開(kāi)校驗(yàn)開(kāi)關(guān),強(qiáng)制對(duì)文件傳輸進(jìn)行校驗(yàn)
-a, --archive 歸檔模式,表示以遞歸方式傳輸文件,并保持所有文件屬性,等于-rlptgoD
-r, --recursive 對(duì)子目錄以遞歸模式處理
-R, --relative 使用相對(duì)路徑信息
-b, --backup 創(chuàng)建備份,也就是對(duì)于目的已經(jīng)存在有同樣的文件名時(shí),將老的文件重新命名為~filename??梢允褂?-suffix選項(xiàng)來(lái)指定不同的備份文件前綴。
--backup-dir 將備份文件(如~filename)存放在在目錄下。
-suffix=SUFFIX 定義備份文件前綴
-u, --update 僅僅進(jìn)行更新,也就是跳過(guò)所有已經(jīng)存在于DST,并且文件時(shí)間晚于要備份的文件。(不覆蓋更新的文件)
-l, --links 保留軟鏈結(jié)
-L, --copy-links 想對(duì)待常規(guī)文件一樣處理軟鏈結(jié)
--copy-unsafe-links 僅僅拷貝指向SRC路徑目錄樹(shù)以外的鏈結(jié)
--safe-links 忽略指向SRC路徑目錄樹(shù)以外的鏈結(jié)
-H, --hard-links 保留硬鏈結(jié)
-p, --perms 保持文件權(quán)限
-o, --owner 保持文件屬主信息
-g, --group 保持文件屬組信息
-D, --devices 保持設(shè)備文件信息
-t, --times 保持文件時(shí)間信息
-S, --sparse 對(duì)稀疏文件進(jìn)行特殊處理以節(jié)省DST的空間
-n, --dry-run現(xiàn)實(shí)哪些文件將被傳輸
-W, --whole-file 拷貝文件,不進(jìn)行增量檢測(cè)
-x, --one-file-system 不要跨越文件系統(tǒng)邊界
-B, --block-size=SIZE 檢驗(yàn)算法使用的塊尺寸,默認(rèn)是700字節(jié)
-e, --rsh=COMMAND 指定使用rsh、ssh方式進(jìn)行數(shù)據(jù)同步
--rsync-path=PATH 指定遠(yuǎn)程服務(wù)器上的rsync命令所在路徑信息
-C, --cvs-exclude 使用和CVS一樣的方法自動(dòng)忽略文件,用來(lái)排除那些不希望傳輸?shù)奈募?
--existing 僅僅更新那些已經(jīng)存在于DST的文件,而不備份那些新創(chuàng)建的文件
--delete 刪除那些DST中SRC沒(méi)有的文件
--delete-excluded 同樣刪除接收端那些被該選項(xiàng)指定排除的文件
--delete-after 傳輸結(jié)束以后再刪除
--ignore-errors 及時(shí)出現(xiàn)IO錯(cuò)誤也進(jìn)行刪除
--max-delete=NUM 最多刪除NUM個(gè)文件
--partial 保留那些因故沒(méi)有完全傳輸?shù)奈募?,以是加快隨后的再次傳輸
--force 強(qiáng)制刪除目錄,即使不為空
--numeric-ids 不將數(shù)字的用戶和組ID匹配為用戶名和組名
--timeout=TIME IP超時(shí)時(shí)間,單位為秒
-I, --ignore-times 不跳過(guò)那些有同樣的時(shí)間和長(zhǎng)度的文件
--size-only 當(dāng)決定是否要備份文件時(shí),僅僅察看文件大小而不考慮文件時(shí)間
--modify-window=NUM 決定文件是否時(shí)間相同時(shí)使用的時(shí)間戳窗口,默認(rèn)為0
-T --temp-dir=DIR 在DIR中創(chuàng)建臨時(shí)文件
--compare-dest=DIR 同樣比較DIR中的文件來(lái)決定是否需要備份
-P 等同于 --partial
--progress 顯示備份過(guò)程
-z, --compress 對(duì)備份的文件在傳輸時(shí)進(jìn)行壓縮處理
--exclude=PATTERN 指定排除不需要傳輸?shù)奈募J?
--include=PATTERN 指定不排除而需要傳輸?shù)奈募J?
--exclude-from=FILE 排除FILE中指定模式的文件
--include-from=FILE 不排除FILE指定模式匹配的文件
--version 打印版本信息
--address 綁定到特定的地址
--config=FILE 指定其他的配置文件,不使用默認(rèn)的rsyncd.conf文件
--port=PORT 指定其他的rsync服務(wù)端口
--blocking-io 對(duì)遠(yuǎn)程shell使用阻塞IO
-stats 給出某些文件的傳輸狀態(tài)
--progress 在傳輸時(shí)現(xiàn)實(shí)傳輸過(guò)程
--log-format=formAT 指定日志文件格式
--password-file=FILE 從FILE中得到密碼
--bwlimit=KBPS 限制I/O帶寬,KBytes per second
-h, --help 顯示幫助信息
一般同步傳輸目錄都使用azv選項(xiàng).

您可能感興趣的文章:
  • Linux下使用Rsync完成自動(dòng)化備份
  • Linux 命令之rsync命令詳解
  • linux rsync安裝 配置 實(shí)例詳解
  • linux系統(tǒng)中rsync+inotify實(shí)現(xiàn)服務(wù)器之間文件實(shí)時(shí)同步
  • linux下通過(guò)rsync+inotify 實(shí)現(xiàn)數(shù)據(jù)實(shí)時(shí)備份(遠(yuǎn)程容災(zāi)備份系統(tǒng))
  • linux rsync的安裝與配置
  • Linux 用cp和rsync同步文件時(shí)跳過(guò)指定目錄的方法
  • 用rsync實(shí)現(xiàn)windows與linux文件同步的方法
  • Linux 服務(wù)器同步 Rsync同步服務(wù)器文件
  • 如何使用Linux的rsync

標(biāo)簽:銅川 崇左 湘潭 湖南 蘭州 衡水 仙桃 黃山

巨人網(wǎng)絡(luò)通訊聲明:本文標(biāo)題《linux rsync同步命令(值得收藏)》,本文關(guān)鍵詞  ;如發(fā)現(xiàn)本文內(nèi)容存在版權(quán)問(wèn)題,煩請(qǐng)?zhí)峁┫嚓P(guān)信息告之我們,我們將及時(shí)溝通與處理。本站內(nèi)容系統(tǒng)采集于網(wǎng)絡(luò),涉及言論、版權(quán)與本站無(wú)關(guān)。
  • 相關(guān)文章
  • 收縮
    • 微信客服
    • 微信二維碼
    • 電話咨詢

    • 400-1100-266
    哈尔滨市| 威信县| 会昌县| 敦煌市| 乐至县| 腾冲县| 旺苍县| 江陵县| 黑龙江省| 陕西省| 徐闻县| 方正县| 德格县| 辽源市| 上思县| 康平县| 京山县| 仲巴县| 武乡县| 尚志市| 平邑县| 修水县| 平远县| 荆门市| 筠连县| 延川县| 西宁市| 常德市| 南岸区| 开化县| 当涂县| 积石山| 百色市| 连山| 绥江县| 苍梧县| 阳泉市| 孟津县| 惠水县| 吐鲁番市| 太和县|