mdadm 用于建設(shè)，管理和監(jiān)控RAID陣列
用法：
mdadm --create device options...
用未使用的設(shè)備，創(chuàng)建raid選項，
mdadm --assemble device options...
合并先前創(chuàng)建的raid陣列。
mdadm --build device options...
創(chuàng)建或合并沒有元數(shù)據(jù)的一個raid。
mdadm --manage device options...
對現(xiàn)有陣列進行更改
mdadm --misc options... devices
報告或修改各種MD相關(guān)設(shè)備的。
mdadm --grow options device
調(diào)整以激活的raid陣列
mdadm --incremental device
從一個raid中，添加/刪除設(shè)備
mdadm --monitor options...
監(jiān)視一個或多個raid陣列的變化
mdadm device options...
--manage的簡寫
mdadm --create 主要參數(shù)
--auto=yes ：決定建立后面接的軟體磁盤陣列設(shè)備，亦即/ dev/md0的，/ dev/md1上...
--raid-devices=N ：使用幾個磁盤 (partition) 作為磁盤陣列的設(shè)備
--spare-devices=N ：使用幾個磁盤作用磁盤陣列的備用設(shè)備
--level=[015] ：設(shè)置磁盤陣列的等級，常用0,1,5
mdadm --manage 主要參數(shù)
--add ：會將后面的設(shè)備加入到這個MD中！
--remove ：會將后面的設(shè)備由這個MD中移除
--fail ：會將后面的設(shè)備設(shè)定成為出錯的狀態(tài)
一、在linux系統(tǒng)中目前以MD(Multiple Devices)虛擬塊設(shè)備的方式實現(xiàn)軟件RAID,利用多個底層的塊設(shè)備虛擬出一個新的虛擬設(shè)備,并且利用條帶化(stripping)技術(shù)將數(shù)據(jù)塊均勻分布到多個磁盤上來提高虛擬設(shè)備的讀寫性能,利用不同的數(shù)據(jù)冗祭算法來保護用戶數(shù)據(jù)不會因為某個塊設(shè)備的故障而完全丟失,而且還能在設(shè)備被替換后將丟失的數(shù)據(jù)恢復(fù)到新的設(shè)備上.
目前MD支持linear,multipath,raid0(stripping),raid1(mirror),raid4,raid5,raid6,raid10等不同的冗余級別和級成方式,當然也能支持多個RAID陳列的層疊組成raid1 0,raid5 1等類型的陳列,
本文主要講解用戶層mdadm如何管理軟件RAID及使用中經(jīng)常遇到的問題及解決辦法.現(xiàn)流行的系統(tǒng)中一般已經(jīng)將MD驅(qū)動模塊直接編譯到內(nèi)核中或編譯為可動態(tài)加載的驅(qū)動模塊,我們可以在機器啟動后通過cat /proc/mdstat看內(nèi)核是否已經(jīng)加載MD驅(qū)動或者cat /proc/devices是否有md塊設(shè)備,并且可以使用lsmod看MD是否可以模塊加載到系統(tǒng)中.
[root@testggv ~]# cat /proc/mdstat
Personalities :
unused devices:
[root@testggv ~]#
[root@testggv ~]# cat /proc/devices | grep md
1 ramdisk
9 md
254 mdp
[root@testggv ~]#mdadm --version
[root@testggv ~]# mdadm --version
mdadm - v2.5.4 - 13 October 2006
[root@testggv ~]#
二、mdadm管理軟raid陳列
mdadm程序是一個獨立的程序，能完成所有的軟件raid管理功能，主要有7種使用模式：
Create
使用空閑的設(shè)備創(chuàng)建一個新的陣列，每個設(shè)備具有元數(shù)據(jù)塊
Assemble
將原來屬于一個陣列的每個塊設(shè)備組裝為陣列
Build
創(chuàng)建或組裝不需要元數(shù)據(jù)的陣列，每個設(shè)備沒有元數(shù)據(jù)塊
Manage
管理已經(jīng)存儲陣列中的設(shè)備，比如增加熱備磁盤或者設(shè)置某個磁盤失效，然后從陣列中刪除這個磁盤
Misc
報告或者修改陣列中相關(guān)設(shè)備的信息，比如查詢陣列或者設(shè)備的狀態(tài)信息
Grow
改變陣列中每個設(shè)備被使用的容量或陣列中的設(shè)備的數(shù)目
Monitor
監(jiān)控一個或多個陣列，上報指定的事件
如果MD驅(qū)動被編譯到內(nèi)核中，當內(nèi)核調(diào)用執(zhí)行MD驅(qū)動時，會自動查找分區(qū)為FD（linux raid autodetect格式的磁盤。所以一般會使用fdisk工具將HD磁盤或者SD磁盤分區(qū)，再設(shè)置為FD的磁盤。
[root@testggv ~]# fdisk /dev/hdc
The number of cylinders for this disk is set to 25232.
There is nothing wrong with that, but this is larger than 1024,
and could in certain setups cause problems with:
1) software that runs at boot time (e.g., old versions of LILO)
2) booting and partitioning software from other OSs
(e.g., DOS FDISK, OS/2 FDISK)
Command (m for help): n
Command action
e extended
p primary partition (1-4)
p
Partition number (1-4): 1
First cylinder (1-25232, default 1):
Using default value 1
Last cylinder or size or sizeM or sizeK (1-25232, default 25232):
Using default value 25232
Command (m for help): t
Selected partition 1
Hex code (type L to list codes): fd
Changed system type of partition 1 to fd (Linux raid autodetect)
Command (m for help): w
The partition table has been altered!
Calling ioctl() to re-read partition table.
WARNING: Re-reading the partition table failed with error 16: Device or
busy.
The kernel still uses the old table.
The new table will be used at the next reboot.
Syncing disks.
[root@testggv ~]#
如果MD驅(qū)動是模塊形式加載，需要在系統(tǒng)運行時由用戶層腳本控制RAID陳列啟動運行，如在FedoraCore系統(tǒng)中在/etc/rc.d/rc.sysinit文件中有啟動軟RAID陣列的指令，若RAID的配置文件mdadm.conf存在，則調(diào)用mdadm檢查配置文件里的選項，然后啟動RAID陣列。
echo "raidautorun /dev/md0" | nash --quiet
if [ -f /etc/mdadm.conf]; then
/sbin/mdadm -A -s
fi -A:指裝載一個已存在的陳列 -s： 指查找mdadm.conf文件中的配置信息。
手工停止盤陳：
#mdadm -S /dev/md0
創(chuàng)建新的陳列
mdadm使用--create(或其縮寫-C)參數(shù)來創(chuàng)建新的陳列并且將一些重要陣列的標識信息作為元數(shù)據(jù)可以寫在每一個底層設(shè)備的指定區(qū)間
--level(或者其縮寫-l)表示陣列的RAID級別
--chunk(或者其縮寫-c)表示每個條帶單元的大小，以KB為單位，默認為64KB，條帶單元的大小配置對不同負載下的陣列讀寫性能有很大影響
--raid-devices(或者其縮寫-n)表示陣列中活躍的設(shè)備個數(shù)
--spare-devices(或者其縮寫-x)表示陣列中熱備盤的個數(shù)，一旦陣列中的某個磁盤失效，MD內(nèi)核驅(qū)動程序自動用將熱備磁盤加入到陣列，然后重構(gòu)丟失磁盤上的數(shù)據(jù)到熱備磁盤上。
創(chuàng)建一個RAID 0設(shè)備：
mdadm --create /dev/md0 --level=0 --chunk=32 --raid-devices=3 /dev/sdb1 /dev/sdc1 /dev/sdd1
創(chuàng)建一個raid 1設(shè)備：
mdadm --create /dev/md0 --level=1 --chunk=128 --raid-devices=2 --spare-devices=1 /dev/sdb1 /dev/sdc1 /dev/sdd1
創(chuàng)建一個RAID5設(shè)備：
mdadm --create /dev/md0 --level=5 --raid-devices=5 /dev/sd[c-g]1 --spare-devices=1 /dev/sdb1
創(chuàng)建一個RAID 10設(shè)備：
mdadm -C /dev/md0 -l10 -n6 /dev/sd[b-g] -x1 /dev/sdh
創(chuàng)建一個RAID1 0設(shè)備：
mdadm -C /dev/md0 -l1 -n2 /dev/sdb /dev/sdc
mdadm -C /dev/md1 -l1 -n2 /dev/sdd /dev/sde
mdadm -C /dev/md2 -l1 -n2 /dev/sdf /dev/sdg
mdadm -C /dev/md3 -l0 -n3 /dev/md0 /dev/md1 /dev/md2
初始化的時間長短和磁盤陣列自身性能以及讀寫的應(yīng)用負載相關(guān)，使用cat /proc/mdstat信息查詢RAID陣列當前重構(gòu)的速度和預(yù)期的完成時間。
cat /proc/mdstat
[root@fc5 mdadm-2.6.3]# cat /proc/mdstat
Personalities : [raid10]
md0 : active raid10 sdh[6](S) sdg[5] sdf[4] sde[3] sdd[2] sdc[1] sdb[0]
3145536 blocks 64K chunks 2 near-copies [6/6] [UUUUUU]
[===>...........] resync = 15.3% (483072/3145536) finish=0.3min speed=120768K/sec
unused devices:
[root@fc5 mdadm-2.6.3]# cat /proc/mdstat
Personalities : [raid10]
md0 : active raid10 sdh[6](S) sdg[5] sdf[4] sde[3] sdd[2] sdc[1] sdb[0]
3145536 blocks 64K chunks 2 near-copies [6/6] [UUUUUU]
unused devices:
使用陳列：
MD設(shè)備可以像普通塊設(shè)備那樣直接讀寫，也可以做文件系統(tǒng)格式化。
#mke2fs -j /dev/md0
mkdir -p /mnt/md-test
#mount /dev/md0 /mnt/md-test
停止正在運行的陳列：
當陣列沒有文件系統(tǒng)或者其他存儲應(yīng)用以及高級設(shè)備使用的話，可以使用--stop(或者其縮寫-S)停止陣列；如果命令返回設(shè)備或者資源忙類型的錯誤，說明/dev/md0正在被上層應(yīng)用使用，暫時不能停止，必須要首先停止上層的應(yīng)用，這樣也能保證陣列上數(shù)據(jù)的一致性。
[root@fc5 mdadm-2.6.3]# ./mdadm --stop /dev/md0
mdadm: fail to stop array /dev/md0: Device or resource busy
[root@fc5 mdadm-2.6.3]# umount /dev/md0
[root@fc5 mdadm-2.6.3]#./mdadm --stop /dev/md0
mdadm: stopped /dev/md02.3 組裝曾創(chuàng)建過的陣列模式--assemble或者其縮寫(-A)主要是檢查底層設(shè)備的元數(shù)據(jù)信息，然后再組裝為活躍的陣列。如果我們已經(jīng)知道陣列由那些設(shè)備組成，可以指定使用那些設(shè)備來啟動陣列。
[root@fc5 mdadm-2.6.3]# ./mdadm -A /dev/md0 /dev/sd[b-h]
mdadm: /dev/md0 has been started with 6 drives and 1 spare.如果有配置文件(/etc/mdadm.conf)可使用命令mdadm -As /dev/md0。mdadm先檢查mdadm.conf中的DEVICE信息，然后從每個設(shè)備上讀取元數(shù)據(jù)信息，并檢查是否和ARRAY信息一致，如果信息一致則啟動陣列。如果沒有配置/etc/mdadm.conf文件，而且又不知道陣列由那些磁盤組成，則可以使用命令--examine(或者其縮寫-E)來檢測當前的塊設(shè)備上是否有陣列的元數(shù)據(jù)信息。[root@fc5 mdadm-2.6.3]# ./mdadm -E /dev/sdi
mdadm: No md superblock detected on /dev/sdi.
[root@fc5 mdadm-2.6.3]# ./mdadm -E /dev/sdb
/dev/sdb:
Magic : a92b4efc
Version : 00.90.00
UUID : 0cabc5e5:842d4baa:e3f6261b:a17a477a
Creation Time : Sun Aug 22 17:49:53 1999
Raid Level : raid10
Used Dev Size : 1048512 (1024.11 MiB 1073.68 MB)
Array Size : 3145536 (3.00 GiB 3.22 GB)
Raid Devices : 6
Total Devices : 7
Preferred Minor : 0
Update Time : Sun Aug 22 18:05:56 1999
State : clean
Active Devices : 6
Working Devices : 7
Failed Devices : 0
Spare Devices : 1
Checksum : 2f056516 - correct
Events : 0.4
Layout : near=2, far=1
Chunk Size : 64K
Number Major Minor RaidDevice State
this 0 8 16 0 active sync /dev/sdb
0 0 8 16 0 active sync /dev/sdb
1 1 8 32 1 active sync /dev/sdc
2 2 8 48 2 active sync /dev/sdd
3 3 8 64 3 active sync /dev/sde
4 4 8 80 4 active sync /dev/sdf
5 5 8 96 5 active sync /dev/sdg
6 6 8 112 6 spare /dev/sdh
從上面命令結(jié)果可以找到陣列的唯一標識UUID和陣列包含的設(shè)備名字，然后再使用上面的命令來組裝陣列，也可以使用UUID標識來組裝陣列。沒有一致的元數(shù)據(jù)的信息設(shè)備(例如/dev/sda和/dev/sda1等)mdadm程序會自動跳過。
[root@fc5 mdadm-2.6.3]# ./mdadm -Av --uuid=0cabc5e5:842d4baa:e3f6261b:a17a477a
/dev/md0 /dev/sd*
mdadm: looking for devices for /dev/md0
mdadm: no recogniseable superblock on /dev/sda
mdadm: /dev/sda has wrong uuid.
mdadm: no recogniseable superblock on /dev/sda1
mdadm: /dev/sda1 has wrong uuid.
mdadm: no RAID superblock on /dev/sdi
mdadm: /dev/sdi has wrong uuid.
mdadm: /dev/sdi1 has wrong uuid.
mdadm: no RAID superblock on /dev/sdj
mdadm: /dev/sdj has wrong uuid.
mdadm: /dev/sdj1 has wrong uuid.
mdadm: no RAID superblock on /dev/sdk
mdadm: /dev/sdk has wrong uuid.
mdadm: /dev/sdk1 has wrong uuid.
mdadm: /dev/sdb is identified as a member of /dev/md0, slot 0.
mdadm: /dev/sdc is identified as a member of /dev/md0, slot 1.
mdadm: /dev/sdd is identified as a member of /dev/md0, slot 2.
mdadm: /dev/sde is identified as a member of /dev/md0, slot 3.
mdadm: /dev/sdf is identified as a member of /dev/md0, slot 4.
mdadm: /dev/sdg is identified as a member of /dev/md0, slot 5.
mdadm: /dev/sdh is identified as a member of /dev/md0, slot 6.
mdadm: added /dev/sdc to /dev/md0 as 1
mdadm: added /dev/sdd to /dev/md0 as 2
mdadm: added /dev/sde to /dev/md0 as 3
mdadm: added /dev/sdf to /dev/md0 as 4
mdadm: added /dev/sdg to /dev/md0 as 5
mdadm: added /dev/sdh to /dev/md0 as 6
mdadm: added /dev/sdb to /dev/md0 as 0
mdadm: /dev/md0 has been started with 6 drives and 1 spare.
配置文件：
/etc/mdadm.conf作為默認的配置文件，主要作用是方便跟蹤軟RAID的配置，尤其是可以配置監(jiān)視和事件上報選項。Assemble命令也可以使用--config(或者其縮寫-c)來指定配置文件。我們通?？梢匀缦旅顏斫?立配置文件
#echo DEVICE /dev/sdc1 /dev/sdb1 /dev/sdd1 > /etc/mdadm.conf
#mdadm --detail --scan >> /etc/mdadm.conf
使用配置文件啟動陣列時，mdadm會查詢配置文件中的設(shè)備和陣列內(nèi)容，然后啟動運行所有能運行RAID陣列。如果指定陣列的設(shè)備名字，則只啟動對應(yīng)的陣列。
[root@fc5 mdadm-2.6.3]# ./mdadm -As
mdadm: /dev/md1 has been started with 3 drives.
mdadm: /dev/md0 has been started with 6 drives and 1 spare.
[root@fc5 mdadm-2.6.3]# cat /proc/mdstat
Personalities : [raid0] [raid10]
md0 : active raid10 sdb[0] sdh[6](S) sdg[5] sdf[4] sde[3] sdd[2] sdc[1]
3145536 blocks 64K chunks 2 near-copies [6/6] [UUUUUU]
md1 : active raid0 sdi1[0] sdk1[2] sdj1[1]
7337664 blocks 32k chunks
unused devices:
[root@fc5 mdadm-2.6.3]# ./mdadm -S /dev/md0 /dev/md1
mdadm: stopped /dev/md0
mdadm: stopped /dev/md1
[root@fc5 mdadm-2.6.3]# ./mdadm -As /dev/md0
mdadm: /dev/md0 has been started with 6 drives and 1 spare.
[root@fc5 mdadm-2.6.3]# cat /proc/mdstat
Personalities : [raid0] [raid10]
md0 : active raid10 sdb[0] sdh[6](S) sdg[5] sdf[4] sde[3] sdd[2] sdc[1]
3145536 blocks 64K chunks 2 near-copies [6/6] [UUUUUU]
unused devices:
查詢陣列的狀態(tài)
我們可以通過cat /proc/mdstat信息查看所有運行的RAID陣列的狀態(tài)，在第一行中首先是MD的設(shè)備名，active和inactive選項表示陣列是否能讀寫，接著是陣列的RAID級別，后面是屬于陣列的塊設(shè)備，方括號[]里的數(shù)字表示設(shè)備在陣列中的序號，(S)表示其是熱備盤，(F)表示這個磁盤是faulty狀態(tài)。在第二行中首先是陣列的大小，單位是KB，接著是chunk-size的大小，然后是layout類型，不同RAID級別的layout類型不同，[6/6]和[UUUUUU]表示陣列有6個磁盤并且6個磁盤都是正常運行的，而[5/6]和[_UUUUU] 表示陣列有6個磁盤中5個都是正常運行的，下劃線對應(yīng)的那個位置的磁盤是faulty狀態(tài)的。
[root@fc5 mdadm-2.6.3]# cat /proc/mdstat
Personalities : [raid6] [raid5] [raid4] [raid1]
md0 : active raid5 sdh[6](S) sdg[5] sdf[4] sde[3] sdd[2] sdc[1] sdb[0]
5242560 blocks level 5, 64k chunk, algorithm 2 [6/6] [UUUUUU]
unused devices:
[root@fc5 mdadm-2.6.3]# ./mdadm /dev/md0 -f /dev/sdh /dev/sdb
mdadm: set /dev/sdh faulty in /dev/md0
mdadm: set /dev/sdb faulty in /dev/md0
[root@fc5 mdadm-2.6.3]# cat /proc/mdstat
Personalities : [raid6] [raid5] [raid4] [raid1]
md0 : active raid5 sdh[6](F) sdg[5] sdf[4] sde[3] sdd[2] sdc[1] sdb[7](F)
5242560 blocks level 5, 64k chunk, algorithm 2 [6/5] [_UUUUU]
unused devices:
我們也可以通過mdadm命令查看指定陣列的簡要信息(使用--query或者其縮寫-Q)和詳細信息(使用--detail或者其縮寫-D) 詳細信息包括RAID的版本、創(chuàng)建的時間、RAID級別、陣列容量、可用空間、設(shè)備數(shù)量、超級塊狀態(tài)、更新時間、UUID信息、各個設(shè)備的狀態(tài)、RAID算法級別類型和布局方式以及塊大小等信息。設(shè)備狀態(tài)信息分為active, sync, spare, faulty, rebuilding, removing等等。
root@fc5 mdadm-2.6.3]# ./mdadm --query /dev/md0
/dev/md0: 2.100GiB raid10 6 devices, 1 spare. Use mdadm --detail for more detail.
[root@fc5 mdadm-2.6.3]# ./mdadm --detail /dev/md0
/dev/md0:
Version : 00.90.03
Creation Time : Sun Aug 22 17:49:53 1999
Raid Level : raid10
Array Size : 3145536 (3.00 GiB 3.22 GB)
Used Dev Size : 1048512 (1024.11 MiB 1073.68 MB)
Raid Devices : 6
Total Devices : 7
Preferred Minor : 0
Persistence : Superblock is persistent
Update Time : Sun Aug 22 21:55:02 1999
State : clean
Active Devices : 6
Working Devices : 7
Failed Devices : 0
Spare Devices : 1
Layout : near=2, far=1
Chunk Size : 64K
UUID : 0cabc5e5:842d4baa:e3f6261b:a17a477a
Events : 0.122
Number Major Minor RaidDevice State
0 8 16 0 active sync /dev/sdb
1 8 32 1 active sync /dev/sdc
2 8 48 2 active sync /dev/sdd
3 8 64 3 active sync /dev/sde
4 8 80 4 active sync /dev/sdf
5 8 96 5 active sync /dev/sdg
6 8 112 - spare /dev/sdh
管理陣列
mdadm可以在Manage模式下，對運行中的陣列進行添加及刪除磁盤。常用于標識failed磁盤，增加spare(熱備)磁盤，以及從陣列中移走已經(jīng)失效的磁盤等等。使用--fail(或者其縮寫-f)指定磁盤損壞。
[root@fc5 mdadm-2.6.3]# ./mdadm /dev/md0 --fail /dev/sdb
mdadm: set /dev/sdb faulty in /dev/md0
當磁盤已經(jīng)損壞時，使用--remove(或者其縮寫--f)參數(shù)將這個磁盤從磁盤陣列中移走；但如果設(shè)備還正在被陣列使用，則不能從陣列中移走。
[root@fc5 mdadm-2.6.3]# ./mdadm /dev/md0 --remove /dev/sdb
mdadm: hot removed /dev/sdb
[root@fc5 mdadm-2.6.3]# ./mdadm /dev/md0 --remove /dev/sde
mdadm: hot remove failed for /dev/sde: Device or resource busy
如果陣列帶有spare磁盤，那么自動將損壞磁盤上的數(shù)據(jù)重構(gòu)到新的spare磁盤上；
[root@fc5 mdadm-2.6.3]# ./mdadm -f /dev/md0 /dev/sdb ; cat /proc/mdstat
mdadm: set /dev/sdb faulty in /dev/md0
Personalities : [raid0] [raid10]
md0 : active raid10 sdh[6] sdb[7](F) sdc[0] sdg[5] sdf[4] sde[3] sdd[2]
3145536 blocks 64K chunks 2 near-copies [6/5] [U_UUUU]
[=======>........] recovery = 35.6% (373888/1048512) finish=0.1min speed=93472K/sec
unused devices:
如果陣列沒有熱備磁盤，可以使用--add(或者其縮寫-a)參數(shù)增加熱備磁盤
[root@fc5 mdadm-2.6.3]# ./mdadm /dev/md0 --add /dev/sdh
mdadm: added /dev/sdh
監(jiān)控陣列
可以使用mdadm對RAID陣列進行監(jiān)控，監(jiān)控程序定時查詢指定的事件是否發(fā)生，然后根據(jù)配置來妥善處理。例如當陣列中的磁盤設(shè)備出現(xiàn)問題的時候，可以發(fā)送郵件給管理員；或者當磁盤出現(xiàn)問題的時候由回調(diào)程序來進行自動的磁盤替換，所有監(jiān)控事件都可以記錄到系統(tǒng)日志中。目前mdadm支持的事件有RebuildStarted, RebuildNN(NN is 20, 40, 60, or 80), RebuildFinished, Fail,FailSpare,SpareActive,NewArray, DegradedArray, MoveSpare, SparesMissing, TestMessage。
如果配置每300秒mdadm監(jiān)控進程查詢MD設(shè)備一次，當陣列出現(xiàn)錯誤，會發(fā)送郵件給指定的用戶，執(zhí)行事件處理的程序并且記錄上報的事件到系統(tǒng)的日志文件。使用--daemonise參數(shù)(或者其縮寫-f)使程序持續(xù)在后臺運行。如果要發(fā)送郵件需要sendmail程序運行，當郵件地址被配置為外網(wǎng)地址應(yīng)先測試是否能發(fā)送出去。
[root@fc5 mdadm-2.6.3]#./mdadm --monitor --mail=root@localhost --program=/root/md.sh
--syslog --delay=300 /dev/md0 --daemonise
