Thiết lập mạng RAID 1 với DRBD trên Ubuntu 11.10

RAID 1 là dạng RAID cơ bản nhất có khả năng đảm bảo an toàn dữ liệu. Cũng giống như RAID 0, RAID 1 đòi hỏi ít nhất hai đĩa cứng để làm việc. Dữ liệu được ghi vào 2 ổ giống hệt nhau (Mirroring). Trong trường hợp một ổ bị trục trặc, ổ còn lại sẽ tiếp tục hoạt động bình thường. Trong khi đó DRBD là viết tắt của Distributed Replicated Block Device, là một hệ thống lưu trữ distributed cho các nền tảng GNU/Linux cho phép ngăn chặn các thiết bị mirro trên mạng. Điều này rất hữu ích cho thiết lập có độ sẵn sàng cao (giống như HA NFS server) bởi nếu một nút bị lỗi, toàn bộ dữ liệu vẫn có sẵn từ các nút khác.

 

 

Trong bài viết sau chúng tôi sẽ hướng dẫn các bạn thiết lập mạng RAID 1 với sự hỗ trợ của DRBD trên hệ thống Ubuntu 11.10.

Một số lưu ý

Tất cả các lệnh ở hướng dẫn này đều được chạy với quyền root, vì vậy hãy chắc chắn rằng bạn đã trở thành root bằng lệnh:

sudo root

Ở đây chúng tôi sử dụng hai máy chủ (đều đang chạy Ubuntu 11.10):

  • server1.example.com (địa chỉ IP 192.168.0.100)
  • server2.example.com (địa chỉ IP: 192.168.0.101)

Cả hai nút đều có một ổ đĩa unpartitioned thứ hai (/dev/sdb) với kích thước giống hệt nhau (trong ví dụ này là 30GB) mà bạn muốn mirro qua mạng (mạng RAID 1) với sự giúp đỡ của DRBD.

Điều quan trọng là cả hai nút đều có thể giải quyết lẫn nhau, hoặc là thông qua DNS hoặc /etc/hosts. Nếu bạn không tạo những bản ghi DNS cho server1.example.comserver2.example.com, bạn có thể chỉnh sửa /etc/hosts trên cả hai nút như sau:

server1/server2:

vi /etc/hosts

127.0.0.1       localhost.localdomain   localhost 192.168.0.100   server1.example.com     server1 192.168.0.101   server2.example.com     server2  # The following lines are desirable for IPv6 capable hosts ::1     ip6-localhost ip6-loopback fe00::0 ip6-localnet ff00::0 ip6-mcastprefix ff02::1 ip6-allnodes ff02::2 ip6-allrouters

Đồng bộ hóa thời gian

server1/server2:

Việc này rất quan trọng để cả hai nút có cùng một mốc thời gian, chúng ta sẽ cài đặt gói NTP:

apt-get install ntp ntpdate

Phân vùng /dev/sdb

server1/server2:

Bây giờ chúng ta phân vùng như sau:

fdisk -l

root@server1:~# fdisk -l

Disk /dev/sda: 32.2 GB, 32212254720 bytes
255 heads, 63 sectors/track, 3916 cylinders, total 62914560 sectors
Units = sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disk identifier: 0x000712c1

Device Boot      Start         End      Blocks   Id  System
/dev/sda1   *        2048      499711      248832   83  Linux
/dev/sda2          501758    62912511    31205377    5  Extended
/dev/sda5          501760    62912511    31205376   8e  Linux LVM

Disk /dev/sdb: 32.2 GB, 32212254720 bytes
255 heads, 63 sectors/track, 3916 cylinders, total 62914560 sectors
Units = sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disk identifier: 0x00000000

Disk /dev/sdb doesn’t contain a valid partition table

Disk /dev/mapper/server1-root: 31.4 GB, 31415336960 bytes
255 heads, 63 sectors/track, 3819 cylinders, total 61358080 sectors
Units = sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disk identifier: 0x00000000

Disk /dev/mapper/server1-root doesn’t contain a valid partition table

Disk /dev/mapper/server1-swap_1: 536 MB, 536870912 bytes
255 heads, 63 sectors/track, 65 cylinders, total 1048576 sectors
Units = sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disk identifier: 0x00000000

Disk /dev/mapper/server1-swap_1 doesn’t contain a valid partition table
root@server1:~#

Như bạn thấy, /dev/sdb không phải phân vùng. Chúng ta thay đổi nó và tạo một phân vùng lớn trên /dev/sdb1:

fdisk /dev/sdb

root@server1:~# fdisk /dev/sdb
Device contains neither a valid DOS partition table, nor Sun, SGI or OSF disklabel
Building a new DOS disklabel with disk identifier 0xf7ab5969.
Changes will remain in memory only, until you decide to write them.
After that, of course, the previous content won’t be recoverable.

Warning: invalid flag 0x0000 of partition table 4 will be corrected by w(rite)

Command (m for help): <-- n
Command action
e   extended
p   primary partition (1-4)

<-- p
Partition number (1-4, default 1): <-- 1
First sector (2048-62914559, default 2048): <-- ENTER
Using default value 2048
Last sector, +sectors or +size{K,M,G} (2048-62914559, default 62914559):
<-- ENTER
Using default value 62914559

Command (m for help): <-- t
Selected partition 1
Hex code (type L to list codes):
<-- 83

Command (m for help): <-- w
The partition table has been altered!

Calling ioctl() to re-read partition table.
Syncing disks.
root@server1:~#

Bây giờ chạy lại lệnh:

fdisk -l

và bạn sẽ tìm thấy /dev/sdb1 trong đầu ra:

root@server1:~# fdisk -l

Disk /dev/sda: 32.2 GB, 32212254720 bytes
255 heads, 63 sectors/track, 3916 cylinders, total 62914560 sectors
Units = sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disk identifier: 0x000712c1

Device Boot      Start         End      Blocks   Id  System
/dev/sda1   *        2048      499711      248832   83  Linux
/dev/sda2          501758    62912511    31205377    5  Extended
/dev/sda5          501760    62912511    31205376   8e  Linux LVM

Disk /dev/sdb: 32.2 GB, 32212254720 bytes
64 heads, 51 sectors/track, 19275 cylinders, total 62914560 sectors
Units = sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disk identifier: 0xf7ab5969

Device Boot      Start         End      Blocks   Id  System
/dev/sdb1            2048    62914559    31456256   83  Linux

Disk /dev/mapper/server1-root: 31.4 GB, 31415336960 bytes
255 heads, 63 sectors/track, 3819 cylinders, total 61358080 sectors
Units = sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disk identifier: 0x00000000

Disk /dev/mapper/server1-root doesn’t contain a valid partition table

Disk /dev/mapper/server1-swap_1: 536 MB, 536870912 bytes
255 heads, 63 sectors/track, 65 cylinders, total 1048576 sectors
Units = sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disk identifier: 0x00000000

Disk /dev/mapper/server1-swap_1 doesn’t contain a valid partition table
root@server1:~#

Cài đặt và cấu hình DRBD

server1/server2:

Tiếp theo chúng ta cài đặt DRBD trên cả hai nút như sau:

apt-get install drbd8-utils

Tải các module hạt nhân của DRBD:

modprobe drbd

Kiểm tra nếu nó đã được tải:

lsmod | grep drbd

Kết quả đầu ra sẽ tương tự như thế này:

root@server1:~# lsmod | grep drbd
drbd                  273002  0
lru_cache              14896  1 drbd
root@server1:~#

Bây giờ chúng ta trở lại tập tin gốc /etc/drbd.conf và tạo một cái mới cho cả hai nodes:

cp /etc/drbd.conf /etc/drbd.conf_orig
cat /dev/null > /etc/drbd.conf
vi /etc/drbd.conf
global { usage-count no; } common { syncer { rate 100M; } } resource r0 {         protocol C;         startup {                 wfc-timeout  15;                 degr-wfc-timeout 60;         }         net {                 cram-hmac-alg sha1;                 shared-secret "secret";         }         on server1.example.com {                 device /dev/drbd0;                 disk /dev/sdb1;                 address 192.168.0.100:7788;                 meta-disk internal;         }         on server2.example.com {                 device /dev/drbd0;                 disk /dev/sdb1;                 address 192.168.0.101:7788;                 meta-disk internal;         } }

Hãy chắc chắn rằng bạn sử dụng chính xác tên nút trong tập tin (thay vì server1.example.comserver2.example.com), chạy lệnh:

uname -n

Ngoài ra cũng cần đảm bảo rằng bạn điền chính xác địa chỉ IP trong dòng address và ổ đĩa tại dòng disk (nếu không sử dụng /dev/sdb1).

Bây giờ khởi tạo lưu trữ dữ liệu meta trên cả hai nodes:

drbdadm create-md r0

root@server1:~# drbdadm create-md r0
Writing meta data…
initializing activity log
NOT initialized bitmap
New drbd meta data block successfully created.
root@server1:~#

Sau đó khởi động DRBD trên cả hai nodes:

/etc/init.d/drbd start

root@server1:~# /etc/init.d/drbd start
* Starting DRBD resources [ d(r0) s(r0) n(r0) ] [ OK ]
root@server1:~#

Trên server1 thực hiện các node chính:

drbdadm — –overwrite-data-of-peer primary all

Sau đó dữ liệu sẽ bắt đầu đồng bộ hóa giữa server1 và server2.

Trên server2 chạy lệnh:

cat /proc/drbd

để thấy tiến trình đồng bộ hóa:

root@server2:~# cat /proc/drbd
version: 8.3.11 (api:88/proto:86-96)
srcversion: DA5A13F16DE6553FC7CE9B2
0: cs:SyncTarget ro:Secondary/Primary ds:Inconsistent/UpToDate C r—–
ns:0 nr:10166400 dw:10166400 dr:0 al:0 bm:620 lo:1 pe:7407 ua:0 ap:0 ep:1 wo:f oos:21288860
[=====>…………..] sync’ed: 32.4% (20788/30716)Mfinish: 0:03:53 speed: 91,180 (86,152) want: 102,400 K/sec
root@server2:~#

(Bạn có thể chạy:

watch cat /proc/drbd

để xem những gì đang diễn ra của quá trình này. Nhấn CTRL+C nếu muốn thoát.)

Chờ cho đến khi đồng bộ hóa hoàn thành, kết quả hiển thị như sau:

root@server2:~# cat /proc/drbd
version: 8.3.11 (api:88/proto:86-96)
srcversion: DA5A13F16DE6553FC7CE9B2
0: cs:Connected ro:Secondary/Primary ds:UpToDate/UpToDate C r—–
ns:0 nr:31455260 dw:31455260 dr:0 al:0 bm:1909 lo:0 pe:0 ua:0 ap:0 ep:1 wo:f oos:0
root@server2:~#

Đoạn ro:Secondary/Primary cho chúng ta biết đây là node thứ cấp.

Trên server1 có đầu ra của

cat /proc/drbd

như sau (sau khi đồng bộ hóa thành công):

root@server1:~# cat /proc/drbd
version: 8.3.11 (api:88/proto:86-96)
srcversion: DA5A13F16DE6553FC7CE9B2
0: cs:Connected ro:Primary/Secondary ds:UpToDate/UpToDate C r—–
ns:31455260 nr:0 dw:0 dr:31455924 al:0 bm:1920 lo:0 pe:0 ua:0 ap:0 ep:1 wo:f oos:0
root@server1:~#

Đoạn ro:Primary/Secondary cho chúng ta biết đây là node thứ cấp.

Bây giờ chúng ta đã có mạng RAID 1 ngăn chặn thiết bị /dev/drbd0 (bao gồm /dev/sdb1 từ server1 và server2). Chúng ta hãy tạo một hệ thống tập tin ext4 trên đó và mount tới thư mục /data. Điều này chỉ thực hiện trên server1.

mkfs.ext4 /dev/drbd0
mkdir /data
mount /dev/drbd0 /data

Sau đó xem kết quả tại /dev/drbd0:

mount

root@server1:~# mount
/dev/mapper/server1-root on / type ext4 (rw,errors=remount-ro)
proc on /proc type proc (rw,noexec,nosuid,nodev)
sysfs on /sys type sysfs (rw,noexec,nosuid,nodev)
fusectl on /sys/fs/fuse/connections type fusectl (rw)
none on /sys/kernel/debug type debugfs (rw)
none on /sys/kernel/security type securityfs (rw)
udev on /dev type devtmpfs (rw,mode=0755)
devpts on /dev/pts type devpts (rw,noexec,nosuid,gid=5,mode=0620)
tmpfs on /run type tmpfs (rw,noexec,nosuid,size=10%,mode=0755)
none on /run/lock type tmpfs (rw,noexec,nosuid,nodev,size=5242880)
none on /run/shm type tmpfs (rw,nosuid,nodev)
/dev/sda1 on /boot type ext2 (rw)
/dev/drbd0 on /data type ext4 (rw)
root@server1:~#

df -h

root@server1:~# df -h
Filesystem            Size  Used Avail Use% Mounted on
/dev/mapper/server1-root
29G 1017M   27G   4% /
udev                  238M  4.0K  238M   1% /dev
tmpfs                  99M  228K   99M   1% /run
none                  5.0M  4.0K  5.0M   1% /run/lock
none                  247M     0  247M   0% /run/shm
/dev/sda1             228M   24M  193M  11% /boot
/dev/drbd0             30G  172M   28G   1% /data
root@server1:~#

Thử nghiệm

Bây giờ chúng ta tạo một số tập tin hoặc thư mục trong /data tại server1 và kiểm tra xem chúng có được tái tạo trên server2 hay không.

touch /data/test1.txt
touch /data/test2.txt

ls -l /data/

root@server1:~# ls -l /data/
total 16
drwx—— 2 root root 16384 2011-10-28 14:12 lost+found
-rw-r–r– 1 root root     0 2011-10-28 14:13 test1.txt
-rw-r–r– 1 root root     0 2011-10-28 14:13 test2.txt
root@server1:~#

Tiếp theo gỡ liên kết thư mục /data trên server1:

umount /data

Sau đó gán secondary cho server1:

drbdadm secondary r0

Vào server2 và kiểm tra xem chúng ta có thể nhìn thấy tập tin/thư mục đã tạo trên server1 trong thư mục /data.

Đầu tiên gán primary cho server2:

drbdadm primary r0

Kiểm tra đầu ra của

cat /proc/drbd

bạn sẽ thấy server2 là nút chính:

root@server2:~# cat /proc/drbd
version: 8.3.11 (api:88/proto:86-96)
srcversion: DA5A13F16DE6553FC7CE9B2
0: cs:Connected ro:Primary/Secondary ds:UpToDate/UpToDate C r—–
ns:0 nr:31691444 dw:31691444 dr:664 al:0 bm:1909 lo:0 pe:0 ua:0 ap:0 ep:1 wo:f oos:0
root@server2:~#

Tạo thư mục /data và mount tới /dev/drbd0:

mkdir /data
mount /dev/drbd0 /data

Kiểm tra nội dung của thư mục /data:

ls -l /data/

Nếu mọi thứ diễn ra tốt đẹp, bạn sẽ thấy nội dung của tập tin/thư mục đã tạo trên server1:

root@server2:~# ls -l /data/
total 16
drwx—— 2 root root 16384 2011-10-28 14:12 lost+found
-rw-r–r– 1 root root     0 2011-10-28 14:13 test1.txt
-rw-r–r– 1 root root     0 2011-10-28 14:13 test2.txt
root@server2:~#

Bây giờ trên server1 chúng ta đã chuyển đổi vai trò cho nó, vì vậy mà đầu ta của

cat /proc/drbd

sẽ trông như sau:

root@server1:~# cat /proc/drbd
version: 8.3.11 (api:88/proto:86-96)
srcversion: DA5A13F16DE6553FC7CE9B2
0: cs:Connected ro:Secondary/Primary ds:UpToDate/UpToDate C r—–
ns:31691444 nr:185568 dw:421752 dr:31457005 al:83 bm:1920 lo:1 pe:0 ua:0 ap:0 ep:1 wo:f oos:0
root@server1:~#

Các link tham khảo

DRBD: http://www.drbd.org/
Ubuntu: http://www.ubuntu.com/

Theo: Quantrimang

Bài viết liên quan