Raid5-Verbund in mehrer Partitionen aufteilen...

[Duff]

Hallo,

ich habe einen Homer-Server mit einem Raid 5 aufgesetzt (/dev/md0 --> /mirror). Nun habe ich den Usern quotas zugeteilt. Aber diese gelten ja dann für alle Unterverzeichnisse von /mirror. Ich möchte aber nur die user-Quotas für /mirror/home vergeben.

Wie gehe ich am besten vor?

Oder kann ich den Raid-Verbund in mehrere Partitionen aufteilen und mounten?
(z.B /dev/md0 --> /mirror/shares; /dev/md1 --> /mirror/home;etc.)

[Mictlan]

Ich rate dir da zu LVM...

oder du macht einfach eine riesen Partition mit einzelnen Verzeichnissen und Links....

am besten und schönsten is aber immer noch lvm..... (meiner Meinung nach)

[Duff]

[quote="Mictlan"
oder du macht einfach eine riesen Partition mit einzelnen Verzeichnissen und Links....
[/quote]

Wie meinst du dass?

Eine riesen Partition habe ich ja bereit (/mirror). Wenn ich aber edquota <user> den angegeben Pfad /dev/md/0 zu /mirror/home/<user> ändere, werden die Einstellungen nicht gespeichert.

[Mictlan]

ähm mal kurz verständisfrage.... habs selbst auch grad erst herausgefunden..... (hab quotas bisher erst gestreift....)

quota vergibst du immer partitionsweise und nicht ordnerweise.... dh das was du vor hast muss in ein lvm

[Duff]

Schade...

Wenn's wohl wirklich nur über lvm realisierbar ist, dann werde ich mir dass wohl doch mal anschauen müssen.

Danke.

[Duff]

Ok, versuche mir gerade mal die lvm-Sache ein wenig verständlich zu machen, was aber noch nicht so ganz funktioniert.

Ich habe bisher

Code: Alles auswählen

root@homer:~# fdisk -l /dev/md0

Disk /dev/md0: 1500.3 GB, 1500323315712 bytes
2 heads, 4 sectors/track, 366289872 cylinders
Units = cylinders of 8 * 512 = 4096 bytes

Diese Raid5-Parition würde ich gerne in weitere Partitionen aufteilen. Nur wie muss ich vorgehen???

[Duff]

Kennt jemand eine gute Anleitung/Tutorial zum Thema lvm mit raid 5?

[Duff]

Ich komme einfach nicht weiter.

Ich möchte meinen Raid5-Verbund

Code: Alles auswählen

root@homer:~# cat /proc/mdstat
Personalities : [raid6] [raid5] [raid4]
md0 : active raid5 sda[0] sdd[3] sdc[2] sdb[1]
      1465159488 blocks level 5, 64k chunk, algorithm 2 [4/4] [UUUU]

unused devices: <none>
root@homer:~# df -h -T
Dateisystem   Typ    Größe Benut  Verf Ben% Eingehängt auf
/dev/hda1     ext3    259M  186M   60M  76% /
tmpfs        tmpfs    2,0G     0  2,0G   0% /lib/init/rw
udev         tmpfs     10M   68K   10M   1% /dev
tmpfs        tmpfs    2,0G     0  2,0G   0% /dev/shm
/dev/hda9     ext3    128G  188M  121G   1% /home
/dev/hda8     ext3    373M   11M  343M   3% /tmp
/dev/hda5     ext3    4,6G  540M  3,9G  13% /usr
/dev/hda6     ext3    2,8G  303M  2,4G  12% /var
/dev/md0      ext3    1,4T  221M  1,3T   1% /mirror

Der über 4 Platten aufgebaut ist und komplett auf /mirror zeigt gerne so aufteilen, dass ich ein /mirror/home, /mirror/share usw. habe. Auf diese einzelnen Partitionen möchte ich nämlich dann quotas vergeben.

Wie muss ich nun weiter vorgehen???

[dominator]

[quote]Der über 4 Platten aufgebaut ist und komplett auf /mirror zeigt gerne so aufteilen, dass ich ein /mirror/home, /mirror/share usw. habe. Auf diese einzelnen Partitionen möchte ich nämlich dann quotas vergeben.[/quote

Naja du legst dein LVM einfach auf dem /dev/md0 an

Alles weitere findet sich in den einschlägigen HOWTO's zum LVM
http://www.selflinux.org/selflinux/html/lvm.html

[Duff]

Erstmal Danke, aber ich komme schon nicht mehr wirklich weiter.

Habe bisher folgendes gemacht:

Code: Alles auswählen

root@homer:~# pvcreate /dev/md0
  Can't open /dev/md0 exclusively.  Mounted filesystem?
root@homer:~# umount /dev/md0
root@homer:~# pvcreate /dev/md0
  Physical volume "/dev/md0" successfully created
root@homer:~# vgcreate myvg1 /dev/md0
  Volume group "myvg1" successfully created
root@homer:~# lvcreate -L 100G -n myvol1 myvg1
  Logical volume "myvol1" created

Danach habe ich dann das Dateisystem eingerichtet:

Code: Alles auswählen

root@homer:~# mkfs.ext3 /dev/myvg1/myvol1
mke2fs 1.40-WIP (14-Nov-2006)
Dateisystem-Label=
OS-Typ: Linux
Blockgröße=4096 (log=2)
Fragmentgröße=4096 (log=2)
13107200 Inodes, 26214400 Blöcke
1310720 Blöcke (5.00%) reserviert für den Superuser
erster Datenblock=0
Maximum filesystem blocks=4294967296
800 Blockgruppen
32768 Blöcke pro Gruppe, 32768 Fragmente pro Gruppe
16384 Inodes pro Gruppe
Superblock-Sicherungskopien gespeichert in den Blöcken:
        32768, 98304, 163840, 229376, 294912, 819200, 884736, 1605632, 2654208,
        4096000, 7962624, 11239424, 20480000, 23887872

Schreibe Inode-Tabellen: erledigt
Erstelle Journal (32768 Blöcke): erledigt
Schreibe Superblöcke und Dateisystem-Accountinginformationen: erledigt

Das Dateisystem wird automatisch alle 35 Mounts bzw. alle 180 Tage überprüft,
je nachdem, was zuerst eintritt. Veränderbar mit tune2fs -c oder -t .

Anschließend wollte ich es dann mounten, was aber nicht funktioniert.

Code: Alles auswählen

root@homer:~# mount -t ext3 /mirror/home/ /dev/myvg1/myvol1
mount: /mirror/home/ is not a block device

Was muss ich noch machen?

Meine /etc/fstab sieht bisher (lvm ist noch nicht eingerichtet) so aus:

Code: Alles auswählen

root@homer:/# cat /etc/fstab
# /etc/fstab: static file system information.
#
# <file system> <mount point>   <type>  <options>       <dump>  <pass>
proc            /proc           proc    defaults        0       0
/dev/hda1       /               ext3    defaults,errors=remount-ro 0       1
/dev/hda9       /home           ext3    defaults        0       2
/dev/hda8       /tmp            ext3    defaults        0       2
/dev/hda5       /usr            ext3    defaults        0       2
/dev/hda6       /var            ext3    defaults        0       2
/dev/hda7       none            swap    sw              0       0
/dev/hdb        /media/cdrom0   udf,iso9660 user,noauto     0       0
/dev/md0        /mirror         ext3    defaults,usrquota,grpquota      0       2

[Mictlan]

Anschließend wollte ich es dann mounten, was aber nicht funktioniert.

Code: Alles auswählen

root@homer:~# mount -t ext3 /mirror/home/ /dev/myvg1/myvol1
mount: /mirror/home/ is not a block device

Was muss ich noch machen?

Meine /etc/fstab sieht bisher (lvm ist noch nicht eingerichtet) so aus:

Code: Alles auswählen

root@homer:/# cat /etc/fstab
# /etc/fstab: static file system information.
#
# <file system> <mount point>   <type>  <options>       <dump>  <pass>
proc            /proc           proc    defaults        0       0
/dev/hda1       /               ext3    defaults,errors=remount-ro 0       1
/dev/hda9       /home           ext3    defaults        0       2
/dev/hda8       /tmp            ext3    defaults        0       2
/dev/hda5       /usr            ext3    defaults        0       2
/dev/hda6       /var            ext3    defaults        0       2
/dev/hda7       none            swap    sw              0       0
/dev/hdb        /media/cdrom0   udf,iso9660 user,noauto     0       0
/dev/md0        /mirror         ext3    defaults,usrquota,grpquota      0       2

mach mal root@homer:~# mount -t ext3 /dev/myvg1/myvol1 /mirror/home/
da hast einfach nur die parameterreihenfolge vertauscht....

in eine fstab muss dann folgende zeile rein:
/dev/myvg1/myvol1 /mirror ext3 defaults,usrquota,grpquota 0 2

[Duff]

@Mictlan: Danke, was für ein "blöder" Fehler.

Muss die Zeile in der /etc/fstab nicht in etwas so aussehen?

Code: Alles auswählen

proc            /proc           proc    defaults        0       0
/dev/hda1       /               ext3    defaults,errors=remount-ro 0       1
/dev/hda9       /home           ext3    defaults        0       2
/dev/hda8       /tmp            ext3    defaults        0       2
/dev/hda5       /usr            ext3    defaults        0       2
/dev/hda6       /var            ext3    defaults        0       2
/dev/hda7       none            swap    sw              0       0
/dev/hdb        /media/cdrom0   udf,iso9660 user,noauto     0       0
/dev/md0        /mirror         ext3    defaults      0       2
/dev/myvg1/myvol1    /mirror/home     ext3 defaults,usrquota,grpquota 0 2

Wie muss ich denn den Raid5-Verbund in der /etc/fstab einbinden/lassen?
Ist dass so bisher denn richtig?

[Mictlan]

@Mictlan: Danke, was für ein "blöder" Fehler.

Muss die Zeile in der /etc/fstab nicht in etwas so aussehen?

Code: Alles auswählen

proc            /proc           proc    defaults        0       0
/dev/hda1       /               ext3    defaults,errors=remount-ro 0       1
/dev/hda9       /home           ext3    defaults        0       2
/dev/hda8       /tmp            ext3    defaults        0       2
/dev/hda5       /usr            ext3    defaults        0       2
/dev/hda6       /var            ext3    defaults        0       2
/dev/hda7       none            swap    sw              0       0
/dev/hdb        /media/cdrom0   udf,iso9660 user,noauto     0       0
/dev/md0        /mirror         ext3    defaults      0       2
/dev/myvg1/myvol1    /mirror/home     ext3 defaults,usrquota,grpquota 0 2

Wie muss ich denn den Raid5-Verbund in der /etc/fstab einbinden/lassen?
Ist dass so bisher denn richtig?

jap fast richtig, kleiner schönheitsfehler in der fstab noch:

die zeile würd ich entfernen (erzeugt einen fehler beim mounten)

Code: Alles auswählen

/dev/md0        /mirror         ext3    defaults      0       2

auf /dev/md0 befindet sich ja jetzt ein lvm und nicht mehr ein ext3 dateisystem!

[Duff]

Ok, rebootet habe ich noch nicht (habe mich noch nicht getraut )

Aber woher weiß ich jetzt, dass der Raid-Verbund auch korrekt erkannt wird?
Nur über einen Blick in /proc/mdstat?

Danke.

[Mictlan]

Aber woher weiß ich jetzt, dass der Raid-Verbund auch korrekt erkannt wird?
Nur über einen Blick in /proc/mdstat?

ja. /proc/mdstat gibt dir den status von allen aktiven raids aus, egal ob guter oder schlechter zustand....

[Duff]

Danke, hat funktioniert. Nach einem Reboot konnte ich noch immer auf die gemounteten Verzeichnisse zugreifen.
Die einzige Fehlermeldung, die ich im syslog finden konnte, lautet:

Code: Alles auswählen

Apr 22 18:16:46 homer mdadm: SparesMissing event detected on md device /dev/md0

Mounts werden angezeigt:

Code: Alles auswählen

root@homer:~# mount
/dev/hda1 on / type ext3 (rw,errors=remount-ro)
tmpfs on /lib/init/rw type tmpfs (rw,nosuid,mode=0755)
proc on /proc type proc (rw,noexec,nosuid,nodev)
sysfs on /sys type sysfs (rw,noexec,nosuid,nodev)
procbususb on /proc/bus/usb type usbfs (rw)
udev on /dev type tmpfs (rw,mode=0755)
tmpfs on /dev/shm type tmpfs (rw,nosuid,nodev)
devpts on /dev/pts type devpts (rw,noexec,nosuid,gid=5,mode=620)
/dev/hda9 on /home type ext3 (rw)
/dev/hda8 on /tmp type ext3 (rw)
/dev/hda5 on /usr type ext3 (rw)
/dev/hda6 on /var type ext3 (rw)
/dev/mapper/lvm--raid--1-lv1 on /mirror/home type ext3 (rw)
/dev/mapper/lvm--raid--1-lv2 on /mirror/shares type ext3 (rw)
/dev/mapper/lvm--raid--1-lv3 on /mirror/nfsd type ext3 (rw)
nfsd on /proc/fs/nfsd type nfsd (rw)
rpc_pipefs on /var/lib/nfs/rpc_pipefs type rpc_pipefs (rw)

Jetzt bleibt nur noch die Frage, was tun bei einem Crash der Systemfestplatte mit dem OS???

[Mictlan]

Danke, hat funktioniert. Nach einem Reboot konnte ich noch immer auf die gemounteten Verzeichnisse zugreifen.
Die einzige Fehlermeldung, die ich im syslog finden konnte, lautet:

Code: Alles auswählen

Apr 22 18:16:46 homer mdadm: SparesMissing event detected on md device /dev/md0

gut das bedeutet nur dass er kein hot-spare für ein automatisches rebuild hat... dh wenn mal eine platte ausfalln sollte solltest schnell sein mim beheben des Schadens... hot-spare is dir ja ein begriff oder?

Jetzt bleibt nur noch die Frage, was tun bei einem Crash der Systemfestplatte mit dem OS???

/ auf ein raid1 anleitungen gibt dir google....
aber wennst es nicht machst is immer noch so dass du auf jeden fall deine daten am raid5 behältst, du musst halt den rechner neu aufsetzen und deine config wiederherstelln..... bzw du richtest dir ein primitivbackup mit dd if=/dev/hda of=/mirror/somewhere/hda.img ein... vllt noch als cronjob der täglich oder wöchentlich läuft...

[Duff]

Danke für die Antworten.

zu Punkt 1.)
Also hot-spare benötige ich nicht. Müsste mir nur noch was einrichten, dass ich bei einer defekten Festplatte eine Mail-Benachrichtigung bekomme.


zu Punkt 2.)

Jetzt bleibt nur noch die Frage, was tun bei einem Crash der Systemfestplatte mit dem OS???

/ auf ein raid1 anleitungen gibt dir google....

Habe ich auch schon überlegt, aber dann müsste ich mir noch eine weitere Festplatte zulegen und eventuell ein Hardware-Raid, usw.
Möchte es ohne schaffen bzw. machen.

aber wennst es nicht machst is immer noch so dass du auf jeden fall deine daten am raid5 behältst, du musst halt den rechner neu aufsetzen und deine config wiederherstelln..... bzw du richtest dir ein primitivbackup mit dd if=/dev/hda of=/mirror/somewhere/hda.img ein... vllt noch als cronjob der täglich oder wöchentlich läuft...

Ein Backup werde ich auf jeden Fall noch einrichten, um die Config-Dateien und was ich sonst noch brauche, zu sichern.
Für den Befehl, den du erwähnt hast, benötige ich aber glaube ich ziehmlich viel Festplattenplatz, da die Festplatte 160 GB groß ich und die neue zum Zurückspielen auch wieder mind. 160 GB groß sein müsste.

Was ich aber noch immer nicht richtig verstanden habe (werde den Fall auch mal durchprobieren, in dem ich meine Platte mit dem OS gegen ein CD-ROM-Laufwerk tauschen und eine LIVE-CD nehmen werde), ist, wie ich dann auf den Raid5-Verbund zugreifen kann.
Welche config-Dateien benötige ich, usw.?

[Mictlan]

Danke für die Antworten.

zu Punkt 1.)
Also hot-spare benötige ich nicht. Müsste mir nur noch was einrichten, dass ich bei einer defekten Festplatte eine Mail-Benachrichtigung bekomme.

das kannst in /etc/mdadm.conf einstelln - musst nur schaun dass /etc/init.d/mdadm start beim booten aufgerufen wird

zu Punkt 2.)
Ein Backup werde ich auf jeden Fall noch einrichten, um die Config-Dateien und was ich sonst noch brauche, zu sichern.
Für den Befehl, den du erwähnt hast, benötige ich aber glaube ich ziehmlich viel Festplattenplatz, da die Festplatte 160 GB groß ich und die neue zum Zurückspielen auch wieder mind. 160 GB groß sein müsste.

ja stimmt, aber wie du am besten ein backup erstellt suchst du am besten via google. gibt einige gute backupstrategien und tools die das erledigen. is auch noch ein punkt auf meiner todo-liste (bisher genügt mir raid1 bzw raid5 und eine kopie auf eine externe platte mittels rsync)

Was ich aber noch immer nicht richtig verstanden habe (werde den Fall auch mal durchprobieren, in dem ich meine Platte mit dem OS gegen ein CD-ROM-Laufwerk tauschen und eine LIVE-CD nehmen werde), ist, wie ich dann auf den Raid5-Verbund zugreifen kann.
Welche config-Dateien benötige ich, usw.?

[Duff]

das kannst in /etc/mdadm.conf einstelln - musst nur schaun dass /etc/init.d/mdadm start beim booten aufgerufen wird

Scheint beim Booten aufgerufen zu werden. Habe z.B. im Runlevel 2 das Skript

Code: Alles auswählen

daniel@homer:/etc/rc2.d$ ll S25mdadm
lrwxrwxrwx 1 root root 15 2008-03-27 21:44 S25mdadm -> ../init.d/mdadm

Weiß zwar nicht genau, wie dem Skript bzw. wer dem Skript den Parameter start übergibt, aber der Prozess scheint nach einem Reboot vorhanden zu sein.

Code: Alles auswählen

daniel@homer:/etc/rc2.d$ pget mdadm
root      2702     1  0 Apr22 ?        00:00:00 /sbin/mdadm --monitor --pid-file /var/run/mdadm/monitor.pid --daemonise --scan --syslog

In meiner mdadm-Konfigdatei habe ich bisher folgendes eingetragen:

Code: Alles auswählen

DEVICE /dev/sda /dev/sdb /dev/sdc /dev/sdd /dev/sda /dev/sdb /dev/sdc /dev/sdd
ARRAY /dev/md0 level=raid5 num-devices=4 spares=1 UUID=edc07a61:877047df:a9fc308a:72465bea
MAILADDR mail@adresse.de
PROGRAM /root/scripts/handle-mdadm-events.sh

Wobei ich noch einrichten muss, dass Mails an externe Mail-Adressen versendet werden können. Das mit dem Programm ausführen funktioniert auf jeden Fall schon mal.

ja stimmt, aber wie du am besten ein backup erstellt suchst du am besten via google. gibt einige gute backupstrategien und tools die das erledigen. is auch noch ein punkt auf meiner todo-liste (bisher genügt mir raid1 bzw raid5 und eine kopie auf eine externe platte mittels rsync)

Ja, ja. Dass werde ich mir auf jeden Fall noch gesondert anschauen.

Was ich aber noch immer nicht richtig verstanden habe (werde den Fall auch mal durchprobieren, in dem ich meine Platte mit dem OS gegen ein CD-ROM-Laufwerk tauschen und eine LIVE-CD nehmen werde), ist, wie ich dann auf den Raid5-Verbund zugreifen kann.
Welche config-Dateien benötige ich, usw.?

Wie machst du dass denn oder wie würdest du es machen???

[Mictlan]

Was ich aber noch immer nicht richtig verstanden habe (werde den Fall auch mal durchprobieren, in dem ich meine Platte mit dem OS gegen ein CD-ROM-Laufwerk tauschen und eine LIVE-CD nehmen werde), ist, wie ich dann auf den Raid5-Verbund zugreifen kann.
Welche config-Dateien benötige ich, usw.?

Wie machst du dass denn oder wie würdest du es machen???

ups..... hab ich vergessen zu beantworten...
live cd rein, hochfahrn cat /proc/mdadm sollte das raid erkannt haben (bei der debian install cd wars bei mir so)
wenn nicht dann mit mdadm --detail --scan die infos herausfinden und mit mdadm --assemble --scan wieder zusammenbaun. dann mounten (readonly?) und gut is....

[Duff]

Ok, dann werde ich es mal in Angriff nehmen und sobald wie möglich ausprobieren.
Dann sollte es mit dem Raid ja schonmal keine Probleme geben.

Was ist aber mit dem lvm?
(Sorry, aber es kommen leider immer weitere Fragen auf )

[dominator]

Was ist aber mit dem lvm?
(Sorry, aber es kommen leider immer weitere Fragen auf )

Kein Problem, aber bitte les dir die angegebenen HowTo's doch auch mal richtig durch

Knoppix / GRML sollten den LVM automatische erkennen, wenn nicht hilft

Code: Alles auswählen

vgscan -v

[Duff]

So, habe nun gerade mal mit einer Live-CD (Knoppix 2.6.19) gebootet und mein Raid-Verbund wird leider nicht automatisch erkannt.

Auch ein mdadm --detail --scan bringt nichts.


Liegt es nun an der Knoppix-Version (habe einen Xeon-Prozessor) oder hat vielleicht sonst noch jemand eine Idee?
Ein vgscan liefert auch nur ein "No volume groups found".


Danke.

[Duff]

Niemand eine Idee, wie ich nun Zugriff auf das Raid bekommen kann?