Mdadm , RAID Kann nicht gestartet werden

[Danielx]

Nochmal bitte:

Code: Alles auswählen

fdisk -l /dev/sdf
mdadm -D /dev/md0

[Ultimate272]

Zeus:~# fdisk -l /dev/sdf

WARNING: GPT (GUID Partition Table) detected on '/dev/sdf'! The util fdisk doesn't support GPT. Use GNU Parted.


Disk /dev/sdf: 1000.2 GB, 1000204886016 bytes
255 heads, 63 sectors/track, 121601 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
Disk identifier: 0x00000000

Device Boot Start End Blocks Id System
/dev/sdf1 1 121602 976762583+ ee EFI GPT
Zeus:~# mdadm -D /dev/md0
mdadm: metadata format 00.90 unknown, ignored.
/dev/md0:
Version : 00.90
Creation Time : Fri Sep 11 18:00:41 2009
Raid Level : raid5
Used Dev Size : 976759936 (931.51 GiB 1000.20 GB)
Raid Devices : 5
Total Devices : 5
Preferred Minor : 0
Persistence : Superblock is persistent

Update Time : Tue Oct 27 08:07:05 2009
State : active, degraded, Not Started
Active Devices : 4
Working Devices : 5
Failed Devices : 0
Spare Devices : 1

Layout : left-symmetric
Chunk Size : 64K

UUID : 97f5d4fb:2f9da94a:4b9062e0:a0bd6cbd
Events : 0.1332351

Number Major Minor RaidDevice State
0 8 17 0 active sync /dev/sdb1
1 8 33 1 active sync /dev/sdc1
2 8 49 2 active sync /dev/sdd1
3 8 65 3 active sync /dev/sde1
4 0 0 4 removed

5 8 81 - spare /dev/sdf1

[Danielx]

Ok, jetzt sieht es besser aus.

Was sagt:

Code: Alles auswählen

cat /sys/block/md0/md/sync_action

und

Code: Alles auswählen

cat /proc/mdstat

[Ultimate272]

Zeus:~# cat /proc/mdstat
Personalities : [raid6] [raid5] [raid4]
md0 : inactive sdf1[5](S) sdb1[0] sde1[3] sdd1[2] sdc1[1]
4883799680 blocks

unused devices: <none>




Zeus:~# cat /sys/block/md0/md/sync_action
cat: /sys/block/md0/md/sync_action: No such file or directory

[Danielx]

Und:

Code: Alles auswählen

cat /sys/block/md*/md/sync_action

[Ultimate272]

Gibt

Code: Alles auswählen

Zeus:~# cat /sys/block/md*/md/sync_action
cat: /sys/block/md*/md/sync_action: No such file or directory

[Danielx]

Stoppe das RAID mal:

Code: Alles auswählen

mdadm --stop /dev/md0

Dann sollte es nicht mehr "active" sein, was sagt dann:

Code: Alles auswählen

mdadm --assemble --auto=yes --force /dev/md0 /dev/sd[b-f]1

Gruß,
Daniel

[Ultimate272]

Zeus:~# mdadm --detail /dev/md0
mdadm: metadata format 00.90 unknown, ignored.
/dev/md0:
Version : 00.90
Creation Time : Fri Sep 11 18:00:41 2009
Raid Level : raid5
Array Size : 3907039744 (3726.04 GiB 4000.81 GB)
Used Dev Size : 976759936 (931.51 GiB 1000.20 GB)
Raid Devices : 5
Total Devices : 5
Preferred Minor : 0
Persistence : Superblock is persistent

Update Time : Tue Oct 27 08:07:05 2009
State : clean, degraded
Active Devices : 4
Working Devices : 5
Failed Devices : 0
Spare Devices : 1

Layout : left-symmetric
Chunk Size : 64K

UUID : 97f5d4fb:2f9da94a:4b9062e0:a0bd6cbd
Events : 0.1332351

Number Major Minor RaidDevice State
0 8 17 0 active sync /dev/sdb1
1 8 33 1 active sync /dev/sdc1
2 8 49 2 active sync /dev/sdd1
3 8 65 3 active sync /dev/sde1
4 0 0 4 removed

5 8 81 - spare /dev/sdf1




Jetz müsste er eig nurnoch einen Spare rebuild starten , was er aber nochnet getan hat ( cat /proc/mdstat )

Und was muss dann in die Config ?

[Danielx]

Dann starte das RAID mal:

Code: Alles auswählen

mdadm --run /dev/md0

Und dann die Ausgabe von:

Code: Alles auswählen

cat /proc/mdstat

und

Code: Alles auswählen

mdadm -D /dev/md0

Gruß,
Daniel

[Ultimate272]

Zeus:~# mdadm -D /dev/md0
mdadm: metadata format 00.90 unknown, ignored.
/dev/md0:
Version : 00.90
Creation Time : Fri Sep 11 18:00:41 2009
Raid Level : raid5
Array Size : 3907039744 (3726.04 GiB 4000.81 GB)
Used Dev Size : 976759936 (931.51 GiB 1000.20 GB)
Raid Devices : 5
Total Devices : 5
Preferred Minor : 0
Persistence : Superblock is persistent

Update Time : Thu Oct 29 17:15:05 2009
State : clean, degraded, recovering
Active Devices : 4
Working Devices : 5
Failed Devices : 0
Spare Devices : 1

Layout : left-symmetric
Chunk Size : 64K

Rebuild Status : 3% complete

UUID : 97f5d4fb:2f9da94a:4b9062e0:a0bd6cbd
Events : 0.1332600

Number Major Minor RaidDevice State
0 8 17 0 active sync /dev/sdb1
1 8 33 1 active sync /dev/sdc1
2 8 49 2 active sync /dev/sdd1
3 8 65 3 active sync /dev/sde1
5 8 81 4 spare rebuilding /dev/sdf1
Zeus:~# cat /proc/mdstat
Personalities : [raid6] [raid5] [raid4]
md0 : active raid5 sdb1[0] sdf1[5] sde1[3] sdd1[2] sdc1[1]
3907039744 blocks level 5, 64k chunk, algorithm 2 [5/4] [UUUU_]
[>....................] recovery = 3.4% (33804288/976759936) finish=698.1min speed=22511K/sec

unused devices: <none>



Rebuild läuft

mdadm .conf

# mdadm.conf
#
# Please refer to mdadm.conf(5) for information about this file.
#

# by default, scan all partitions (/proc/partitions) for MD superblocks.
# alternatively, specify devices to scan, using wildcards if desired.

DEVICE partitions

# auto-create devices with Debian standard permissions
CREATE owner=root group=disk mode=0660 auto=yes

# automatically tag new arrays as belonging to the local system
HOMEHOST <system>

# instruct the monitoring daemon where to send mail alerts
#psyeagel@gmail.com root


# This file was auto-generated on Fri, 16 Oct 2009 15:36:56 +0200
# by mkconf $Id$



#ARRAY /dev/md0 level=raid5 num-devices=5 metadata=00.90 UUID=97f5d4fb:2f9da94a:4b9062e0:a0bd6cbd
ARRAY /dev/md0 level=raid5 num-devices=5 metadata=00.90 UUID=97f5d4fb:2f9da94a:4b9062e0:a0bd6cbd

Wie kann ich die nun Perfekt machen damit alles auch nach einem restart läuft ?

Daniel , ich stehe tief in deiner Schuld ! Vielen Dank !

[Danielx]

Endlich...

Wie kann ich die nun Perfekt machen damit alles auch nach einem restart läuft ?

Eigentlich sollte es so laufen.

Wenn das RAID fertig synchronisiert hat, kannst du ja zum Abschluss nochmal die Ausgaben posten:

Code: Alles auswählen

mdadm -D /dev/md0
cat /proc/mdstat

Gruß,
Daniel

[Ultimate272]

Zeus:~# mdadm -D /dev/md0
mdadm: metadata format 00.90 unknown, ignored.
/dev/md0:
Version : 00.90
Creation Time : Fri Sep 11 18:00:41 2009
Raid Level : raid5
Array Size : 3907039744 (3726.04 GiB 4000.81 GB)
Used Dev Size : 976759936 (931.51 GiB 1000.20 GB)
Raid Devices : 5
Total Devices : 4
Preferred Minor : 0
Persistence : Superblock is persistent

Update Time : Fri Oct 30 21:08:34 2009
State : clean, degraded
Active Devices : 4
Working Devices : 4
Failed Devices : 0
Spare Devices : 0

Layout : left-symmetric
Chunk Size : 64K

UUID : 97f5d4fb:2f9da94a:4b9062e0:a0bd6cbd
Events : 0.1356918

Number Major Minor RaidDevice State
0 8 17 0 active sync /dev/sdb1
1 8 33 1 active sync /dev/sdc1
2 8 49 2 active sync /dev/sdd1
3 8 65 3 active sync /dev/sde1
4 0 0 4 removed
Zeus:~# cat /proc/mdstat
Personalities : [raid6] [raid5] [raid4]
md0 : active raid5 sdb1[0] sde1[3] sdd1[2] sdc1[1]
3907039744 blocks level 5, 64k chunk, algorithm 2 [5/4] [UUUU_]

unused devices: <none>





Hey, könntest du mir dann evtl. zeigen wie ich die Platte genau richtig formatiere mit fdisk oda so...

und die Platte wird wieder als Removed angezegit

[Danielx]

War die Wiederherstellung schon bei 100 Prozent, bevor das Device entfernt wurde?

Sag mal bitte genauer, was du zuvor gemacht hast.
Rechner neu gestartet?

Was steht dazu in der syslog?

Gruß,
Daniel

[Ultimate272]

Also das Sync war schon lange fertig.

Habe nur neugestartet !

Hier der komplette Syslog :



http://muellersserver.dyndns.org/syslog

[Danielx]

md: could not open unknown-block(8,81).

Major 8 bedeutet, dass es sich um eine SCSI-Disk handelt.
Minor 81 ist die erste Partition der 6. Platte, da (81/16) = 5 => 6. Platte => f und (81%16) = 1 => 1. Partition
Also sdf1.

Siehe: /usr/share/doc/linux-doc-2.6.26/Documentation/devices.txt.gz

Ich vermute, dass /dev/sdf1 nicht existiert, was sagt:

Code: Alles auswählen

ls -l /dev/sdf*

Code: Alles auswählen

cat /proc/partitions

Code: Alles auswählen

fdisk -l /dev/sdf

Das Problem läge dann nicht beim RAID selbst.

/dev/md0 ist ja gemountet, wenn ich das richtig gelesen habe.

Gruß,
Daniel

[Ultimate272]

Naja , deine Rechnung soll mal wer verstehen aber egal.
Ja das RAID läuft und ist unter benutzung.

Zeus:~# ls -l /dev/sdf*
brw-rw---- 1 root disk 8, 80 2009-10-30 21:06 /dev/sdf
Zeus:~# cat /proc/partitions
major minor #blocks name

8 0 244198584 sda
8 1 234259798 sda1
8 2 1 sda2
8 5 9936171 sda5
8 16 976762584 sdb
8 17 976760015 sdb1
8 32 976762584 sdc
8 33 976760015 sdc1
8 48 976762584 sdd
8 49 976760015 sdd1
8 64 976762584 sde
8 65 976760015 sde1
8 80 976762584 sdf
9 0 3907039744 md0
7 0 1887436800 loop0
253 0 1887436544 dm-0
Zeus:~# fdisk -l /dev/sdf

WARNING: GPT (GUID Partition Table) detected on '/dev/sdf'! The util fdisk doesn't support GPT. Use GNU Parted.


Disk /dev/sdf: 1000.2 GB, 1000204886016 bytes
255 heads, 63 sectors/track, 121601 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
Disk identifier: 0x00000000

Device Boot Start End Blocks Id System
/dev/sdf1 1 121602 976762583+ ee EFI GPT


Du hast recht , anscheind exestiert kein sdf1 , wobei

Device Boot Start End Blocks Id System
/dev/sdf1 1 121602 976762583+ ee EFI GPT

ja sdf1 angibt....

[meti]

Das hört sich nach zwei unterschiedlichen Partitionierungen auf der gleichen Platte an. Das GPT Disklabel und die altehrwürdige Standard Partitionstabelle könnten unterschiedlich sein. Die müssen aber zwingend zueinander passen sonst kommts zu solchen Phänomenen.

Du kannst versuchen es evtl mit dem Tool gptsync anzugleichen. Dabei musst Du allerdings davon ausgehen das nachher auf dieser Platte wieder die Daten weg sind. Der einfachere Weg dürfte sein: auf der betreffenden Platte alle Sektoren mit 0 überschreiben um auch wirklich alles zu löschen. Dann neu partitionieren bzw. die Partitionstabellen der anderen Platten auf die leere Platte kopieren (falls die identisch sind).

Wenn Dir deine Daten lieb sind dann mach ein Full Backup und mach die Platte alle komplett leer, bau die Dinger ohne GPT wieder auf, also nur mit der normalen alten Partitionstabelle.

[Danielx]

Ja, es könnte sein, dass am Anfang der Festplatte noch Reste von vorhergehenden Versuchen stehen, welche den Kernel irritieren.
Hier hatten einige auch so ein Problem:
https://www.linuxquestions.org/question ... fu-646547/

Als erstes diese Ausgabe bitte, also sdf ohne 1 am Ende:

Code: Alles auswählen

mdadm -E /dev/sdf

Danach mal den Anfang der problematischen Platte überschreiben :

Code: Alles auswählen

dd if=/dev/zero of=/dev/sdf bs=512 count=200K

Dann wie bei den anderen Festplatten, wieder eine Partition erstellen, wie zuvor auch.

Dann die Partition sdf1 wieder zum RAID hinzufügen.
Da die Partition sdf1 schon aus dem RAID geworfen ("removed") wurde und das RAID "clean" ist, sollte das hier ausreichen:

Code: Alles auswählen

mdadm /dev/md0 --add /dev/sdf1

Dann "resync" beobachten:

Code: Alles auswählen

cat /proc/mdstat

Gruß,
Daniel

[Ultimate272]

Hi Daniel,

also bin gerade dabei die Platte zu Formatieren nachdem ich die mit Nullen überschrieben habe ( Den Anfang ) .

Habe dann auf New -> GPT , New -> Ext3 ; Round Cyrcles YES ( War bei den anderen glaube ich auchso)...

Dannach wieder zum RAID hinzufügen und dann mal gucken. Das RAID besteht aus
3x den gleichen WD Platten , 1 Samsung (alt) und dieser F1 die Probleme macht.

Ich könnte die F1 aber auch gegen eine der gleichen WD3 tauschen so dass ich 4 mal diese WD hätte. Wenn das was bringen würde ...


Dass die Platte wieder einen neuen Resync machen muss , hilft ja nix.

Zeus:~# mdadm -E /dev/sdf
mdadm: metadata format 00.90 unknown, ignored.
/dev/sdf:
Magic : a92b4efc
Version : 00.90.00
UUID : 97f5d4fb:2f9da94a:4b9062e0:a0bd6cbd
Creation Time : Fri Sep 11 18:00:41 2009
Raid Level : raid5
Used Dev Size : 976759936 (931.51 GiB 1000.20 GB)
Array Size : 3907039744 (3726.04 GiB 4000.81 GB)
Raid Devices : 5
Total Devices : 5
Preferred Minor : 0

Update Time : Thu Oct 22 14:19:58 2009
State : clean
Active Devices : 5
Working Devices : 5
Failed Devices : 0
Spare Devices : 0
Checksum : 2cf89876 - correct
Events : 1312106

Layout : left-symmetric
Chunk Size : 64K

Number Major Minor RaidDevice State
this 4 8 80 4 active sync /dev/sdf

0 0 8 17 0 active sync /dev/sdb1
1 1 8 33 1 active sync /dev/sdc1
2 2 8 49 2 active sync /dev/sdd1
3 3 8 65 3 active sync /dev/sde1
4 4 8 80 4 active sync /dev/sdf
Zeus:~# dd if=/dev/zero of=/dev/sdf bs=512 count=200K
204800+0 records in
204800+0 records out
104857600 bytes (105 MB) copied, 3.6751 s, 28.5 MB/s

[Danielx]

4 4 8 80 4 active sync /dev/sdf

Dann bestand das Problem offensichtlich darin, dass du bei deinen vorhergehenden Versuchen einmal anstatt sdf1 eben sdf als RAID-Partition zum RAID hinzugefügt hast, so dass ein zweiter RAID-Superblock auf dieser Festplatte existierte (also jei einer auf sdf und sdf1) und diesen anderen RAID-Superblock hat der Kernel dann gefunden und die Festplatte folglich nur sdf bereitgestellt.

Gruß,
Daniel

[Ultimate272]

Jap stimmt , kann ich mich dran erinneren. Als ich nur sdf hatte , hatte das auch geklappt ...

Also meinst du wenn der rebuild abgeschlossen ist, passt es da sdf RAID Block gelöscht ist ?

[Danielx]

Also meinst du wenn der rebuild abgeschlossen ist, passt es da sdf RAID Block gelöscht ist ?

Davon gehe ich aus, bis mich jemand vom Gegenteil überzeugt.

[Ultimate272]

Verdammter Diel Dudel Kopf....


Zeus:~# mdadm --detail /dev/md0
mdadm: metadata format 00.90 unknown, ignored.
/dev/md0:
Version : 00.90
Creation Time : Fri Sep 11 18:00:41 2009
Raid Level : raid5
Array Size : 3907039744 (3726.04 GiB 4000.81 GB)
Used Dev Size : 976759936 (931.51 GiB 1000.20 GB)
Raid Devices : 5
Total Devices : 4
Preferred Minor : 0
Persistence : Superblock is persistent

Update Time : Sat Oct 31 18:16:06 2009
State : clean, degraded
Active Devices : 4
Working Devices : 4
Failed Devices : 0
Spare Devices : 0

Layout : left-symmetric
Chunk Size : 64K

UUID : 97f5d4fb:2f9da94a:4b9062e0:a0bd6cbd
Events : 0.1368024

Number Major Minor RaidDevice State
0 8 17 0 active sync /dev/sdb1
1 8 33 1 active sync /dev/sdc1
2 8 49 2 active sync /dev/sdd1
3 8 65 3 active sync /dev/sde1
4 0 0 4 removed



Syslog :

http://muellersserver.dyndns.org/syslog

[Danielx]

Wenn Dir deine Daten lieb sind dann mach ein Full Backup und mach die Platte alle komplett leer, bau die Dinger ohne GPT wieder auf, also nur mit der normalen alten Partitionstabelle.

Dem möchte ich mich dann mal anschließen, mehr fällt mir jetzt nämlich erstmal nicht ein...

Gruß,
Daniel

[Ultimate272]

Wie soll ich denn ein FullBackUp machen ? BTW die Option gibts nicht...

Habe nur 1. Datei die 1,8 TB Groß ist ...


Warum geht dass denn net

Habe mir überlegt die Platte gegen eine weitere WD auszutauschen...