{gelöst} Raid5 nach Neustart clean, degraded

[subson]

Ich habe auf meinem Server 2 Raid 5 laufen, md0 und md1, diese bestehen aus 3 HDDs mit je 2 Partitionen.

Ich möchte jetzt beide komplett austauschen, durch größere ersetzen. Um die Daten auf die neuen arrays zu kopieren sollen diese vorübergehend zusammen laufen. Die 3 neuen HDDs habe ich eingebaut und die arrays erstellt, md2 und md3.

Code: Alles auswählen

Personalities : [raid6] [raid5] [raid4] 
md3 : active (auto-read-only) raid5 sde2[0] sdg2[3] sdf2[1]
      692427776 blocks super 1.2 level 5, 512k chunk, algorithm 2 [3/3] [UUU]
md2 : active (auto-read-only) raid5 sde1[0] sdg1[3] sdf1[1]
      3214072832 blocks super 1.2 level 5, 512k chunk, algorithm 2 [3/3] [UUU]
md1 : active raid5 sdb2[0] sdd2[3] sdc2[1]
      1427182592 blocks super 1.2 level 5, 512k chunk, algorithm 2 [3/3] [UUU]
md0 : active raid5 sdb1[0] sdd1[3] sdc1[1]
      526332928 blocks super 1.2 level 5, 512k chunk, algorithm 2 [3/3] [UUU]
unused devices: <none>

Nach einem Neustart laufen die beiden neuen nicht, sde wird komischerweise als spare in md1 gelistet, cat /proc/mdstat zeigt dann:

Code: Alles auswählen

Personalities : [raid6] [raid5] [raid4]
md3 : active (auto-read-only) raid5 sdf2[1] sdg2[3]
      692427776 blocks super 1.2 level 5, 512k chunk, algorithm 2 [3/2] [_UU]
md2 : active (auto-read-only) raid5 sdf1[1] sdg1[3]
      3214072832 blocks super 1.2 level 5, 512k chunk, algorithm 2 [3/2] [_UU]
md1 : active raid5 sdb2[0] sde[4](S) sdd2[3] sdc2[1]
      1427182592 blocks super 1.2 level 5, 512k chunk, algorithm 2 [3/3] [UUU]
md0 : active raid5 sdb1[0] sdd1[3] sdc1[1]
      526332928 blocks super 1.2 level 5, 512k chunk, algorithm 2 [3/3] [UUU]
unused devices: <none>

Code: Alles auswählen

 mdadm --detail /dev/md3
/dev/md3:
        Version : 1.2
  Creation Time : Sun Jan  3 17:20:19 2016
     Raid Level : raid5
     Array Size : 692427776 (660.35 GiB 709.05 GB)
  Used Dev Size : 346213888 (330.18 GiB 354.52 GB)
   Raid Devices : 3
  Total Devices : 2
    Persistence : Superblock is persistent

    Update Time : Mon Jan  4 17:41:19 2016
          State : clean, degraded 
 Active Devices : 2
Working Devices : 2
 Failed Devices : 0
  Spare Devices : 0

         Layout : left-symmetric
     Chunk Size : 512K

           Name : debserver:3  (local to host debserver)
           UUID : 6acf987e:7fb3c43b:b496e6a6:696ef19c
         Events : 91

    Number   Major   Minor   RaidDevice State
       0       0        0        0      removed
       1       8       82        1      active sync   /dev/sdf2
       3       8       98        2      active sync   /dev/sdg2

Ich habe dann mit

Code: Alles auswählen

mdadm /dev/md1 --remove /dev/sde
mdadm: hot removed /dev/sde from /dev/md1

diese herausgenommen und versuche dann mit

Code: Alles auswählen

 mdadm --stop /dev/md2
mdadm: stopped /dev/md2
mdadm --assemble /dev/md2 /dev/sde1 /dev/sdf1 /dev/sdg1
mdadm: cannot open device /dev/sde1: No such file or directory
mdadm: /dev/sde1 has no superblock - assembly aborted

in das array ein zu fügen, kommt dieser Fehler.

Ich kann dann z.B. mit fdisk /dev/sde die partition's system id z.B. neu schreiben, danach kann ich die arrays wieder erstellen, das hält aber nur bis zum Neustart.

Die fdisk Methode ist aber warscheinlich so nicht richtig. Alles neu machen? Löschen, wenn ja, wie?

[NAB]

Nach einem Neustart laufen die beiden neuen nicht, sde wird komischerweise als spare in md1 gelistet,

Richtig, da wird sde gelistet und nicht sde1 oder sde2.

Das bedeutet, das nackte Gerät sde enthält einen Superblock, der den dahinterliegenden Teil der Festplatte als Teil des Arrays md1 ausweist. Als solches wird es auch in md1 integriert und dabei vermutlich der Superblock in sde1 überschrieben ... darum ist er nachher nicht mehr da.

Superblöcke löscht du mit "--misc --zero-superblock".

[subson]

....Superblöcke löscht du mit "--misc --zero-superblock".

Den Superblock von sde löschen und die beiden Partitionen neu machen?

[NAB]

Den Superblock von sde löschen und die beiden Partitionen neu machen?

Ja.

Ich hoffe, das ist alles. Irgendwie muss der md1-Superblock ja auf sde gekommen sein ... die beste Erklärung wäre, dass du ihn angelegt hast, und dann solltest du ihn auch löschen können und das war's.

Ob auf sdf und sdg auch solche Überraschungen lauern können, weißt du am besten:)

[subson]

... die beste Erklärung wäre, dass du ihn angelegt hast, und dann solltest du ihn auch löschen können und das war's.

Code: Alles auswählen

mdadm --misc  --zero-superblock /dev/sde 

Ich konnte ihn löschen, dann war ich es wohl.

Jetzt sind md2 und md3 active, allerdings nur auto-read-only.

[NAB]

allerdings nur auto-read-only.

Das gibt sich, sobald du etwas drauf schreibst

[subson]

Ja klar, ist ok jetzt, hatte einen Fehler beim mount gemacht.

[subson]

Vielen Dank noch mal für Deine Hilfe.

Ich habe das mal als gelöst markiert.