[gelöst] MegaRAID / Softraid / Plattentausch

[HansGraefe]

Hallo,

in einem Rechner ist ein MegaRAID-Controller eingebaut, an dem zwei HDD's hängen:

Code: Alles auswählen

root@srv /opt/MegaRAID/MegaCli # ./MegaCli64 -PDList -a0 | grep -e '^Enclosure Device ID:' -e '^Slot Number:'
Enclosure Device ID: 252
Slot Number: 0
Enclosure Device ID: 252
Slot Number: 1
root@srv /opt/MegaRAID/MegaCli #

Eine HDD ging dabei kaputt und wurde durch eine neue ersetzt. Es war als SoftRAID eingerichtet:

Code: Alles auswählen

root@srv /opt/MegaRAID/MegaCli # cat /proc/mdstat
Personalities : [linear] [multipath] [raid0] [raid1] [raid6] [raid5] [raid4] [raid10]
md2 : active raid1 sda3[0]
      2909713344 blocks super 1.2 [2/1] [U_]
      bitmap: 8/22 pages [32KB], 65536KB chunk

md1 : active raid1 sda2[0]
      3093504 blocks super 1.2 [2/1] [U_]

md0 : active (auto-read-only) raid1 sda1[0]
      16759808 blocks super 1.2 [2/1] [U_]

unused devices: <none>
root@srv /opt/MegaRAID/MegaCli #

Eigentlich kein Problem mit mdadm, schon paar mal gemacht, aber die neue HDD wird nicht angezeigt:

Code: Alles auswählen

root@srv /opt/MegaRAID/MegaCli # cat /proc/partitions
major minor  #blocks  name

   8        0 2929721344 sda
   8        1   16777216 sda1
   8        2    3096576 sda2
   8        3 2909845487 sda3
   8        4       1024 sda4
   8       16 1000204632 sdb
   8       17 1000203264 sdb1
   9        0   16759808 md0
   9        1    3093504 md1
   9        2 2909713344 md2
root@srv /opt/MegaRAID/MegaCli #

Da ist auch noch eine SSD eingebaut die am Motherboard SATA-Controller hängt. Eigentlich müsste dort eine sdc angezeigt werden, wird aber nicht. Hat jemand eine Idee warum?

./MegaCli64 -PDList -a0

zeigt folgendes an:

Code: Alles auswählen

Adapter #0

Enclosure Device ID: 252
Slot Number: 0
Drive's position: DiskGroup: 0, Span: 0, Arm: 0
Enclosure position: N/A
Device Id: 4
WWN: 5000039fe6e85887
Sequence Number: 2
Media Error Count: 0
Other Error Count: 0
Predictive Failure Count: 0
Last Predictive Failure Event Seq Number: 0
PD Type: SATA

Raw Size: 2.728 TB [0x15d50a3b0 Sectors]
Non Coerced Size: 2.728 TB [0x15d40a3b0 Sectors]
Coerced Size: 2.728 TB [0x15d400000 Sectors]
Sector Size:  0
Logical Sector Size:  0
Physical Sector Size:  0
Firmware state: Online, Spun Up
Commissioned Spare : No
Emergency Spare : No
Device Firmware Level: ABB0
Shield Counter: 0
Successful diagnostics completion on :  N/A
SAS Address(0): 0x4433221103000000
Connected Port Number: 1(path0)
Inquiry Data:            782VSDNASTOSHIBA DT01ACA300                      MX6OABB0
FDE Capable: Not Capable
FDE Enable: Disable
Secured: Unsecured
Locked: Unlocked
Needs EKM Attention: No
Foreign State: None
Device Speed: 6.0Gb/s
Link Speed: 6.0Gb/s
Media Type: Hard Disk Device
Drive:  Not Certified
Drive Temperature :34C (93.20 F)
PI Eligibility:  No
Drive is formatted for PI information:  No
PI: No PI
Drive's NCQ setting : N/A
Port-0 :
Port status: Active
Port's Linkspeed: 6.0Gb/s
Drive has flagged a S.M.A.R.T alert : No

Enclosure Device ID: 252
Slot Number: 1
Enclosure position: N/A
Device Id: 3
WWN: 500003981c600b02
Sequence Number: 1
Media Error Count: 0
Other Error Count: 0
Predictive Failure Count: 0
Last Predictive Failure Event Seq Number: 0
PD Type: SATA

Raw Size: 3.638 TB [0x1d1c0beb0 Sectors]
Non Coerced Size: 3.637 TB [0x1d1b0beb0 Sectors]
Coerced Size: 3.637 TB [0x1d1b00000 Sectors]
Sector Size:  0
Logical Sector Size:  0
Physical Sector Size:  0
Firmware state: Unconfigured(good), Spun down
Device Firmware Level: FQ1B
Shield Counter: 0
Successful diagnostics completion on :  N/A
SAS Address(0): 0x4433221102000000
Connected Port Number: 0(path0)
Inquiry Data:         X78VK03SF7GBTOSHIBA MG04ACA400EY                    FQ1B
FDE Capable: Not Capable
FDE Enable: Disable
Secured: Unsecured
Locked: Unlocked
Needs EKM Attention: No
Foreign State: None
Device Speed: 6.0Gb/s
Link Speed: 6.0Gb/s
Media Type: Hard Disk Device
Drive:  Not Certified
Drive Temperature :34C (93.20 F)
PI Eligibility:  No
Drive is formatted for PI information:  No
PI: No PI
Drive's NCQ setting : N/A
Port-0 :
Port status: Active
Port's Linkspeed: 6.0Gb/s
Drive has flagged a S.M.A.R.T alert : No

[Livingston]

8 0 2929721344 sda
8 16 1000204632 sdb

9 2 2909713344 md2

Da würde ich mich als sdb auch nicht einfügen wollen. Oder ist die sdb die Platte, die Du für sdc gehalten hast?
Wenn eine Platte rausfliegt, werden die Zuweisungen, was genau sda, sdb, etc. ist, bei einem Reboot neu ausgewürfelt.
Was sagt denn ls -l /dev/sd*?

[HansGraefe]

8 0 2929721344 sda
8 16 1000204632 sdb

9 2 2909713344 md2

Da würde ich mich als sdb auch nicht einfügen wollen. Oder ist die sdb die Platte, die Du für sdc gehalten hast?
Wenn eine Platte rausfliegt, werden die Zuweisungen, was genau sda, sdb, etc ist bei einem Reboot neu ausgewürfelt.
Was sagt denn ls -l /dev/sd*

Nein, /dev/sdb ist jetzt die SSD, die neue HDD müsste sdc sein. Vor dem Festplattenwechsel war die zweite HDD /dev/sdb.

Code: Alles auswählen

root@srv /opt/MegaRAID/MegaCli # ls -l /dev/sd*
brw-rw---- 1 root disk 8,  0  4. Jan 08:01 /dev/sda
brw-rw---- 1 root disk 8,  1  4. Jan 08:01 /dev/sda1
brw-rw---- 1 root disk 8,  2  4. Jan 08:01 /dev/sda2
brw-rw---- 1 root disk 8,  3  4. Jan 08:01 /dev/sda3
brw-rw---- 1 root disk 8,  4  4. Jan 08:01 /dev/sda4
brw-rw---- 1 root disk 8, 16  4. Jan 14:53 /dev/sdb
brw-rw---- 1 root disk 8, 17  4. Jan 14:53 /dev/sdb1
root@srv /opt/MegaRAID/MegaCli #

[Livingston]

Wenn es reines Software-RAID ohne Controller wäre, könnte ich das weiter eingrenzen. So kann ich nur tippen, dass vielleicht der Controller 'ne Macke hat und nicht die alte Platte.
Kennt sich hier jemand mit dem MegaRAID-Controller aus?

[heisenberg]

- Vielleicht mal den Controller nach neuen Platten suchen lassen?

https://www.thomas-krenn.com/de/wiki/Me ... estplatten

- Platten abstöpseln und nochmal neu anstöpseln.
- Kabel tauschen.
- Anschluss der Festplatte mit einem anderen freien Anschluß tauschen, wenn möglich.

[rhHeini]

Ich denke die muss erst mal im Controllerbios konfiguriert werden, sonst ist die nach aussen nicht sichtbar. Der sagt nämlich zu der neuen Platte erst mal:

Code: Alles auswählen

Firmware state: Unconfigured(good), Spun down

Bin da aber nicht firm in der Bedienung, zulange raus.

[HansGraefe]

Das ist mir auch schon aufgefallen, ich habe schon das Internet durchforstet zB. nach "megaraid change disk from Unconfigured to online" aber nur gefunden, wie ich von unconfigured(bad) zu unconfigured(good) komme - aber den Zustand habe ich ja schon. Eventuell muss ich das im BIOS des MegaRAID-Controllers einstellen, da schaue ich als nächstes. Cool wäre natürlich wenn das von Linux aus ginge. Die Seite von Thomas Krenn habe ich auch schon durch, Problem ist dort wird die Konfiguration als RAID über den MegaRAID-Controller beschrieben, ich möchte den Controller aber nicht verwenden (die RAID-Funktionen) sondern mdadm/SoftRAID.

[heisenberg]

rHeini hat Recht. Das müsste mit megacli gehen.

Es geht hier darum, die Platten in den JBOD-Modus zu bringen. D. h. dass die Festplatten direkt als Gerät durchgereicht werden.

Probiere mal das:

https://gist.github.com/SteveCooling/8f ... 11a25d3629

[HansGraefe]

Ah, das klingt logisch @heisenberg. Aber ...

Code: Alles auswählen

root@srv ~ # megacli -pdmakejbod -physdrv [252:1] –a0

Adapter: 0: Failed to change PD state at EnclId-252 SlotId-1.

Exit Code: 0x01
root@srv ~ # megacli -pdmakejbod -physdrv [252:0,252:1,252:2,252:3,252:4,252:5] –a0

Adapter: 0: Failed to change PD state at EnclId-252 SlotId-0.

Exit Code: 0x01
root@srv ~ # megacli -AdpSetProp -EnableJBOD 1 -a0

Adapter 0: Failed to Set Adapter Properties.

Exit Code: 0x01
root@srv ~ #

Kein /dev/sdc ..
Es ist ja die zweite HDD am ersten MegaRAID-Controller, also 252:1 müsste richtig sein.

[HansGraefe]

OK hab es, man muss die neue Platte auch als Raid0 konfigurieren:

Code: Alles auswählen

root@srv ~ # megacli -CfgLdAdd -r0[252:1] -a0

Adapter 0: Created VD 0

Adapter 0: Configured the Adapter!!

Exit Code: 0x00
root@srv ~ # cat /proc/partitions
major minor  #blocks  name

   8        0 2929721344 sda
   8        1   16777216 sda1
   8        2    3096576 sda2
   8        3 2909845487 sda3
   8        4       1024 sda4
   8       16 1000204632 sdb
   8       17 1000203264 sdb1
   9        1    3093504 md1
   9        2 2909713344 md2
   8       32 3906469888 sdc
root@srv ~ #

Vielen Dank!

[heisenberg]

Hier ist auch nochmal eine Erklärung dazu:

https://razva.ro/set-jbod-lsi-megaraid-cards-cachecade/

RAID0 mit einzelnen Festplatten wird dort auch als Notbehelf genannt, falls der Controller den JBOD-Mode nicht unterstützt.

[HansGraefe]

Sehr interessant, vielen Dank heisenberg!