Softwareraid und Filesystem defekt

[netspacy]

Schön guten Abend,

nach langen suchen und dennoch keine passende Lösung zu finden - habe ich mich nach Empfehlung eines Bekannten entschlossen, in diesen Forum anzumelden.

Folgendes Problem besteht seit heute Morgen ( ca. 6:20 Uhr ).

Heute Morgen um 6:20 Uhr meldete Nagios ( auf dem Monitoring-Server ) dass der Server zwar noch erreichbar ist, jedoch sämtliche Dienste nicht mehr ansprechbar sind.

Nach kurzen ansehen und einloggen ( per SSH ) stellte ich fest, dass sich das System plötzlich im ro-Modus ( ReadOnly-Modus ) befand.

Bis heute morgen 6:20 sind keine auffälligen Probleme bei diesem Server aufgetaucht.

Der erste Schritt war ein reboot, nachdem sämtliche Einstellungen in der fstab i.o. waren.

Nach dem reboot, bestand das Problem weiterhin - das System ließ sich auch nicht mit -rw laden, daher habe ich dann das Rescue-System gebootet und mir die Sache mal vom RescueSystem angesehen - hier musste ich feststellen ,dass sich die HDD ( Softwareraid1 ) garnicht mounten ließ.

lt. mdstat - war das SW-Raid bis dato i.o. - was jedoch nicht sein kann.

Code: Alles auswählen

cat /proc/mdstat
Personalities : [raid1]
md2 : active raid1 sda3[0] sdb3[1]
      726266432 blocks [2/2] [UU]

md1 : active raid1 sda2[0] sdb2[1]
      2104448 blocks [2/2] [UU]

md0 : active raid1 sda1[0] sdb1[1]
      4200896 blocks [2/2] [UU]

unused devices: <none>

Code: Alles auswählen

mdadm --detail /dev/md2
/dev/md2:
        Version : 00.90
  Creation Time : Tue Jun  9 07:38:54 2009
     Raid Level : raid1
     Array Size : 726266432 (692.62 GiB 743.70 GB)
  Used Dev Size : 726266432 (692.62 GiB 743.70 GB)
   Raid Devices : 2
  Total Devices : 2
Preferred Minor : 2
    Persistence : Superblock is persistent

    Update Time : Sun Oct 25 16:47:21 2009
          State : clean
 Active Devices : 2
Working Devices : 2
 Failed Devices : 0
  Spare Devices : 0

           UUID : 1db6c064:85f3f063:776c2c25:004bd7b2 (local to host rescue)
         Events : 0.28

    Number   Major   Minor   RaidDevice State
       0       8        3        0      active sync   /dev/sda3
       1       8       19        1      active sync   /dev/sdb3

Nun besteht das Problem, dass der Support vom Hosting-Anbieter sich das ganze kostenpflichtig angesehen hat - dieser dennoch nichts machen konnte.

Nun besteht das Problem, die md1-Partition, lässt sich mounten, die md2 nicht bzw nun schon, jedoch ist der Inhalt nicht dieser, welcher eigentlich hervorgerufen werden sollte - denn hier befindet sich nun nur ein Ordner namens: lost+found. In diesem Ordner sind nun 56900 Ordner ( #xxxxxxx ) wo der gesamte -ex- Inhalt der HDD aufzufinden ist.

folgendes gabs beim e2fsck als ergebnis:

Code: Alles auswählen

e2fsck -y /dev/md2
e2fsck 1.41.3 (12-Oct-2008)
Resize inode not valid.  Recreate? yes

/dev/md2 was not cleanly unmounted, check forced.
Pass 1: Checking inodes, blocks, and sizes
Root inode is not a directory.  Clear? yes

Wie man hier sehen kann, ist das Filesystem anscheind zerschossen, nur die Frage: wodurch? Mir selbst fällt im Moment nichts mehr ein - wichtig wäre es die Daten im kompletten Zustand zurück zu bekommen, ohne die 56000 Ordner zu durchsuchen. Ein Backup existiert - ein Fullbackup jedoch nur jede 2 Wochen :-/

Hat jemand zufällig eine Idee, wie ich an die Daten rankomme? Besteht hier die Chance, nach austauschen einer HDD, die Daten des Raidverbunds wiederzuerhalten?

Vielen Dank im Voraus.

P.S.: Google, sowie die Forensuchfunktion habe ich benutzt - leider nichts passendes gefunden.

[gms]

Willkommen im Forum!

lt. mdstat - war das SW-Raid bis dato i.o. - was jedoch nicht sein kann.

warum nicht ?

Nun besteht das Problem, dass der Support vom Hosting-Anbieter sich das ganze kostenpflichtig angesehen hat - dieser dennoch nichts machen konnte.

was verlangen die fürs "nichts machen" ? Eigentlich interessiert mich aber mehr, was die tatsächlich gemacht haben

Hat jemand zufällig eine Idee, wie ich an die Daten rankomme? Besteht hier die Chance, nach austauschen einer HDD, die Daten des Raidverbunds wiederzuerhalten?

nein, das Raid ist ja nicht das Problem. Das Problem ist, daß dir das Backup vor dem Filesystem-Repair, das in diesem Fall ja leider völlig in die Hose gegangen ist, fehlt. Das ist zwar jetzt "Klugscheißerei", das hättest du aber umbedingt vor dem Repair noch machen sollen.

Wie man hier sehen kann, ist das Filesystem anscheind zerschossen, nur die Frage: wodurch?

gute Frage, wenn sich zumindest die Logs wieder herstellen lassen, wäre es interessant was da vorher auf dem System passiert ist.

wichtig wäre es die Daten im kompletten Zustand zurück zu bekommen, ohne die 56000 Ordner zu durchsuchen.

ich habe mal schnell nach "lost+found" und "recover" gesucht, vielleicht gibts da etwas brauchbares, z.B
http://blog.windfluechter.net/index.php ... roved.html

ob das was hilft, kann ich nicht sagen, ich habe solche Tools zum Glück noch nie benötigt.

Gruß
gms


edit: habe mir den obigen Link jetzt mal genauer angeschaut, leider ist der für deinen Fall nicht zu gebrauchen

[Danielx]

Hallo und willkommen im df.de!

lt. mdstat - war das SW-Raid bis dato i.o. - was jedoch nicht sein kann.

Alle RAID1 in deinem System sind offensichtlich in Ordnung.

dass sich das System plötzlich im ro-Modus ( ReadOnly-Modus ) befand.

Das passiert, wenn das Dateisystem defekt ist, um weiteren Schaden am Dateisystem zu vermeiden.

Ein RAID-System ersetzt übrigens nicht das Backup!

Gruß,
Daniel

[netspacy]

Hallo,

Willkommen im Forum!

Vielen Dank für das Willkommen heissen - und vielen Dank für deine Antwort.

warum nicht ?

Weil sich der Mountpoint vorhin garnicht setzen lassen hat - ist meine Vermutung, dass das dort evt. schon defekt war.

was verlangen die fürs "nichts machen" ? Eigentlich interessiert mich aber mehr, was die tatsächlich gemacht haben

Aehm, da Wochenende ist, pauschal 120 €, inkl. 15 Minuten HandOn, je weitere - 20 € *hust* - trotzdessen, dass dieser nicht ins RZ gefahren ist, soll ich mind. 180 € zahlen - eine detaillierte Rechnung soll morgen von der Buchhaltung kommen.

nein, das Raid ist ja nicht das Problem. Das Problem ist, daß dir das Backup vor dem Filesystem-Repair, das in diesem Fall ja leider völlig in die Hose gegangen ist, fehlt. Das ist zwar jetzt "Klugscheißerei", das hättest du aber umbedingt vor dem Repair noch machen sollen.

Hätte das Backup vom aktuellen Stand auch gerne zuvor gemacht, leider war das ganze dann nur noch im ro-Modus, und letzendlich ließ sich das ganze garnicht mounten.

gute Frage, wenn sich zumindest die Logs wieder herstellen lassen, wäre es interessant was da vorher auf dem System passiert ist.

Die Logs sollten sicherlich in einen der 56000 Ordner zu finden sein *hust* die archivierten Logs hab ich schon mal gefunden.

[/quote]ich habe mal schnell nach "lost+found" und "recover" gesucht, vielleicht gibts da etwas brauchbares, z.B
http://blog.windfluechter.net/index.php ... roved.html[/quote]
Vielen Dank für den Tip, werde mir das ganze mal ansehen[/quote]

[netspacy]

Hallo Daniel,

Alle RAID1 in deinem System sind offensichtlich in Ordnung.

Anscheind syncen die auch noch - Frage ist, liegts an den HDDs, dass das System im ro gegangen ist, oder doch eher an der SATA-Schnittstelle. Bevor ich mir nun die Mühe mache, und das System neuaufsete - vielleicht doch lieber beide HDDs tauschen (w enn mit den Daten nichts mehr machbar ist )

Das passiert, wenn das Dateisystem defekt ist, um weiteren Schaden am Dateisystem zu vermeiden.

Genau, nur wurde zu diesem Zeitpunkt von mir nichts gemacht, um diese Uhrzeit schlafen die meisten ja...

Ein RAID-System ersetzt übrigens nicht das Backup!

Das weiß ich, ein Fullbackup existiert, was jedoch vom September ist - generell fahre ich täglich inkr. Backups, und wöchentlich - fullbackups - vorbehaltung: 6 Tage, am 7 Tag, werden sämtliche altbackups gelöscht und dann fängt es von vorne an - heute stelle ich fest, dass diese Methode sehr unpassend war, denn heute ist der 7. Tag :/

[gms]

ich habe mal schnell nach "lost+found" und "recover" gesucht, vielleicht gibts da etwas brauchbares, z.B
http://blog.windfluechter.net/index.php ... roved.html

Vielen Dank für den Tip, werde mir das ganze mal ansehen

das kannst du dir leider sparen. Ich habe meinen obigen Beitrag diesbezüglich editiert. Das Script benötigt noch zusätzliche eine Datei mit den ganzen MD5 Summen und der Filesystemhierarchie, ist also in deinem Fall leider unbrauchbar

Hätte das Backup vom aktuellen Stand auch gerne zuvor gemacht, leider war das ganze dann nur noch im ro-Modus, und letzendlich ließ sich das ganze garnicht mounten.

im ro-Modus hättest du schon noch ein normales Backup machen können. Hast du beim neuerlichen Mounten die Option "errors=remount-ro" oder "ro" versucht ? Wenn nicht mehr gemountet werden kann, wäre noch ein Backup über "partimage", oder "dd" möglich.

Gruß
gms

[netspacy]

das kannst du dir leider sparen. Ich habe meinen obigen Beitrag diesbezüglich editiert. Das Script benötigt noch zusätzliche eine Datei mit den ganzen MD5 Summen und der Filesystemhierarchie, ist also in deinem Fall leider unbrauchbar

Habe ich gerad festgestellt, was das Script jedoch schafft, ist die gesamten Dateirechte sowie die dazugehöriegn Benutzer/Gruppen anzuzeigen

im ro-Modus hättest du schon noch ein normales Backup machen können. Hast du beim neuerlichen Mounten die Option "errors=remount-ro" oder "ro" versucht ? Wenn nicht mehr gemountet werden kann, wäre noch ein Backup über "partimage", oder "dd" möglich.

Nein, habe lediglich versucht mount /dev/md2 /mnt/rescue auszuführen. Partimage habe ich versucht - aber hier gabs schon den Fehler: "e2fsck found errors on the file system."
Habe ja noch nicht ganz aufgegeben - Daten zurückzubekommen, aufgefallen beim Kopieren auf den Backupspace der ganzen Ordner in lost+found/ ist mit - dass manche Daten aufgrund von Symlinks nicht kopiert werden konnten, auch nicht wenn man die Option: Symlink folgen ausgewählt hat.

[Danielx]

Anscheind syncen die auch noch

Woran siehst du das?

Das weiß ich, ein Fullbackup existiert, was jedoch vom September ist - generell fahre ich täglich inkr. Backups, und wöchentlich - fullbackups - vorbehaltung: 6 Tage, am 7 Tag, werden sämtliche altbackups gelöscht und dann fängt es von vorne an - heute stelle ich fest, dass diese Methode sehr unpassend war, denn heute ist der 7. Tag :/

Ah, ok, das ist etwas blöd gelaufen.

Gruß,
Daniel

[gms]

i
Habe ja noch nicht ganz aufgegeben - Daten zurückzubekommen, aufgefallen beim Kopieren auf den Backupspace der ganzen Ordner in lost+found/ ist mit - dass manche Daten aufgrund von Symlinks nicht kopiert werden konnten, auch nicht wenn man die Option: Symlink folgen ausgewählt hat.

sind dann wahrscheinlich "dangling symlinks", "symlink folgen" wird dir aber nur unnötig den Platz für das Backup aufblähen und die Information über den Symlink ( keine Ahnung ob diese interessant ist ) geht auch verloren

[netspacy]

Woran siehst du das?

An folgende Ausgabe:

Code: Alles auswählen

 mdadm --detail /dev/md2
/dev/md2:
        Version : 00.90
  Creation Time : Tue Jun  9 07:38:54 2009
     Raid Level : raid1
     Array Size : 726266432 (692.62 GiB 743.70 GB)
  Used Dev Size : 726266432 (692.62 GiB 743.70 GB)
   Raid Devices : 2
  Total Devices : 2
Preferred Minor : 2
    Persistence : Superblock is persistent

    Update Time : [b]Sun Oct 25 19:14:36 2009[/b]
          State : clean
 Active Devices : 2
Working Devices : 2
 Failed Devices : 0
  Spare Devices : 0

           UUID : 1db6c064:85f3f063:776c2c25:004bd7b2 (local to host rescue)
         Events : 0.28

    Number   Major   Minor   RaidDevice State
       0       8        3        0      active sync   /dev/sda3
       1       8       19        1      active sync   /dev/sdb3

[Danielx]

An folgende Ausgabe:

Vielleicht hätte ich besser gefragt, was du mit "syncen die auch noch" genau meinst.

Jedenfalls sind die beiden RAID-Devices synchron, d.h. auf beiden Devices sind exakt die gleichen Daten drauf, also genau so wie es auch sein soll.

Ich kann hier nicht erkennen, dass eine der Festplatten (sda oder sdb) defekt ist, denn dann wäre das RAID1 wahrscheinlich auch nicht mehr synchron.
Im Zweifel mal smartctl laufen lassen.

Gruß,
Daniel

[netspacy]

Gemeint hab ich damit eig nur, dass es aussieht, als ob die Festplatten 1a funktionieren, weil die sich ja stets syncronisieren ( so wie es sein soll ) - leider hierdurch natuerlich auch die Fehler.

Merkwürdigerweise, finde ich in dem Lost+Found-Ordner kein Inhalt aus dem alten /etc/-Verzeichnis. Nunja - werden die Daten wohl erstmal -futsch- sein, die nicht in lost+found auffindbar sind :/

Wenn noch ideen vorliegen, bis morgen früh warte ich noch mit den formatieren bzw auch mit den HDDs tauschen. Danke schon mal für die Beteiligung.

[Danielx]

leider hierdurch natuerlich auch die Fehler.

Ja, die Fehler des Dateisystems werden natürlich ebenfalls synchronisiert.

Nunja - werden die Daten wohl erstmal -futsch- sein, die nicht in lost+found auffindbar sind :/

Einzelne wichtige Dateien lassen sich vielleicht mit testdisk (PhotoRec) wieder herstellen.

Gruß,
Daniel