Das Dateisystem ist nur lesbar / MySQL-Server startet nicht

[frankieboy]

Hallo Forum,

Ich nutze Debian/Stable und habe ein Problem. Das Dateisystem ist auch mit Root-Zugriff nur lesbar. Aufgefallen ist der Fehler, weil die Internetseiten nicht mehr angezeigt werden. Grund hierfür ist, dass der MySql-Server nicht mehr startet. Der Apache2-Server selbst läuft noch, aber es finden keine Log-Protokollierungen mehr statt (Was aber wohl daran liegt, dass das Dateisystem nur lesbar ist). SSH-Zugriff ist auch möglich.

Was ich vielleicht noch mitteilen sollte: Es wurden zuletzt keine Anwendungen installiert, geändert oder gelöscht. Das letzte dist-upgrade hat auch schon vor zwei Wochen stattgefunden. Insgesamt lief das System in den letzten Monaten absolut problemfrei. Und jetzt diese Störung wie aus heiterem Himmel ...

Bin im Moment etwas aufgeschmissen. Wie gehe ich bei Fehlersuche und -Behebung sinnvoll vor?

Viele Grüße

Frankieboy

[DeletedUserReAsG]

dmesg wäre eine gute Stelle, um anzufangen. Ein fsck ist auch anzuraten – in der Regel sind es Dateisystemfehler, die zum ro-Remount führen. Bist du sicher, dass alles (wieder) okay ist, kannst du das FS wieder rw remounten.

Generell ist’s eine gute Idee, sich mit so Grundlagen vertraut zu machen, wenn man einen Server betreiben möchte.

[eggy]

und wahrscheinlich gibts auch kein aktuelles Backup ... damit würd ich mal anfangen.

[frankieboy]

dmesg wäre eine gute Stelle, um anzufangen. Ein fsck ist auch anzuraten – in der Regel sind es Dateisystemfehler, die zum ro-Remount führen. Bist du sicher, dass alles (wieder) okay ist, kannst du das FS wieder rw remounten.

Generell ist’s eine gute Idee, sich mit so Grundlagen vertraut zu machen, wenn man einen Server betreiben möchte.

Die Ausgabe "dmesg" ist gefühlt endlos lang ...

Hier die Passagen, die ich für relevant halte:

Code: Alles auswählen

[17299184.282754] Out of memory: Kill process 1218 (mysqld) score 308 or sacrifice child
[17299184.283633] Killed process 1218 (mysqld) total-vm:905948kB, anon-rss:100396kB, file-rss:0kB
[17299184.457328] memcached invoked oom-killer: gfp_mask=0x201da, order=0, oom_adj=0, oom_score_adj=0
[17299184.457343] memcached cpuset=/ mems_allowed=0
[17299184.457350] Pid: 214, comm: memcached Not tainted 3.2.0-4-amd64 #1 Debian 3.2.65-1+deb7u2

Code: Alles auswählen

17299184.529651] Out of memory: Kill process 1234 (mysqld) score 309 or sacrifice child
[17299184.530537] Killed process 1234 (mysqld) total-vm:905948kB, anon-rss:100924kB, file-rss:4kB
[22800122.116098] INFO: task mysqld:6252 blocked for more than 120 seconds.
[22800122.116111] "echo 0 > /proc/sys/kernel/hung_task_timeout_secs" disables this message.

Code: Alles auswählen

[22817282.117289] INFO: task mysqld:4203 blocked for more than 120 seconds.
[22817282.117295] "echo 0 > /proc/sys/kernel/hung_task_timeout_secs" disables this message.

Code: Alles auswählen

[22817282.117397] INFO: task apache2:4084 blocked for more than 120 seconds.
[22817282.117403] "echo 0 > /proc/sys/kernel/hung_task_timeout_secs" disables this message.

Code: Alles auswählen

[22946308.005610] end_request: I/O error, dev xvda, sector 29771944
[22946308.005668] Aborting journal on device xvda-8.
[22946308.005700] EXT4-fs error (device xvda) in ext4_reserve_inode_write:4528: Journal has aborted
[22946308.005731] EXT4-fs error (device xvda) in ext4_reserve_inode_write:4528: Journal has aborted
[22946308.014015] journal commit I/O error
[22946308.029903] EXT4-fs (xvda): Remounting filesystem read-only
[22946308.029912] EXT4-fs error (device xvda) in ext4_dirty_inode:4655: Journal has aborted
[22946308.038236] EXT4-fs error (device xvda): ext4_journal_start_sb:327: Detected aborted journal

Ich hoffe, diese Angaben führen auf die richtige Spur, leider kann ich sie nicht richtig deuten. Bin für weitere Hinweise dankbar

[DeletedUserReAsG]

Relevant für dein Problem ist die letzte Meldung (und was noch dazugehören könnte). Das kann verschiedene Ursachen haben, aus meiner Sicht wahrscheinlich ist ein Hardwareproblem. Da könnte man mit smartctl mal schauen, ob irgendwas auffällig ist.

[frankieboy]

dmesg wäre eine gute Stelle, um anzufangen. Ein fsck ist auch anzuraten – in der Regel sind es Dateisystemfehler, die zum ro-Remount führen. Bist du sicher, dass alles (wieder) okay ist, kannst du das FS wieder rw remounten.

Generell ist’s eine gute Idee, sich mit so Grundlagen vertraut zu machen, wenn man einen Server betreiben möchte.

"fsck" führe ich durch ...

Lt Anzeige wird auch auch viel repariert ... ABER seit geraumer Zeit läuft folgendes Antwortspiel:

Nicht verbundener Inode 1581804
Nach /lost+found verbinden<j>? ja
Der Referenzzähler von Inode 1581804 ist 2, sollte aber 1 sein. Reparieren<j>? ja

Die Inode ändert sich ständig, klar. Ich bestätige das immer mit Dauer-"j", jetzt gefühlte tausend mal und schon über eine halbe Stunde. Ist das normal? Wie lange kann sowas dauern? Gibt es ggf. andere Möglichkeiten?

[frankieboy]

Relevant für dein Problem ist die letzte Meldung (und was noch dazugehören könnte). Das kann verschiedene Ursachen haben, aus meiner Sicht wahrscheinlich ist ein Hardwareproblem. Da könnte man mit smartctl mal schauen, ob irgendwas auffällig ist.

smartctl
-bash: smartctl: Kommando nicht gefunden.

Das Package "smartmontools" ist leider nicht installiert und lässt sich jetzt auch nicht installieren ...

[DeletedUserReAsG]

Du lässt fsck nun also auch auf das (immerhin zumindest als ro eingehängte) laufende FS los? Normalerweise nimmt man dafür ein anderes System her, die meisten Serveranbieter stellen dafür eine Art Live-/Rescuesystem zur Verfügung.

[frankieboy]

Du lässt fsck nun also auch auf das (immerhin zumindest als ro eingehängte) laufende FS los? Normalerweise nimmt man dafür ein anderes System her, die meisten Serveranbieter stellen dafür eine Art Live-/Rescuesystem zur Verfügung.

Hab leider nur die Möglichkeit, das System neu zu starten oder ggf neu zu installieren. Mehr leider nicht ...

[BenutzerGa4gooPh]

Oder mit einem debianoiden Livesystem zu starten und des Users "niemand" Hinweisen nachzugehen. Oder handelt es sich um einen Mietserver?
(Der Nickname niemand regt mich auch noch mal auf. )

[heisenberg]

Einen fsck, der auch gleich noch die Fehler des Dateisystems behebt auf ein eingehängtes Dateisystem anzuwenden ist eine exzellente Möglichkeit es zu schrotten.

Prüfe nochmal, ob Dein Serveranbieter wirklich keine Möglichkeit für ein Rescue anbietet. Vielleicht ist bei den Installationsimages auch ein Rescue dabei.

Und vor allem anderen: Sichere Deine Daten. Bei Dir ist es schon 5 vor 12, was das betrifft.

[MSfree]

Einen fsck, der auch gleich noch die Fehler des Dateisystems behebt auf ein eingehängtes Dateisystem anzuwenden ist eine exzellente Möglichkeit es zu schrotten.

Wenn das Dateisystem read-only gemountet ist, besteht keine Gefahr, es zu schrotten. Allerdings ist es empfehlendswert, den Rechner nach den fsck zu rebooten.

[frankieboy]

Einen fsck, der auch gleich noch die Fehler des Dateisystems behebt auf ein eingehängtes Dateisystem anzuwenden ist eine exzellente Möglichkeit es zu schrotten.

Wenn das Dateisystem read-only gemountet ist, besteht keine Gefahr, es zu schrotten. Allerdings ist es empfehlendswert, den Rechner nach den fsck zu rebooten.

Es handelt sich um einen gemieteten VServer. Mehr als ein Reboot ist da leider nicht drin ...

[DeletedUserReAsG]

In dem Fall wäre smartctl auch nicht die richtige Wahl, weil wahrscheinlich auch die Laufwerke virtualisiert sind (was auch die seltsame Bezeichnung erklären würde). Mein nächster Schritt wäre, den Anbieter zu kontaktieren. Nachdem ich gerettet hätte, was zu retten ist, natürlich – sprich: ein möglichst vollständiges Backup der wichtigen Daten (also nicht unbedingt des Systems) gezogen hätte.