Regelmäßiger zufälliger Servershutdown

[lordrhodos]

Hallo zusammen,

habe seit vielen Jahren bei Hetzner einen Server mit Debian drauf laufen, der auch regelmäßig aktualisiert wird. Derzeit läuft ein Debian 7.0 Wheezy mit einem 3.2.0-4-686-pae Kernel. Nur mal vorab, ich bin kein Profi, sondern eher Laie und gerade in Norwegen mit dem Wohnmobil unterwegs, daher kann es ein wenig mit dem antworten dauern

Der Server ist als LAMP und E-Mail-Server (exim, courier) angelegt, nebenbei noch ein wenig svn und das war es eigentlich auch schon.

Seit knapp 1,5 Monaten habe ich mit unregelmäßigen Shutdowns zu kämpfen und ich (Laie!) finde keine (für mich) brauchbaren Spuren, um den Fehler weiter einzukreisen. Nach einem Reset startet die Kiste wieder normal und läuft bis zum nächsten Shutdown ohne Probleme. Auch der mehrstündige Hardwaretest von Hetzner brachte keine brauchbare Informationen zu Tage. Angeblich läuft alles (Netzteil wird auch unter Last getestet) ohne Probleme.

Ich werde durch eine entsprechende E-Mail benachrichtigt, wenn die Antwort auf das Ping Monitoring ausbleibt. Etwas weniger als der Hälfte der Shutdowns finden um kurz nach 3 Uhr nachts statt.

In den Logfiles kann ich nicht wirklich etwas finden. Hier mal ein Auszug von /var/log/syslog von letzter Nacht:

Code: Alles auswählen

Jul  3 02:33:01 digga sa-exim[7210]: Removed 0 of 0 greylist tuplets in 0 seconds
Jul  3 02:39:01 digga /USR/SBIN/CRON[7212]: (root) CMD (  [ -x /usr/lib/php5/maxlifetime ] && [ -d /var/lib/php5 ] && f$
Jul  3 02:57:03 digga named[2254]: client 60.28.246.143#46479: query (cache) 'google.com/A/IN' denied
Jul  3 03:00:01 digga /USR/SBIN/CRON[7380]: (root) CMD (ntpdate -u ntp1.ptb.de)
Jul  3 03:00:01 digga /USR/SBIN/CRON[7381]: (root) CMD (/root/backup_local.sh)
Jul  3 01:21:08 digga kernel: imklog 5.8.11, log source = /proc/kmsg started.  
Jul  3 01:21:08 digga rsyslogd: [origin software="rsyslogd" swVersion="5.8.11" x-pid="2116" x-info="http://www.rsyslog.$
Jul  3 01:21:08 digga kernel: [    0.000000] Initializing cgroup subsys cpuset
Jul  3 01:21:08 digga kernel: [    0.000000] Initializing cgroup subsys cpu

Letzter Eintrag vor dem Shutdown ist der Aufruf des Backup Skriptes. Starte ich dies manuell von der Konsole aus, läuft das ohne Probleme durch. Kann hier irgend ein Ansatzpunkt sein, den ich übersehen habe, bzw. nicht deuten kann? Danach die Einträge nach dem Reset, wobei die Zeit nicht stimmt. (Ist das ein Zeichen für irgend etwas wichtiges?)

Und hier mal der Eintrag von /var/log/syslog von dem Crash davor:

Code: Alles auswählen

Jul  2 18:39:01 digga /USR/SBIN/CRON[7096]: (root) CMD (  [ -x /usr/lib/php5/maxlifetime ] && [ -d /var/lib/php5 ] && find /var/lib/php5/ -depth -mindepth 1 $
Jul  2 18:39:19 digga named[2195]: client 60.28.246.143#60326: query (cache) 'google.com/A/IN' denied
Jul  2 19:00:01 digga /USR/SBIN/CRON[7267]: (root) CMD (ntpdate -u ntp1.ptb.de)
Jul  2 19:09:01 digga /USR/SBIN/CRON[7287]: (root) CMD (  [ -x /usr/lib/php5/maxlifetime ] && [ -d /var/lib/php5 ] && find /var/lib/php5/ -depth -mindepth 1 $
Jul  2 19:17:01 digga /USR/SBIN/CRON[7313]: (root) CMD (   cd / && run-parts --report /etc/cron.hourly)   
Jul  2 17:42:58 digga kernel: imklog 5.8.11, log source = /proc/kmsg started.  
Jul  2 17:42:58 digga rsyslogd: [origin software="rsyslogd" swVersion="5.8.11" x-pid="2120" x-info="http://www.rsyslog.com"] start
Jul  2 17:42:58 digga kernel: [    0.000000] Initializing cgroup subsys cpuset
Jul  2 17:42:58 digga kernel: [    0.000000] Initializing cgroup subsys cpu
Jul  2 17:42:58 digga kernel: [    0.000000] Linux version 3.2.0-4-686-pae (debian-kernel@lists.debian.org) (gcc version 4.6.3 (Debian 4.6.3-14) ) #1 SMP Deb$
Jul  2 17:42:58 digga kernel: [    0.000000] BIOS-provided physical RAM map:

Für mich nicht identisch mit dem Eintrag oben, also kein weiterer Hinweis auf das Problem mit dem Backup-Skript.

/var/log/messages/ steht nichts brauchbares drin für den letzten Shutdown:

Code: Alles auswählen

Jul  2 17:42:58 digga kernel: [   22.467266] ADDRCONF(NETDEV_CHANGE): eth0: link becomes ready
Jul  2 19:43:10 digga kernel: [   34.501682] ip_tables: (C) 2000-2006 Netfilter Core Team
Jul  2 19:43:10 digga kernel: [   34.577652] nf_conntrack version 0.5.0 (16142 buckets, 64568 max)
Jul  3 01:21:08 digga kernel: imklog 5.8.11, log source = /proc/kmsg started.
Jul  3 01:21:08 digga rsyslogd: [origin software="rsyslogd" swVersion="5.8.11" x-pid="2116" x-info="http://www.rsyslog.com"] start
Jul  3 01:21:08 digga kernel: [    0.000000] Initializing cgroup subsys cpuset
Jul  3 01:21:08 digga kernel: [    0.000000] Initializing cgroup subsys cpu
Jul  3 01:21:08 digga kernel: [    0.000000] Linux version 3.2.0-4-686-pae (debian-kernel@lists.debian.org) (gcc version 4.6.3 (Debian 4.6.3-14) ) #1 SMP Deb$
Jul  3 01:21:08 digga kernel: [    0.000000] BIOS-provided physical RAM map:

Auch hier nach dem Crash die ersten Einträge wieder mit der falschen Zeit.

Ich stehe da wie Ochs vorm Berg und bin um jede Hilfe dankbar. Gibt es da irgendwelche Tools, die ich noch einsetzen kann zur Überwachung? Irgendwie das Logging noch weiter ausbauen? Wobei es mich ja schon wundert, dass überhaupt keine Einträge vorhanden sind.

Also, wenn ihr noch etwas an Informationen braucht, einfach Bescheid geben.
Danke schonmal und beste Grüße
Patrick

[Cae]

Wie waer's, wenn du den 0300-Cronjob auf 0400 verschiebst? Falls es daran liegt, sollte die Kiste dann haeufiger nach 4 Uhr morgens haengen bleiben. Ist die Maschine eigentlich definitiv aus oder sieht man noch was, wenn man 'ne KVM dran haengt und guckt?

Gruss Cae

[r4pt0r]

Was steht in deiner crontab?

Code: Alles auswählen

SHELL=/bin/bash
PATH=/usr/local/sbin:/usr/local/bin:/sbin:/bin:/usr/sbin:/usr/bin

Per default nutzt cron nämlich SH! Das kann zu unschönen Effekten führen, musste ich auch schon mal feststellen

[rendegast]

Danach die Einträge nach dem Reset, wobei die Zeit nicht stimmt. (Ist das ein Zeichen für irgend etwas wichtiges?)

Ja, würde ich schon sagen, insbesondere da vorher ein Abgleich gemacht wurde

Jul 2 19:17:01 digga /USR/SBIN/CRON[7313]: (root) CMD ( cd / && run-parts --report /etc/cron.hourly)
Jul 2 17:42:58 digga kernel: imklog 5.8.11, log source = /proc/kmsg started.

Jul 3 03:00:01 digga /USR/SBIN/CRON[7380]: (root) CMD (ntpdate -u ntp1.ptb.de)
Jul 3 03:00:01 digga /USR/SBIN/CRON[7381]: (root) CMD (/root/backup_local.sh)
Jul 3 01:21:08 digga kernel: imklog 5.8.11, log source = /proc/kmsg started.

Wenn das ein echtes Eisen ist, so ist die bios-Batterie kaputt?
Wenn das ein VM ist, so läuft die Uhrzeit vom Host falsch?
(Das allein sollte aber keinen Absturz verursachen.)

Jul 2 17:42:58 digga kernel: [ 22.467266] ADDRCONF(NETDEV_CHANGE): eth0: link becomes ready
Jul 2 19:43:10 digga kernel: [ 34.501682] ip_tables: (C) 2000-2006 Netfilter Core Team

2h deutet auf Probleme mit der Zeitzone ?

Jul 2 17:42:58 digga kernel: [ 22.467266] ADDRCONF(NETDEV_CHANGE): eth0: link becomes ready
Jul 2 19:43:10 digga kernel: [ 34.501682] ip_tables: (C) 2000-2006 Netfilter Core Team
Jul 2 19:43:10 digga kernel: [ 34.577652] nf_conntrack version 0.5.0 (16142 buckets, 64568 max)
Jul 3 01:21:08 digga kernel: imklog 5.8.11, log source = /proc/kmsg started.

Ziemlich wenig Meldungen in messages für ~ 7h Laufzeit.
ZBsp. nichts vom boot-Vorgang.