Server bleibt seit Debian 8.8 einfach hart stehen

[dirk11]

Hi Leute,

zwar kein Problem mit der Erst-Installation, aber ein Problem, für welches ich mich spontan mit der Fehlersuche etwas schwer tue:

Seit dem Update auf Debian 8.8 vor einigen Tagen ist mein Heimserver gestern Nacht und heute Tagsüber bereits dreimal hart stehengeblieben.
Gestern Nacht kann ich nicht mehr nachvollziehen, heute morgen nach ca. 2h Betrieb den letzten Eintrag im syslog, heute abend nach ziemlich genau 37 Minuten Betrieb (gkrellm blieb dann stehen).
Jedesmal ist er von außen (also im LAN) überhaupt nicht mehr erreichbar, reagiert nicht auf ping, ssh, telnet oder sonstwas. Nach einem Reboot und Filesystem-check (glücklicherweise vermeldet XFS keine Fehler) steht exakt nichts im syslog (oder sonst einem Log ein Hinweis). Auch sonst startet bzw. läuft er vollkommen unauffällig, ohne irgendeine Art von neuer oder überraschender Fehlermeldung.

Ein memtest, gestartet von einem grml-Stick, läuft seit ca. zwei Stunden und mittlerweile im zweiten Pass ohne Fehler durch. Kein Hänger, nichts.

Irgendjemand eine Idee, wo ich ansetzen könnte?

dirk
P.S.: ich tippe auf Kernel-Problem, dummerweise läuft auf der Kiste (ein Fujitsu-Siemens 5615) der 4.9er-Kernel aus bpo nicht. Damit bootet die Kiste leider gar nicht erst.
P.P.S: alle anderen im Haushalt vorhandenen Rechner laufen mit 8.8 unauffällig wie eh und je, sind aber auch durchweg vollkommen andere Hardware.

[rendegast]

Netzteil? Mainboard?

(ein Fujitsu-Siemens 5615)

Das ist zu ungenau, es gibt ESPRIMO E, ESPRIMO P, ...

... läuft auf der Kiste (ein Fujitsu-Siemens 5615) der 4.9er-Kernel aus bpo nicht. Damit bootet die Kiste leider gar nicht erst.

Wäre ein schlechtes Zeichen, aber vielleicht löst auch schon ein kernel-Parameter
(wobei die oft nicht leicht zu identifizieren sind).
Ich finde auf FJS
Version (Datum) Größe Sprache
Flash BIOS Update - Compressed Flash Files 6.00.1.15 (22.10.2007)
für E5615 D2464
für P5615 D2461 in zwei Varianten mit und ohne nforce4.



-----------------------------
Hier hatte ich auf einem Lynx mit i5-2400 unerklärliche Abstürze in mehrwöchentlichem Abstand.
Hatte Hardware in Verdacht, aber mittlerweile von selbst erledigt (?), läuft seit Monaten problemlos.
Neuerer kernel? neueres virtualbox? Relative Mondfeuchte geändert?

[dirk11]

Hi!

Netzteil? Mainboard?
Das ist zu ungenau, es gibt ESPRIMO E, ESPRIMO P, ...

Oh, ok. Es ist ein P5615 D2461. Wenn sonst noch Infos fehlen, kann ich die gerne nennen, ich will halt auch nicht mit zu viel Information "zumüllen".

Flash BIOS Update - Compressed Flash Files 6.00.1.15 (22.10.2007)

Dieses BIOS ist installiert. Ob er nun mit oder ohne nforce4 ist, weiß ich nicht, wie kann ich Dir diese Information geben? Es ist keine externe Grafikkarte gesteckt. hwinfo gibt:

Code: Alles auswählen

~# hwinfo|grep nforce
   nForce2_smbus: module = i2c_nforce2
   nForce2_smbus: module = i2c_nforce2
  i2c_nforce2 12591 0 - Live 0xfffffffa003d00
  i2c_core 46012 10 dme1737,dvb_pll,stv0299,dvb_usb_dw2102,dvb_usb,nouveau,drm_kms_helper,drm,i2c_algo_bit,i2c_nforce2, Live 0xfffffffa003000
  Driver Modules: "i2c_nforce2"
    Driver Status: i2c_nforce2 is active
    Driver Activation Cmd: "modprobe i2c_nforce2"

Außerdem bin ich informationstechnisch etwas weiter:
Mit Kernel linux-image-3.16.0-4-amd64:amd64/jessie 3.16.39-1+deb8u2 läuft der Server wieder, ich habe ein downgrade von 3.16.43-2 gemacht. Es liegt also ziemlich sicher am Kernel.
Mit Kernel 4.9 bpo bootet er gar nicht erst, dazu gibt es (weil es ja auch keinerlei Log-Einträge gibt) nur ein paar Fotos vom Bildschirm, vielleicht helfen die ja weiter:
http://members.ping.de/~dirk/kernel/

[rendegast]

Du könntest es mal mit
amd64-microcode versuchen.


------------------------------------------------------------------
Die Versionen P5615
D2461-A1x
D2461-A2x
sind wohl beide mit nforce4 (Chipsatz, Netzwerkschnittstelle).
Die Checksummen der BIOS-Dateien (*.OMF, *.OCF) für diese sind unterschiedlich
(ohnehin durch einen internen Stringunterschied A1<->A2),
stelle sicher, daß es auch wirklich ein D2461-A2 ist.
Aber selbst wenn das unpassend wäre, scheint es einen grundsätzlichen Rechnerstart ja nicht zu beeinträchtigen.

[dirk11]

Deine Antwort überrascht mich gerade ein wenig, weil ich davon überzeugt war, daß ich das installiert hatte. Nachgesehen, habe ich nicht. Ich hab's jetzt mal nachinstalliert, meine mich aber zu erinnern es deshalb deinstalliert zu haben, weil es für den genutzten Prozessor sowieso nichts macht.
Ah, ich sehe gerade, stimmt auch irgendwie: Die Installation des Paketes triggert während der Installation nur ein initrd-update für den Kernel 4.9. Der 3.16 wird nicht angefasst.

[Tintom]

Welche Module sind denn zum Zeitpunkt des Crashes geladen?
Hat sich erledigt.

[dirk11]

Du könntest es mal mit
amd64-microcode versuchen.

Noch ein Nachtrag: IMHO muss ein Kernel auch ohne optionale Pakete lauffähig sein, sonst isser defekt.

Edit: ich wußte doch, daß es einen Grund gab, wieso ich das Paket nicht mehr installiert habe:

Code: Alles auswählen

# dmesg | grep microcode
[Sa Mai 13 12:59:34 2017] microcode: AMD CPU family 0xf not supported

Kann jemand noch etwas zur Fehler-Analyse beitragen?

[dirk11]

Aber selbst wenn das unpassend wäre, scheint es einen grundsätzlichen Rechnerstart ja nicht zu beeinträchtigen.

Wegen des langen Trennstriches habe ich das für eine Signatur gehalten und überlesen. Dennoch verstehe ich es nicht: die letzte BIOS-Version ist von Anfang an drauf, das mache ich möglichst immer so. Nicht bootfähig ist Kernel 4.9 und - seit Version 43-2 - Kernel 3.16. Alle davor liefen "rock-solid" seit ca. zwei Jahren. Ich habe selten so eine stabile "stable"-Version wie diese erlebt, weshalb ich auch zuerst einen HW-Fehler vermutete und memtest über mehrere passes habe laufen lassen. Mit dem Ergebnis, daß es nicht die HW ist.

In Kernel 3.16 muß also eine aktuelle Änderung fehlerhaft sein. Da er einfach stehenbleibt und noch nichteinmal auf magic-keys reagiert, ist es mir leider derzeit unmöglich, dort eine Fehlerursache zu finden. Hinzu kommt jedesmal die Angst vor Datenverlust, weshalb ich den Kernel ungern nochmal nutze, weil ich ja sowieso nichts ändern kann, und der Downgrade auf die Vorversion ja funktioniert.

Problematischer wird für mich der Fehler in 4.9. Wenn der nicht behoben werden kann, kann ich nicht auf stretch upgraden. Da es dort zumindest Fotos vom Fehler gibt (magic-keys funktionieren dort auch nicht!), hoffe ich immer noch, daß jemand damit etwas anfangen kann!

[Tintom]

Bei Kernel 4.9 scheint etwas mit dem Modul dvb-usb-dw2102 nicht zu stimmen. Der Oops tritt anscheinend beim Laden des Moduls auf. DVB-Stick mal testweise entfernen?

[dirk11]

Bei Kernel 4.9 scheint etwas mit dem Modul dvb-usb-dw2102 nicht zu stimmen. Der Oops tritt anscheinend beim Laden des Moduls auf. DVB-Stick mal testweise entfernen?

Danke, das könnte ich mal probieren. Wäre allerdings problematisch, weil der Server oft ferngestartet wird und das Modul (ist ein externer SAT to USB Empfänger von Terratec) ja absichtlich am Rechner hängt.

[Tintom]

Bei Kernel 4.9 scheint etwas mit dem Modul dvb-usb-dw2102 nicht zu stimmen. Der Oops tritt anscheinend beim Laden des Moduls auf. DVB-Stick mal testweise entfernen?

Danke, das könnte ich mal probieren. Wäre allerdings problematisch, weil der Server oft ferngestartet wird und das Modul (ist ein externer SAT to USB Empfänger von Terratec) ja absichtlich am Rechner hängt.

Es geht ja erst mal nur darum, ob der Rechner startet. Die genaue Fehleranalyse des Modulcodes ist erst der zweite Schritt.

[scientific]

Ich hatte solche Freezes auch schon im Zusammenhang mit Filesystem-Fehlern...

[rendegast]

[Die Versionen P5615
D2461-A1x
D2461-A2x
...
stelle sicher, daß es auch wirklich ein D2461-A2 ist.]
Aber selbst wenn das unpassend wäre, scheint es einen grundsätzlichen Rechnerstart ja nicht zu beeinträchtigen.

... Dennoch verstehe ich es nicht: die letzte BIOS-Version ist von Anfang an drauf, das mache ich möglichst immer so.

Bis zu meiner Überlegung war dieser Umstand unklar,
ein BIOS-Flash mit der nicht richtigen firmware durchaus denkbar.
Und dann auch denkbar, daß eine dadurch verursachte Unpäßlichkeit erst/nur mit dem kernel 4.9 zum Crash geführt hätte.

[dirk11]

Mhmm. Heute ist die Kiste mit dem vorletzten 3.16er-Kernel schon wieder stehengeblieben. Zwar erst nach ca. 7h, aber dennoch. Da ich jetzt einen Hardware-Defekt nicht mehr ausschließen möchte, habe ich kurzerhand den Rechner gegen einen noch rumstehenden P5625 getauscht. Mal schauen, wie es damit aussieht.

Hier fällt mir gerade nur auf, daß die nVidia PCI-Bridge (MCP78S) laut sensors ca. 93-97°C heiß ist (schwankt ein wenig). Kommt mir etwas heiß vor, aber ich sehe keine Möglichkeit, daß zu ändern.

@scientific:
Wenn ich eines ausschließen kann, dann Dateisystem-Fehler.

[MSfree]

Hier fällt mir gerade nur auf, daß die nVidia PCI-Bridge (MCP78S) laut sensors ca. 93-97°C heiß ist (schwankt ein wenig). Kommt mir etwas heiß vor, aber ich sehe keine Möglichkeit, daß zu ändern.

Der Chipsatz wird normalerweise mindestens durch Kühlkörper gekühlt, man findet aber auch per Lüfter gekühlte Varianten. Bei lüfterlosen Kühlkörpern muß der Luftzug durch andere Gehäuse- oder Netzteillüfter gewährleistet sein, es darf also nichts im Weg sein, auch kein Kabel. Bei der Lüftervariante ist die Funktion des Lüfters zu prüfen.

Ansonsten kann es natürlich auch passieren, daß die Wärmeleitpaste zwischen Kühlkörper und Chip mit der Zeit aushärtet. Das Aushärten ansich ist zwar kein Problem, die Wärmeleitung verschlechtert sich dadurch nicht. Die Masse wird dadurch aber spröde und empfindlich gegen Wärmeausdehnung und gegen Erschütterung, was zu Rissbildung und letztlich zu schlechter Wärmeleitung führt.

[dirk11]

Hier fällt mir gerade nur auf, daß die nVidia PCI-Bridge (MCP78S) laut sensors ca. 93-97°C heiß ist (schwankt ein wenig). Kommt mir etwas heiß vor, aber ich sehe keine Möglichkeit, daß zu ändern.

Der Chipsatz wird normalerweise mindestens durch Kühlkörper gekühlt, man findet aber auch per Lüfter gekühlte Varianten. Bei lüfterlosen Kühlkörpern muß der Luftzug durch andere Gehäuse- oder Netzteillüfter gewährleistet sein, es darf also nichts im Weg sein, auch kein Kabel. Bei der Lüftervariante ist die Funktion des Lüfters zu prüfen.

Ansonsten kann es natürlich auch passieren, daß die Wärmeleitpaste zwischen Kühlkörper und Chip mit der Zeit aushärtet. Das Aushärten ansich ist zwar kein Problem, die Wärmeleitung verschlechtert sich dadurch nicht. Die Masse wird dadurch aber spröde und empfindlich gegen Wärmeausdehnung und gegen Erschütterung, was zu Rissbildung und letztlich zu schlechter Wärmeleitung führt.

Ja, ok. Ich weiß halt nur nicht, ob die Temperatur "normal" ist. Natürlich ist da ein passiver Kühlkörper, relativ hoch sogar. Ob ausgehärtete Wärmeleitpaste große Probleme bereiten kann, weiß ich nicht. Sie steht ja unter dem KK unter Druck. Der Rechner ist im Originalzustand, der Prozessor idlet so bei 25°C vor sich hin...
Ich hatte mal ein P2B, da wurde die Bridge auch so heiß - da war nur danach lange nicht mehr so bei Rechnern, deshalb wundert mich das ein wenig.

[MSfree]

Ja, ok. Ich weiß halt nur nicht, ob die Temperatur "normal" ist.

Meinem Gefühl nach ist um die 90°C nicht normal, schon gar nicht, wenn die CPU um die 25°C vor sich hindümpelt, sprich, der Rechner gerade absolut gar nichts tut.

Die 25°C CPU-Temeperatur halte ich aber schon fast für einen Meßfehler, denn so kühl bleiben eigentlich nur mobile CPUs. Desktop- und Server-CPUs liegen da eher bei 40-45°C, wenn man die Lüfter nicht ständig auf 100% laufen läßt.

[dirk11]

Meinem Gefühl nach ist um die 90°C nicht normal, schon gar nicht, wenn die CPU um die 25°C vor sich hindümpelt, sprich, der Rechner gerade absolut gar nichts tut.

Ja, mein Gefühl sagt mir das auch, deshalb frage ich ja.

Die 25°C CPU-Temeperatur halte ich aber schon fast für einen Meßfehler, denn so kühl bleiben eigentlich nur mobile CPUs. Desktop- und Server-CPUs liegen da eher bei 40-45°C, wenn man die Lüfter nicht ständig auf 100% laufen läßt.

Das kann natürlich ein Fehler von Sensors sein.

[rendegast]

Kann ja auch nur eine Fehlkalibrierung sein.
Was sagt denn ein Thermometer (zBsp. IR),
finden sich Hotspots auf dem Board?

Was gibt zBsp. SpeedFan unter windows aus?

[dirk11]

Kann ja auch nur eine Fehlkalibrierung sein.

Kalibrierung?

Was sagt denn ein Thermometer (zBsp. IR),
finden sich Hotspots auf dem Board?

Die Fragen habe ich mir dann auch gestellt. Der KK war mit Pyrometer gemessen ca. 74°C heiß, und da ich noch irgendeine billige WLP hier rumfliegen hatte, habe ich ihn demontiert, gereinigt und neu bewärmeleitpastet. Die alte Pampe war wirklich ziemlich hart und nur noch unvollständig vorhanden. Mit der neuen WLP ist er jetzt nach 10min Betrieb ca. 10°C kühler (also 84°C gg. 94-97°C vorher). Der Kühlkörper selbst ist ca. 20°C kühler. Andere Hospots sind nicht vorhanden, der KK vom Prozessor wird gerade mal 30°C warm an der Basis.

Was gibt zBsp. SpeedFan unter windows aus?

Keine Ahnung. Das ist mein Heimserver, da ist kein Windows drauf. Aber sensors meldet für die zwei einzigen vorhandenen Lüfter (Zentral 120mm vorne und ein 80mm am SNT) 809 bzw. 1169 rpm mit nur sehr geringen Schwankungen. Frag' mich nicht, welcher Wert von welchem Lüfter ist...

[dirk11]

Übrigens läuft der Rechner auch mit Kernel 4.9, wenn ich das DVB-Modul (es handelt sich übrigens um ein Terratec Cinergy S USB) entferne.
Tintoms Vermutung bzgl. dvb-usb-dw2102 war also absolut korrekt. Nur - was jetzt tun?

[Tintom]

Übrigens läuft der Rechner auch mit Kernel 4.9, wenn ich das DVB-Modul (es handelt sich übrigens um ein Terratec Cinergy S USB) entferne.
Tintoms Vermutung bzgl. dvb-usb-dw2102 war also absolut korrekt. Nur - was jetzt tun?

Erstmal einen Hardwaredefekt ausschließen. Wenn die Hardware okay scheint, dann würde ich im nächsten Schritt den Fehler weiter eingrenzen und schauen, was sich zwischen Kernel 3.16 und Kernel 4.9 am Modul selbst an Code geändert hat. Kernel 3.16 wurde lt. Wikipedia am 03.08.2014 veröffentlicht, Kernel 4.9 am 11.12.2016. Wenn man sich jetzt alle Änderungen am Kernel in diesem Zeitraum anschaut und einen Filter mit der entsprechenden Quellcode-Datei des Kernelmoduls (hier dw2102.c) setzt, erhält man folgendes:

Code: Alles auswählen

# https://git.kernel.org/pub/scm/linux/kernel/git/stable/linux-stable.git/log/?qt=grep&q=dw2102

Age	Commit message (Expand)	Author	Files	Lines
2016-11-05		Merge tag 'media/v4.9-3' of git://git.kernel.org/pub/scm/linux/kernel/git/mch...	Linus Torvalds	25	-499/+919
2016-10-14	[media] dw2102: return error if su3000_power_ctrl() fails	Mauro Carvalho Chehab	1	-1/+1
2016-07-28	Merge branch 'for-linus' of git://git.kernel.org/pub/scm/linux/kernel/git/jik...	Linus Torvalds	6	-9/+6
2016-07-13	[media] dw2102: add USB ID for Terratec Cinergy S2 Rev.3	Olli Salonen	1	-1/+7
2016-07-13	[media] Remove spurious blank lines in dw2101 kernel messages	Jonathan McDowell	1	-20/+20
2016-06-21	dw2102: don't output spurious blank lines to the kernel log	Jonathan McDowell	1	-20/+20
2016-05-06	[media] dw2102: move USB IDs to dvb-usb-ids.h	Mauro Carvalho Chehab	2	-57/+16
2016-04-13	[media] dw2102: fix unreleased firmware	Sudip Mukherjee	1	-0/+3
2016-03-16	Merge tag 'media/v4.6-1' of git://git.kernel.org/pub/scm/linux/kernel/git/mch...	Linus Torvalds	398	-4923/+12321
2016-03-15	Merge commit '840f5b0572ea' into v4l_for_linus	Mauro Carvalho Chehab	398	-4923/+12321
2016-03-03	[media] dw2102: add support for TeVii S662	Olli Salonen	1	-6/+17
2016-03-03	[media] dw2102: ts2020 included twice	Olli Salonen	1	-1/+0
2016-03-03	[media] dw2102: convert TechnoTrend S2-4600 to use I2C binding for demod	Olli Salonen	1	-28/+43
2016-02-01	[media] dw2102: Add support for Terratec Cinergy S2 USB BOX	Philipp Zabel	1	-1/+7
2016-01-25	[media] dw2102: use the new USB ID Terratec Cinergy S2 macros	Mauro Carvalho Chehab	1	-2/+2
2015-05-13	[media] dw2102: resync fifo when demod locks	Olli Salonen	1	-0/+28
2015-05-13	[media] dw2102: remove unnecessary printing of MAC address	Olli Salonen	1	-2/+0
2015-05-12	[media] dw2102: TeVii S482 support	Olli Salonen	1	-1/+13
2015-05-01	[media] dw2102: fix bad indenting	Mauro Carvalho Chehab	1	-1/+1
2015-04-02	[media] dw2102: switch ts2022 to ts2020 driver	Antti Palosaari	2	-9/+6
2015-04-02	[media] dw2102: TechnoTrend TT-connect S2-4600 DVB-S/S2 tuner	Olli Salonen	3	-4/+161
2015-04-02	[media] dw2102: store i2c client for tuner into dw2102_state	Olli Salonen	1	-1/+18
2015-04-02	[media] dw2102: combine su3000_state and s6x0_state into dw2102_state	Olli Salonen	1	-10/+7
2014-09-03	[media] dw2102: fix sparse warnings	Hans Verkuil	1	-7/+7

Ich vermute, dass es ab Kernelversion 4.6 interessant wird, weil da relativ große Änderungen am Code passiert sind.
Also würd ich als nächstes mir einen Kernel 4.5 bauen und schauen, ob das Modul dort auch schon rumzickt.