Server steigendes Load

[whisper]

Moin und Frohe Weihnacht noch.
Mein rootserver hat einen auffallend ansteigenden load, ohne dass ich eine Ursache dafür erkennen kann.
Sieht nach einem Problem aus, welches durch Paket update gekommen ist, oder auch nicht...

Die Peaks sind das Raid test/Rebuild,
Seit Oktober ist ein Wordpress mehr, das wäre eine Sache, aber es steigt kontinuierlich...
Können die Server Admins mal bitte ihren Load im Quartal mal angucken, ob es ähnlich ist?

Deshalb hier mein Load

[debilian]

ein wenig eingrenzen lässt sich das sicher, indem du mal die log Dateien der Webs anschaust, welche grösser sind und welche kleiner...
vielleicht viele Anmelde-Versuche?

Klar braucht der ganze CMS-Kram Leistung.
Was hat denn dein Server an Specs?

fail2ban an? das hat bei mir die Load sehr reduziert, da vieles einfach Müll-Anmelde-Verusche waren.....
am Mailserver, Wordpress und per ssh...

gruss

[unitra]

Fehlgeschlagegene Anmeldeversuche wäre auch mein erster Tipp gewesen, egal welche Dienste es sind.
Die offenenen TCP/IP Sockets für Daemons kann man hiermit anzeigen:

Code: Alles auswählen

ss -tulpen

Das könnten alle Dienste sein wie hier nur Beispiele: Mail, SNMP, SSH, HTTP(S) usw. Die größe der Logdataeien vergleichen ist ein sehr guter Hinweis, so simpel und einfach, echt gut Das muss ich mir merken für das nächste Troubleshooting, vorrausgesetzt das Logging geht über einen längeren Zeitraum.

[whisper]

Log Größe ist konstant. Anzahl Prozesse, connections usw alles praktisch wie immer. Fail2ban ist aktiviert und ist auch gleich. Deshalb dachte ich an ein Update, dass das load erhöht. Welche Prozesse nun häufiger als sonst runnable sind, ist schwer zu sagen
Muss ich mal tiefer graben. Wenn das nur bei mir so ist.
PS Ich habe buster, vergessen zu erwähnen

[schorsch_76]

Läuft irgendwas Java mässiges? Log4j?

[TRex]

Läuft irgendwas Java mässiges? Log4j?

Dann wärs vermutlich ein etwas stärkerer (und anhaltender) Ausschlag

[whisper]

Läuft irgendwas Java mässiges? Log4j?

Ja und ja, aber das ist hier nicht der Übeltäter, Fix ist dennoch im Anrollen
.

Ich habe den Server rebootet, Uptime war >100 Tage. Mal sehen wie es weiter geht.

Ps:Ein reboot nach Kernel Updates mache ich eh nach > 100-120 Tagen.

[schorsch_76]

So schaut es bei mir aus. Läuft seit Veröffentlichung von Bullseye damit. Davor war Buster aktiv. Das ist beides im Diagramm enthalten.

[whisper]

Ich bin mir sehr sicher, die Ursache gefunden zu haben.
Bei mir läuft maldet und dieser verwendet inotifywait.
inotifywait hat ein log, welches immer grösser wird.
Weil mein Monitoring mich warnte, dass die / voll läuft habe ich mit ncdu -x / (supertool, falls es jemand nicht kennen sollte) gefunden, dass das Log auf 27GB angewachsen war. Gelöscht und maldet neugestartet, es führte unmittelbar zum verringern des load.
inotifywait brauchte zum schreiben zunehmend immer mehr zeit...
Tja so einfach kann es manchmal sein
Hier mal ein Schnappschuss, der das verdeutlicht

aus meinem neuen Monitoring tool netdata
ca. 13:50 habe ich das File gelöscht, seit dem ist nicht nur load wieder normal, sondern Disk I/O und Memory ganz entscheidend geringer

[unitra]

Tja, für die größten Probleme mit den einfachsten Ursachen, im Nachhinein, braucht man die besten Leute. Schon oft erlebt.
Die Ursache dieses Problems hat mich auch interessiert, hier ein riesengroßes Logfile.

Da kann man nur sagen, Gute Arbeit.

...
Tja so einfach kann es manchmal sein

[whisper]

Ergänzung.
Das spricht Bände

Scheinbar wurden die 27GB des Logs komplett im Arbeitsspeicher gehalten.
Muss ich mir was einfallen lassen und das Logfile regelmäßig verkleinern. Vielleicht einfach auch mit logrotate.
Hier dokumentiert:
http://zockertown.de/s9y/index.php?/arc ... y.log.html