Auslastung meines Debian Servers stets im 100 % Bereich

[Eazyjd]

Habe mit kürzlich mal die Stats meines Debian Servers angesehen und musste feststellen, dass der Server eigentlich CPU mässig ständig am Limit läuft. Auf der Kiste sind kaum Software oder Dienste installiert. Es handelt sich um ein P4 2.4 Ghz, also ist das System sicher nicht zu schwach für Debian...

Code: Alles auswählen

 19:23:22 up 87 days, 17:45,  1 user,  load average: 2.59, 3.08, 2.81
56 processes: 54 sleeping, 2 running, 0 zombie, 0 stopped
CPU states:  37.6% user,  62.4% system,   0.0% nice,   0.0% idle
Mem:    967956K total,   954288K used,    13668K free,    69572K buffers
Swap:  4000168K total,  1707340K used,  2292828K free,   320124K cached

  PID USER     PRI  NI  SIZE  RSS SHARE STAT %CPU %MEM   TIME COMMAND
13151 root       9   0  1052 1052   832 R     0.9  0.1   0:02 top
    1 root       8   0   108   80    60 S     0.0  0.0   3:26 init
 4726 root       9   0   428  392   372 S     0.0  0.0   0:58 syslogd
 4741 root       9   0   248  176   176 S     0.0  0.0   0:00 inetd
 4752 root       9   0   352  176   176 S     0.0  0.0   0:00 safe_mysqld
 4787 mysql     13   5  3784  344   324 S N   0.0  0.0   0:00 mysqld
 4789 mysql     13   5  3784  344   324 S N   0.0  0.0   0:04 mysqld
 4790 mysql     13   5  3784  344   324 S N   0.0  0.0   0:00 mysqld
 4791 mysql     13   5  3784  344   324 S N   0.0  0.0   0:00 mysqld
 4915 root       9   0   420  280   252 S     0.0  0.0   0:04 sshd
 4934 nobody     8   0   668  444   400 S     0.0  0.0   0:00 proftpd
 4937 daemon     9   0   220  156   156 S     0.0  0.0   0:00 atd
 4940 root       8   0   300  232   204 S     0.0  0.0   0:01 cron
30502 root       8   0  3280  880   572 S     0.0  0.0   0:01 miniserv.pl
19072 root       9   0   300  212   208 S     0.0  0.0   0:00 vm-pop3d
 4694 clamav     9   0   596  516   516 S     0.0  0.0   0:00 freshclam
 9312 amavis     9   0 10488  652   464 S     0.0  0.0   0:00 amavisd-new
 9313 amavis     9   0 10600  448   448 S     0.0  0.0   0:00 amavisd-new
12873 clamav     9   0  7112  248   244 S     0.0  0.0   0:01 clamd
14673 root       8   0   388  292   248 S     0.0  0.0   0:07 master
14688 postfix    9   0   536  476   476 S     0.0  0.0   0:00 qmgr
22183 clamav     8   0  7112  248   244 S     0.0  0.0   0:00 clamd
22262 amavis     9   0 10488  468   468 S     0.0  0.0   0:00 amavisd-new
 4243 root       9   0   260  172   172 S     0.0  0.0   0:00 lpd
  539 root       9   0  1516  824   808 S     0.0  0.0   0:00 apache
23469 root       9   0   360  288   276 S     0.0  0.0   0:00 vm-pop3d
29872 root       9   0   360  288   276 S     0.0  0.0   0:00 vm-pop3d
30033 root       9   0   360  288   276 S     0.0  0.0   0:00 vm-pop3d
30054 root       9   0   360  288   276 S     0.0  0.0   0:00 vm-pop3d
30508 www-data   8   0  2128 1784  1540 S     0.0  0.1   0:00 apache
30511 www-data   9   0  2120 1776  1540 S     0.0  0.1   0:00 apache
 1695 root       9   0   360  288   276 S     0.0  0.0   0:00 vm-pop3d
 2180 root       9   0   360  288   276 S     0.0  0.0   0:00 vm-pop3d
 2436 www-data   9   0  2128 1784  1536 S     0.0  0.1   0:00 apache
 2520 root       9   0   360  288   276 S     0.0  0.0   0:00 vm-pop3d
 2813 root       9   0   360  288   276 S     0.0  0.0   0:00 vm-pop3d
 3395 root       9   0   360  288   276 S     0.0  0.0   0:00 vm-pop3d
 4003 postfix    9   0   844  844   700 S     0.0  0.0   0:00 pickup
 5497 postfix    9   0   808  808   684 S     0.0  0.0   0:00 showq
 8250 www-data   9   0  7108 6980  2536 S     0.0  0.7   0:02 apache
11021 www-data   8   0  2116 1764  1528 S     0.0  0.1   0:00 apache
11409 www-data   8   0  2128 1776  1536 S     0.0  0.1   0:00 apache
12704 root       9   0   360  288   276 S     0.0  0.0   0:00 vm-pop3d
12916 www-data   8   0  6864 6728  2504 S     0.0  0.6   0:02 apache
13036 root       9   0  1768 1744  1460 R     0.0  0.1   0:00 sshd

Wie finde ich den Prozess / die Aplikation, welche die ganze CPU frist?

EDIT (feltel): CODE-Tags statt QUOTE

[blackm]

Sind das alle Prozesse? Kannst du mal ein die Ausgabe von

Code: Alles auswählen

ps aux

auf http://nopaste.debianforum.de posten?

by, Martin

[mludwig]

wenn ich deine top-Angaben so ansehe, fallen zwei Angaben auf:

1. Die Systemauslastung liegt bei über 60 %, d. h. 2/3 des Prozessors werden von Kernel genutzt.

2. Der Arbeitsspeicher ist stark ausgelastet, und damit meine ich nicht das übliche caching. von den 1 GB Ram sind ca. 600 MB für Anwendungen verbraten, zusätzlich sind 1,7 GB der swap-Partition(en) voll!

Ich vermute durch das Auslagern hat der Prozessor richtig zu tun, falls wirklich so große Anwendungen laufen hilft mehr RAM (eine Datenbank???), ansonsten mal nachsehen ob eine Applikation querschießt. Dazu die Ausgabe von Top nach Speicherauslastung sortieren (Taste M)

grüße
mludwig

[ThorstenS]

wie schnell sind die Festplatten? hdparm -t /dev/hda verrät dir das.
Wenn der Wert unter 20 MB/sec liegt, solltest du es evtl. mit hdparm -d1 -c1 -m16 /dev/hda versuchen.
Hast du mysql oder anderen Diensten händisch mehr Speicher versprochen, als du evtl. hast?

Installiere auch mal munin und munin-node, damit bekommst du nach einiger Zeit einen guten Überblick was dein System macht (http://localhost/munin).

Kann es sein, dass dein Server hochgenommen wurde und du da einen FTP Server laufen hast, den du nicht siehst/kennst? lass mal nmap auf die Kiste los.
Es gibt massig Punkte die zu diesem Verhalten führen, arbeite mal alles hier vorgeschlagene einzeln ab.

HTH

[blackm]

wie schnell sind die Festplatten? hdparm -t /dev/hda verrät dir das.
Wenn der Wert unter 20 MB/sec liegt, solltest du es evtl. mit hdparm -d1 -c1 -m16 /dev/hda versuchen.

Der Test gibt aber nur ein brauchbares Ergebnis wenn der Rechner im leerlauf ist....

Kann es sein, dass dein Server hochgenommen wurde und du da einen FTP Server laufen hast, den du nicht siehst/kennst? lass mal nmap auf die Kiste los.
Es gibt massig Punkte die zu diesem Verhalten führen, arbeite mal alles hier vorgeschlagene einzeln ab.

An sowas habe ich auch schon gedacht. chkrootkit mal druchlaufen lassen, der findet zum Beispiel solche versteckten Prozesse.

by, Martin

[meandtheshell]

wie schnell sind die Festplatten? hdparm -t /dev/hda verrät dir das.
Wenn der Wert unter 20 MB/sec liegt, solltest du es evtl. mit hdparm -d1 -c1 -m16 /dev/hda versuchen.

Der Test gibt aber nur ein brauchbares Ergebnis wenn der Rechner im leerlauf ist....

erstens das und zweitens ein herumtüffteln an den auswirkungen des problems - nicht an den ursachen

Kann es sein, dass dein Server hochgenommen wurde ...

wenn das so ist - nachsehen!! - dann kannst du swieso gleich die masch neu aufsetzen UND dafür sorgen das in zukunft dein netz VIEL besser geschützt wird - den wo einer einmal ein nest gebaut hat kommt er wieder vorbei ...

[Eazyjd]

Also, erstmal 1000 Dank für die vielen Antworten.

Erstmals habe ich die top Anzeige nach Memory hier: http://nopaste.debianforum.de/255
Dann die ps aux hier: http://nopaste.debianforum.de/256

Das der Server hochgenommen wurde, denke ich nicht. Der Traffic ist in etwas gleich hoch wie schon immer. chkrootkit hat ebenfalls nix gefunden.

Ein Mysqld läuft auf dem Server, wird aber zur Zeit nicht gebraucht. An dem kann es also kaum liegen.

Bin für weitere Hilfe mehr als dankbar.

Gruss

Eazyjd

[blackm]

Hm...hast du mal in /var/log/syslog und in die Ausgabe von dmesg geschaut ob dort was auffaelliges steht?

Ich wuerde die Kiste sonst mal neu starten....

by, Martin

[ThorstenS]

hdparm -i /dev/hda zeigt die Einstellungen, dass der Test mit -t nur im Leerlauf gute Werte zeigt ist natürlich klar.

Ich würde (wenn du alle Tipps durchgegangen hast) alle nicht benötigten Dienste stoppen.
Ein mysqld der nicht gebraucht wird, sollte eh nicht laufen...

Was hat der Portscan ergeben, gib mal konstruktiven feedback.

Läuft der clamav im Mailbetrieb? Was macht der aktuell, scannt der eine Monsterdatei?
Muß lpd, apache oder portmap laufen? Stoppe versuchsweise den pop3d und untersuche das Systemverhalten danach.

[feltel]

Aber trotz der ganzen Dienste dürfte ein P4 2.4 nicht so ausgelastet sein. Was noch sein könnte wäre ein thermisches Problem. Die P4 takten sich ja runter wenn ihnen zu warm wird. Evtl. läuft die CPU auch nur auf Sparflamme.

[mludwig]

es erscheint mir völlig unverständlich, wieso bei den wenigen Prozessen, welche kaum Speicher verbrauchen, der Swapbereich mit 1,6 GB ausgelastet ist.

Es sieht so aus als wäre der wirklich aufwändige Prozess verborgen, wie es bei rootkits möglich ist ... ich würde auch unbedingt mal nmap laufen lassen.

grüße
mludwig

[Eazyjd]

Hi

Erstmals sorry, dass ich trotz der vielen Antworten mich nicht mehr gemeldet habe. War im Ausland in den letzten Tagen.

Hm...hast du mal in /var/log/syslog und in die Ausgabe von dmesg geschaut ob dort was auffaelliges steht?

Also, was im syslog steht (die letzten Zeilen) habe ich mal hier gepostet: http://nopaste.debianforum.de/289

Da ich leider nicht wirklich der Linux-Chef bin, werde ich aus den Ausgaben nicht direkt schlau. Auf alle Fälle gibts da schon ein paar Errors mit postfix, die ich mir nicht wirklich erklären kann...

Es sieht so aus als wäre der wirklich aufwändige Prozess verborgen, wie es bei rootkits möglich ist ... ich würde auch unbedingt mal nmap laufen lassen.

hmm... was muss ich da bei nmap genau machen um die von dir gesuchte Ausgabe zu bekommen?

Ich würde (wenn du alle Tipps durchgegangen hast) alle nicht benötigten Dienste stoppen.
Ein mysqld der nicht gebraucht wird, sollte eh nicht laufen...

Auch wenn ich alle Dienste stoppe, bleibt die Auslastung gleich hoch.
Der mysqld wird übrigens schon gebraucht, sonst würde er nicht laufen (Nur eben gerade zur Zeit wird er nicht zwingend benötigt..)

Auf alle Fälle ein dickes Danke für die vielen Feedback und Tipps.

Grüsse

Eazyjd

[blackm]

Auf alle Fälle gibts da schon ein paar Errors mit postfix, die ich mir nicht wirklich erklären kann...

Kann sein das das noch eine Auswirkung des Problems ist...was aber das eigentliche Problem ist kann ich nicht erkennen. Ich habe bei google mal nach fatal: uid=0: unexpected record type: 84 gesucht, aber auf die Schnelle nix brauchbares gefunden.
Kann du mal die Ausgabe von dmesg noch online auf nopaste veroeffentlichen?

by, Martin

[feltel]

#
May 24 14:32:03 vl01s17 postfix/sendmail[16324]: fatal: root(0): Error writing message file

Ist vielleicht die Platte voll oder am sterben?

[rak64]

bei mir sagt der Befehl >top< in der console wer die ganze Rechenpower auffrisst. Mit taste s dann 1 auf eine Sekunde refresh stellen.

[meandtheshell]

bei mir sagt der Befehl >top< in der console wer die ganze Rechenpower auffrisst. Mit taste s dann 1 auf eine Sekunde refresh stellen.

nicht nur heute sondern schon immer waren leute die lesen konnten im vorteil - siehe oben - das hat er alles schon gemacht - SCNR

[hennes@debian]

Hmm... Was ist das für ein Server? Gemietet?

Könnte sein das ein Linux on Linux läuft? Sowas wie VMWare für linux... Damit könnte dir der Provider ev. einen eigenen Server vorgaukeln obwohls garkeiner ist... Kenne mich da aber nicht so aus...

Ich hab mal openMosix ausprobiert... Das ist ein Prozessmanagement-System für Linux-Cluster... Dabei werden die Prozesse von einem PC auf den anderen übertragen falls es wirtschaftlich ist... Dabei sieht die Ausgabe von "top" genau so aus wie deine, da die Ausgelagerten Prozesse nicht angezeigt werden! Überprüfen kannst du das mit "mosmon".

Ev hatt sich ja der Provider einen Spass erlaubt und einen Openmosix-Kernel eingebaut, womit er nun gratis einen Supercomputer hat

Edit: Falls das Verzeichniss /prog/hpc existiert läuft openMosix
Weitere Informationen: http://openmosix.sourceforge.net/

[Badgott]

Hallo,
ich habe auch nochmal ne frage was für ein Befehl ist des der mir die Ausgabe von dem ersten Eintrag vom Thread macht also wo der die auslastung ect alles anzeigt.

sorry kenne mich da nicht so aus

Gruß Badgott

[feltel]

top

[Eazyjd]

Hmm... also, da beiss mich doch ein Affe!

Jetzt habe ich das Problem die letzten Tage vor mich hergeschoben, jetzt checke ich den Server mit top und alles ist beim Alten - run 90 % auf idle!

Also, ich versteh das wirklich absolut nicht - habe gar nix verändert.

Aber noch kurz zu den Fragen:
-Platte ist nicht voll.
-Server ist gemietet. Ein root Server, kein vlinux (linux on linux) oder ähnliches.

Auf alle Fälle hoffe ich mal das es so bleibt und bedanke mich trotzdem bei allen, die sich aktiv beteiligten. Hoffen wir, dass das Problem nicht in 2 Tagen wieder auftritt

Grüsse und herzlichen Dank

Eazyjd

[meandtheshell]

-Server ist gemietet. Ein root Server, kein vlinux (linux on linux) oder ähnliches.

das wird sicher einen virtuelle instanz sein - sprich Vserver - könnte sein das ein I/O request das problem war ...

beispiel:
irgend ein I/O request wartet das er was auf die platte schreiben kann - meinetwegen eine woche oder mehr - warum auch immer - das witzige ist das dir top & co dann 100% cpu last anzeigen solange nicht geschrieben/gelesen wird obwohl die cpu gelangweilt an der ecke steht und gegen den schlaf kämpft

[Eazyjd]

Hmm super - inzwischen ist die Auslastung wieder komplett im 99 % Bereich.

@meandtheshell:
Werde mal abklären, ob dem wirklich so ist.
Falls ja, wäre es ja im Grunde kein Problem, dass die CPU zu 99 % belastet ist, oder? Bei eine virtuellen System wird doch vom Host System nur immer gerade soviel CPU-Leistung vorgetäuscht, dass es für das "virtuelle System" genügt, nicht?

Auf jeden Fall läuft der Server (auch wenn die Auslastung konstant so hoch ist) ausreichend schnell. Selbst aufwendigere Scripte in perl werden schnell abgearbeitet. Von dem her ist es also kein Problem - nur hätte ich eben gerne gewusst, wieso das Ding immer am Anschlag läuft

[meandtheshell]

Falls ja, wäre es ja im Grunde kein Problem, dass die CPU zu 99 % belastet ist, oder?

richtig - es scheint nur so

Bei eine virtuellen System wird doch vom Host System nur immer gerade soviel CPU-Leistung vorgetäuscht, dass es für das "virtuelle System" genügt, nicht?

beispiel Llinux-Vserver:
hier hast du einen context 0 (host system) und einen oder mehrere 1er (gastsysteme) - über das host system kann bestimmt werden wieviel resourcen ein gastsystem max verbrauchen darf - vortäuschen? weiß ich jetzt nicht genau was du meinst - egal ...

Auf jeden Fall läuft der Server (auch wenn die Auslastung konstant so hoch ist) ausreichend schnell.

was ein indiz dafür ist das ich recht haben könnte und irgend ein I/O request warum auch immer wartet - das muss ja nicht einmal auf deiner Instanz/Context sein

Selbst aufwendigere Scripte in perl werden schnell abgearbeitet.

deto meinung darüber

Von dem her ist es also kein Problem - nur hätte ich eben gerne gewusst, wieso das Ding immer am Anschlag läuft

ja - aber das herauszufinden wenn du nur admin rechte über einen gast context hast wird schwer werden ...

wie gesagt - wenn deine sachen schnell durchlaufen kann es dir egal sein - nachfragen/forschen schadet nat. nie

gruesse markus

[umbroboy]

Hallo,

könnt ich mal kurze eine Meinung von Euch haben ob die Serverstatistik okay ist?


13:52:53 up 17 days, 4:25, 1 user, load average: 0.02, 0.08, 0.07
32 processes: 31 sleeping, 1 running, 0 zombie, 0 stopped
CPU states: 0.1% user, 0.0% system, 0.0% nice, 99.9% idle
Mem: 6196656K total, 6039624K used, 157032K free, 2049300K buffers
Swap: 12586916K total, 3681556K used, 8905360K free, 693436K cached

PID USER PRI NI SIZE RSS SHARE STAT %CPU %MEM TIME COMMAND
23331 root 17 0 940 940 748 R 0.3 0.0 0:00 top
1 root 9 0 480 440 420 S 0.0 0.0 0:19 init
10053 root 9 0 748 708 628 S 0.0 0.0 0:12 syslogd
10243 root 9 0 540 364 364 S 0.0 0.0 0:00 klogd
20039 root 9 0 1116 1000 948 S 0.0 0.0 0:11 master
20358 root 9 0 1108 968 928 S 0.0 0.0 0:07 sshd
21349 nobody 9 0 1312 1084 1048 S 0.0 0.0 0:03 proftpd
21441 root 9 0 684 620 568 S 0.0 0.0 0:15 cron
27586 postfix 9 0 1304 1124 1044 S 0.0 0.0 0:07 qmgr
28866 root 9 0 1004 852 844 S 0.0 0.0 0:00 xinetd
17190 root 9 0 8856 1484 1484 S 0.0 0.0 0:00 spamd
5538 root 9 0 4160 1844 1456 S 0.0 0.0 0:04 miniserv.pl
9158 root 9 0 980 804 804 S 0.0 0.0 0:00 safe_mysqld
10498 mysql 9 0 2456 2124 1584 S 0.0 0.0 0:00 mysqld
10562 mysql 8 0 2456 2124 1584 S 0.0 0.0 0:01 mysqld
10597 mysql 9 0 2456 2124 1584 S 0.0 0.0 0:00 mysqld


Danke schonmal

[rak64]

blos mal ne Frage vom Nichtleser
sind die Dateien nicht doch etwas gross?
Sieht für mich so aus als ob der Rechner doch was zu tun hat?
Viel Mails zu versenden?
Gogglen nach dem pstfix Fehler unexpected record type: 84 ist erfolgreich aber sagt mir weiter nichts.