Lenny, immer wieder hoher iowait

[jack88]

Hallo,

so langsam bin ich mit meinem Latein leider am Ende. Seit Tagen versuche ich herauszufinden was auf der Debian-Maschine einen hohen iowait verursacht.

Das Problem lässt sich zumindest relativ leicht reproduzieren:

Wenn ich z.B. mit wget gleichzeitig 3-4 Downloads einer relativ großen Datei (600MB) starte, dann steigt bereits nach wenigen Minuten der iowait auf 99.99% und der ganze Server geht komplett in die Knie.

Auch beim einfachen Kopieren von Dateien lässt sich das Verhalten immer wieder beobachten. Ich habe zum Testen mehrmals 4 große Dateien (>1.3 GB) gleichzeitig mit cp kopieret. Normalerweise geht der IO nicht über 85%, allerdings kommt es alle paar Tests vor, daß der IO auf einmal auf 99.99% steigt und sich der Rechner dann für mehrerer Minuten komplett verabschiedet.

Offenbar hängt das Problem mit irgendeinem Prozess zusammen, welcher in bestimmten Zeitabständen einen relativ hohen iowait verursacht. Das führt dann offenbar zu einer Art IO-Datenstau bzw. Blockade.

Als ich die Ausgabe von iotop aufgezeichnet habe ist mir jedes mal kjournal aufgefallen. Bei kopieren oder downloaden hatte kjournald immer wieder mal einen IO von 99.99%. Selbst bei einfachen Befehlen auf der Kommandozeile wie uname oder ls sind mir schon öfter Verzögerungen und ein IO bei kjournald von 99.99% aufgefallen?

Vielleicht hat ja jemand eine Idee oder einen Tipp wie ich das Problem noch weiter eingrenzen könnte.

Hier noch einige Infos zum OS + Rechner:

Debian Lenny 2.6.26-2-686
Intel Pentium 4, 2.8 GHz / 512MB Ram


Vielen Dank im Voraus
jack

[whisper]

Das ist ein bekannter bug, habe es selber hier im Forum schon gelesen. Glaube ist im SATA Interface. So oder so liegts am Kernel.
Installiere dir einen neueren, sollte helfen
Tritt nicht bei jedem auf und nur bei hohem load
edit: guckst du hier: http://debianforum.de/forum/viewtopic.p ... it#p708331

[jack88]

Ja, ich habe zwei SATA Platten und das Problem scheint vor allem dann aufzutreten wenn die Maschine unter Last steht.

Installiere dir einen neueren, sollte helfen

Sorry für die vielleicht etwas dumme Frage (bin kein Linux experte), aber
Ich dachte ich hätte eigentlich die aktuelleste Version (2.6.26-2-686)? Mit aptitude search finde ich leider auch nichts neueres?

Viele Grüße
jack

[Clio]

Aktuell stable ist die Version 2.6.32.
Du kannst aber aus den lenny-backports einen 2.6.30 installieren.
http://packages.debian.org/search?suite ... age-2.6.30

Wie backports eingebunden werden verrät das Wiki, oder du lädst den Kernel herunter und installierst mit

Code: Alles auswählen

dpkg -i <Paket>

[manes]

korrigiere:
der kernel in stable/ lenny ist 2.6.26, in testing/ squeeze 2.6.30 und in sid 2.6.32

du kannst es erstmal mit dem testingsid-kernel von hier[0] versuchen, wenn du ein 32bittiges system mit <3,3gb ram fährst. für 4gb und mehr hier [1] und für 64 bit hier [2].
nach download des .deb dann installation mit dpkg -i /pfad/zum/deb

grüße
manes

[0] http://packages.debian.org/sid/i386/lin ... 6/download
[1] http://packages.debian.org/sid/i386/lin ... m/download
[2] http://packages.debian.org/sid/amd64/li ... 4/download

edit: links korrigiert

[jack88]

Vielen Dank nochmals für Eure Hilfe!

Ich habe den "[0] testing-kernel" installiert und einen neuen Test gestartet.
Nach einigen Minuten wieder das bekannte Ergebnis: alle wget-prozesse + kjournald haben IO 99.99% und nichts geht mehr.

Dann habe ich auch noch sämtliche Dienste gestoppt (postfix, dovecot etc.) und einen neuen Test gestartet und wieder das gleiche Szenario:

Code: Alles auswählen

(Ausgabe von iotop)


Total DISK READ: 0 B/s | Total DISK WRITE: 548.42 K/s
  PID USER      DISK READ  DISK WRITE   SWAPIN    IO    COMMAND
 2536 root           0 B/s  126.25 K/s  0.00 %  0.00 % wget http://testurl.xx/testdatei.xx
 2539 root           0 B/s  153.87 K/s  0.00 %  0.00 % wget http://testurl.xx/testdatei.xx
 2538 root           0 B/s  153.87 K/s  0.00 %  0.00 % wget http://testurl.xx/testdatei.xx
 2537 root           0 B/s  114.42 K/s  0.00 %  0.00 % wget http://testurl.xx/testdatei.xx
Total DISK READ: 0 B/s | Total DISK WRITE: 532.71 K/s
  PID USER      DISK READ  DISK WRITE   SWAPIN    IO    COMMAND
 2536 root           0 B/s  130.22 K/s  0.00 %  0.00 % wget http://testurl.xx/testdatei.xx
 2539 root           0 B/s  146.00 K/s  0.00 %  0.00 % wget http://testurl.xx/testdatei.xx
 2538 root           0 B/s  161.79 K/s  0.00 %  0.00 % wget http://testurl.xx/testdatei.xx
 2537 root           0 B/s   94.70 K/s  0.00 %  0.00 % wget http://testurl.xx/testdatei.xx
Total DISK READ: 0 B/s | Total DISK WRITE: 71.02 K/s
  PID USER      DISK READ  DISK WRITE   SWAPIN    IO    COMMAND
  918 root           0 B/s       0 B/s  0.00 %  1.65 % [kjournald]
 2536 root           0 B/s   35.51 K/s  0.00 %  1.46 % wget http://testurl.xx/testdatei.xx
 2539 root           0 B/s   19.73 K/s  0.00 %  0.00 % wget http://testurl.xx/testdatei.xx
 2538 root           0 B/s   15.78 K/s  0.00 %  0.00 % wget http://testurl.xx/testdatei.xx
Total DISK READ: 0 B/s | Total DISK WRITE: 0 B/s
  PID USER      DISK READ  DISK WRITE   SWAPIN    IO    COMMAND
  918 root           0 B/s       0 B/s  0.00 % 99.99 % [kjournald]
 2538 root           0 B/s       0 B/s  0.00 % 99.01 % wget http://testurl.xx/testdatei.xx
Total DISK READ: 0 B/s | Total DISK WRITE: 3.95 K/s
  PID USER      DISK READ  DISK WRITE   SWAPIN    IO    COMMAND
 2535 root           0 B/s    3.95 K/s  0.00 %  0.00 % python /usr/bin/iotop -o -b
Total DISK READ: 0 B/s | Total DISK WRITE: 1950.92 K/s
  PID USER      DISK READ  DISK WRITE   SWAPIN    IO    COMMAND
 2536 root           0 B/s  679.27 K/s  0.00 % 99.99 % wget http://testurl.xx/testdatei.xx
 2537 root           0 B/s  311.99 K/s  0.00 % 99.99 % wget http://testurl.xx/testdatei.xx
 2539 root           0 B/s  319.89 K/s  0.00 % 99.99 % wget http://testurl.xx/testdatei.xx
  918 root           0 B/s       0 B/s  0.00 % 99.99 % [kjournald]
 2538 root           0 B/s  639.78 K/s  0.00 % 99.99 % wget http://testurl.xx/testdatei.xx
Total DISK READ: 0 B/s | Total DISK WRITE: 544.43 K/s
  PID USER      DISK READ  DISK WRITE   SWAPIN    IO    COMMAND
 2536 root           0 B/s  173.59 K/s  0.00 %  0.00 % wget http://testurl.xx/testdatei.xx
 2539 root           0 B/s  126.24 K/s  0.00 %  0.00 % wget http://testurl.xx/testdatei.xx
 2538 root           0 B/s  142.02 K/s  0.00 %  0.00 % wget http://testurl.xx/testdatei.xx
 2537 root           0 B/s  102.57 K/s  0.00 %  0.00 % wget http://testurl.xx/testdatei.xx
Total DISK READ: 0 B/s | Total DISK WRITE: 94.71 K/s
  PID USER      DISK READ  DISK WRITE   SWAPIN    IO    COMMAND
 2536 root           0 B/s   23.68 K/s  0.00 %  0.00 % wget http://testurl.xx/testdatei.xx
 2539 root           0 B/s   31.57 K/s  0.00 %  0.00 % wget http://testurl.xx/testdatei.xx
 2538 root           0 B/s   11.84 K/s  0.00 %  0.00 % wget http://testurl.xx/testdatei.xx
 2537 root           0 B/s   27.62 K/s  0.00 %  0.00 % wget http://testurl.xx/testdatei.xx
Total DISK READ: 0 B/s | Total DISK WRITE: 0 B/s
  PID USER      DISK READ  DISK WRITE   SWAPIN    IO    COMMAND
Total DISK READ: 0 B/s | Total DISK WRITE: 0 B/s
  PID USER      DISK READ  DISK WRITE   SWAPIN    IO    COMMAND
Total DISK READ: 0 B/s | Total DISK WRITE: 0 B/s
  PID USER      DISK READ  DISK WRITE   SWAPIN    IO    COMMAND
Total DISK READ: 0 B/s | Total DISK WRITE: 0 B/s
  PID USER      DISK READ  DISK WRITE   SWAPIN    IO    COMMAND
Total DISK READ: 0 B/s | Total DISK WRITE: 0 B/s
  PID USER      DISK READ  DISK WRITE   SWAPIN    IO    COMMAND
  918 root           0 B/s       0 B/s  0.00 % 99.99 % [kjournald]
 2536 root           0 B/s       0 B/s  0.00 % 99.99 % wget http://testurl.xx/testdatei.xx

Was könnte man noch machen?

[whisper]

Wie aus dem Thread, den ich oben verlinkt habe ersichtlich ist, ist das Problem noch nicht im Testing Kernel in Debian gelöst.
Compilier dir einen selbst, oder nimm den SID wie oben vorgeschlagen

[jack88]

Ok, das mit dem Kernel 2.6.32 muss ich noch testen.

Allerdings ist mir noch etwas aufgefallen.

So sieht die Ausgabe von free bevor der Download gestartet wird:

Code: Alles auswählen

             total       used       free     shared    buffers     cached
Mem:        506584     160884     345700          0      21168      86920
-/+ buffers/cache:      52796     453788
Swap:       987988        692     987296

Dann wird nur eine Datei mit wget heruntergeladen. Die Daten werden mit ca. 550K/s heruntergeladen und laut iotop mit ca. 550K/s auf die Platte geschrieben. Nachdem ca. 300MB heruntegeladen wurden ist der freie Arbeitsspeicher fast komplett aufgebraucht. Ab da steigt der iowait und der Rechner wird immer langsamer. Die Ausgabe von free sieht dann wie folgt aus:

Code: Alles auswählen

             total       used       free     shared    buffers     cached
Mem:        506584     499656       6928          0      12988     429888
-/+ buffers/cache:      56780     449804
Swap:       987988        692     987296

Offenbar wird bei dem Download einfach der gesamte freie Arbeitsspeicher vollgeschrieben und wenn dieser komplett aufgebraucht ist kommt es zu einem IO-Stau. Der Swap-Speicher wird dabei überhaupt nicht aktiv? Offenbar wird der gesamte Download irgendwie im Arbeitsspeicher gepuffert, obwohl die Datei eigentlich längst auf die Festplatte geschrieben wurde? Woran könnte das liegen? Ist das wirklich ein Kernel-Bug?

[whisper]

Ich habe das mal mit meinem System nachvollzogen.
Stimmt, iotop zeigt mir dasselbe, mit free sehe ich, wie der Cached Bereich wächst.
Ich habe allerdings 2GB Ram und 2.6.32 Kernel. (ext3 crypted)
Ich habe kein langsamer werdendes System

[jack88]

Ich habe allerdings 2GB Ram und 2.6.32 Kernel. (ext3 crypted)
Ich habe kein langsamer werdendes System

Hast Du auch mit einer Datei > 2GB versucht?

Bevor ich den 2.6.32 Kernel teste, würde ich gerne den 2.6.30 wieder deinstallieren.
In der Debian FAQ habe ich dazu folgendes gefunden:

http://www.debian.org/doc/manuals/debia ... el.de.html

dpkg --purge --force-remove-essential kernel-image-NNN

(Natürlich müssen Sie NNN mit Ihrer Kernelversion und Revisionsnummer ersetzen.)

Leider ist mir bis jetzt nicht ganz klar wie ich NNN richtig durch die Kernelversion und Revisionsnummer ersetzen soll.

Wenn ich es wie folgt versuche, dann erhalte ich immer eine Fehlermeldung:

Code: Alles auswählen

~# dpkg --purge --force-remove-essential kernel-image-2.6.30-2
~# dpkg - warning: ignoring request to remove kernel-image-2.6.30-2 which isn't installed.

[whisper]

Du kannst problemlos mehrere Kernelversionen installieren, kannst du im Grub dann auswählen.
Nee, 2 GB war mir dann do zu viel aufwand
Liegt der Unterschied zwischen Name und Version?
z.B. bei mir:

Code: Alles auswählen

ii  linux-image-2.6.30.4                   2.6.30.4-10.00.Custom       Linux kernel binary image for version 2.6.30
rc  linux-image-2.6.30.5                   2.6.30.5-10.00.Custom       Linux kernel binary image for version 2.6.30
ii  linux-image-2.6.32                     bed0.1                      Linux kernel binary image for version 2.6.32

[jack88]

Nee, 2 GB war mir dann do zu viel aufwand

Verstehe

Allerdings wird auch bei mir das System erst dann langsamer,
sobald nahezu der komplette freie Arbeitsspeicher aufgebraucht ist.
Solange genügend RAM vorhanden ist, läuft das System auch bei mir kein bisschen langsamer.

Sorry, aber das mit der Bezeichnung der linux-images ist mir leider noch nicht ganz klar?

Code: Alles auswählen

uname -a

2.6.30-2-686 #1 SMP Sat Sep 26 01:16:22 UTC 2009 i686 GNU/Linux

Die entsprechende Kernel-Datei in /boot:

Code: Alles auswählen

initrd.img-2.6.30-2-686

Wie müßte also der entsprechende Befehl zum deinstallieren lauten, leider finde ich dazu kein Beispiel?

Code: Alles auswählen

dpkg --purge --force-remove-essential ........

Geschafft!!! Mit dem folgenden Befehl hat´s doch noch geklappt:

Code: Alles auswählen

dpkg --purge --force-remove-essential linux-image-2.6.30-2-686

[manes]

oder so:

Code: Alles auswählen

apt-get remove linux-image-2.6.30-2-686

grüße
manes

[jack88]

Ok, nächster Test.

Ich hoffe ich hab jetzt auch das richtige Paket installiert:

Code: Alles auswählen

uname -a
2.6.32-trunk-686 #1 SMP Thu Dec 24 05:52:30 UTC 2009 i686 GNU/Linux

Leider ist auch damit das Problem immer noch nich behoben.
Bereits nach ca. 200MB geht der iowait bei kjournald und wget wieder auf 99.99% hoch.
Also am Kernel scheint es doch nicht zu liegen

Möglicherweise ist es auch irgendein Hardware-Defekt, aber wie findet man das heraus?
Abgesehen von dem hohen iowait scheint der Rechner ja absolut stabil zu laufen?

[pferdefreund]

Schon mal mit hdparm -t -T /dev/deineplatte/ die Platten gecheckt - so hdparm mit
sata umgehen kann - keine Ahnung, hab nur IDE.

[jack88]

Hier noch einige Infos zu der Platte + System:

Code: Alles auswählen

# hdparm –i /dev/sda

/dev/sda:

 Model=WDC WD15EADS-00P8B0                     , FwRev=01.00A01, SerialNo=     WD-WMAVU0050349
 Config={ HardSect NotMFM HdSw>15uSec SpinMotCtl Fixed DTR>5Mbs FmtGapReq }
 RawCHS=16383/16/63, TrkSize=0, SectSize=0, ECCbytes=50
 BuffType=unknown, BuffSize=32767kB, MaxMultSect=16, MultSect=?8?
 CurCHS=16383/16/63, CurSects=16514064, LBA=yes, LBAsects=18446744072344861488
 IORDY=on/off, tPIO={min:120,w/IORDY:120}, tDMA={min:120,rec:120}
 PIO modes:  pio0 pio3 pio4 
 DMA modes:  mdma0 mdma1 mdma2 
 UDMA modes: udma0 udma1 udma2 udma3 udma4 udma5 *udma6 
 AdvancedPM=no WriteCache=enabled
 Drive conforms to: Unspecified:  ATA/ATAPI-1,2,3,4,5,6,7

·	signifies the current active mode

Code: Alles auswählen

# hdparm –tT /dev/sda

/dev/sda:
 Timing cached reads:   1134 MB in  2.00 seconds = 566.20 MB/sec
 Timing buffered disk reads:  286 MB in  3.01 seconds =  95.06 MB/sec

dmesg:
34116

Code: Alles auswählen

# lsmod

Module                  Size  Used by
ipv6                  235396  24 
loop                   55372  6 
parport_pc             22500  0 
parport                30988  1 parport_pc
psmouse                32336  0 
serio_raw               4740  0 
pcspkr                  2432  0 
i2c_i801                7920  0 
i2c_core               19828  1 i2c_i801
snd_intel8x0           26268  0 
snd_ac97_codec         88452  1 snd_intel8x0
ac97_bus                1728  1 snd_ac97_codec
snd_pcm                62660  2 snd_intel8x0,snd_ac97_codec
snd_timer              17800  1 snd_pcm
snd                    45636  4 snd_intel8x0,snd_ac97_codec,snd_pcm,snd_timer
soundcore               6368  1 snd
snd_page_alloc          7816  2 snd_intel8x0,snd_pcm
rng_core                3940  0 
button                  6096  0 
intel_agp              22524  1 
agpgart                28808  1 intel_agp
evdev                   8000  0 
dcdbas                  6272  0 
ext3                  105576  4 
jbd                    39476  1 ext3
mbcache                 7108  1 ext3
sd_mod                 22200  6 
ide_cd_mod             27684  0 
cdrom                  30176  1 ide_cd_mod
ata_piix               14180  4 
ata_generic             4676  0 
libata                140448  2 ata_piix,ata_generic
scsi_mod              129548  2 sd_mod,libata
dock                    8304  1 libata
floppy                 47716  0 
ide_pci_generic         3908  0 [permanent]
piix                    6568  0 [permanent]
ide_core               96168  3 ide_cd_mod,ide_pci_generic,piix
via_rhine              18664  0 
mii                     4896  1 via_rhine
ehci_hcd               28428  0 
uhci_hcd               18672  0 
usbcore               118192  3 ehci_hcd,uhci_hcd
tg3                    84708  0 
thermal                15228  0 
processor              32576  1 thermal
fan                     4196  0 
thermal_sys            10856  3 thermal,processor,fan

Code: Alles auswählen

# lspci

00:00.0 Host bridge: Intel Corporation 82915G/P/GV/GL/PL/910GL Memory Controller Hub (rev 04)
00:01.0 PCI bridge: Intel Corporation 82915G/P/GV/GL/PL/910GL PCI Express Root Port (rev 04)
00:02.0 VGA compatible controller: Intel Corporation 82915G/GV/910GL Integrated Graphics Controller (rev 04)
00:02.1 Display controller: Intel Corporation 82915G Integrated Graphics Controller (rev 04)
00:1c.0 PCI bridge: Intel Corporation 82801FB/FBM/FR/FW/FRW (ICH6 Family) PCI Express Port 1 (rev 03)
00:1c.1 PCI bridge: Intel Corporation 82801FB/FBM/FR/FW/FRW (ICH6 Family) PCI Express Port 2 (rev 03)
00:1d.0 USB Controller: Intel Corporation 82801FB/FBM/FR/FW/FRW (ICH6 Family) USB UHCI #1 (rev 03)
00:1d.1 USB Controller: Intel Corporation 82801FB/FBM/FR/FW/FRW (ICH6 Family) USB UHCI #2 (rev 03)
00:1d.2 USB Controller: Intel Corporation 82801FB/FBM/FR/FW/FRW (ICH6 Family) USB UHCI #3 (rev 03)
00:1d.3 USB Controller: Intel Corporation 82801FB/FBM/FR/FW/FRW (ICH6 Family) USB UHCI #4 (rev 03)
00:1d.7 USB Controller: Intel Corporation 82801FB/FBM/FR/FW/FRW (ICH6 Family) USB2 EHCI Controller (rev 03)
00:1e.0 PCI bridge: Intel Corporation 82801 PCI Bridge (rev d3)
00:1e.2 Multimedia audio controller: Intel Corporation 82801FB/FBM/FR/FW/FRW (ICH6 Family) AC'97 Audio Controller (rev 03)
00:1f.0 ISA bridge: Intel Corporation 82801FB/FR (ICH6/ICH6R) LPC Interface Bridge (rev 03)
00:1f.1 IDE interface: Intel Corporation 82801FB/FBM/FR/FW/FRW (ICH6 Family) IDE Controller (rev 03)
00:1f.2 IDE interface: Intel Corporation 82801FB/FW (ICH6/ICH6W) SATA Controller (rev 03)
00:1f.3 SMBus: Intel Corporation 82801FB/FBM/FR/FW/FRW (ICH6 Family) SMBus Controller (rev 03)
02:00.0 Ethernet controller: Broadcom Corporation NetXtreme BCM5751 Gigabit Ethernet PCI Express (rev 01)
04:02.0 Ethernet controller: VIA Technologies, Inc. VT6105/VT6106S [Rhine-III] (rev 85)

[Danielx]

@jack88
491 Zeilen sind dann doch etwas zu viel!
Beachte bitte Punkt 2.6 der Verhaltensregeln.

Gruß,
Daniel

[jack88]

@Daniel
Sorry wegen der vielen Zeilen.

Um einem evtl. Hardware-Defekt auf die Spur zu kommen habe ich vom gesamten System mit Acronis zuerst ein Image erstellt und anschließend die SATA Platte (1,5TB WD15EADS) ausgebaut.

Dann habe ich folgende Test gemacht:

1) Eine 40GB IDE Platte angeschlossen und Lenny neu installiert
Test gestartet, alles OK

2) Eine 80GB SATA eingebaut und Lenny neu installiert
Test gestartet, alles OK

3) Auf die 80GB SATA das "IO-Problem-Image" zurückgespielt
Test gestartet, ebenfalls alles OK!

4) Alte 1.5TB SATA wieder eingabaut
Test gestartet, wieder hoher IO

Offenbar hängt das iowait-Problem also nicht mit der Debian-Installation zusammen,
da eine exakte Kopie der Systempartition auf der kleineren 80GB SATA Platte keine Probleme gemacht hat.

Also muss es entweder der SATA-Controller sein, der sich irgendwie mit der 1.5TB Platte nicht 100%-tig verträgt oder die Platte selbst ist einfach defekt (das werde ich dann morgen noch testen).

[ThorstenS]

ein sehr interessanter thread - schön, dass du das Problem nun auf die Kombination Platte/SATA Kontroller eingrenzen konntest.

[whisper]

Na, prima. Bleibt wohl nur die Platte in ein externes Gehäuse und einen anderen Typ für den Server kaufen.
Oder?

[Mictlan]

schau mal ob es für die HDD eine neue Firmware gibt und wenn ja dann sichere die Platte, installiere die neue Firmware und hoffe dass es vorbei ist.
solche Fehler werden oft mit neuer Firmware behoben.

in welchem modus läuft dein SATA Controller? AHCI, IDE oder RAID?
ich hatte schon mal das Problem dass er im RAID Modus nicht so wollte wie er sollte (ebenfalls ICH6)

Grüße

[jack88]

Nachdem ich eine baugleiche WD15EADS 1.5TB eingebaut habe und den Server in den letzten Tagen noch mal ausgiebig getestet habe ist das Problem seitdem nicht mehr aufgetreten..

Offenbar war es doch irgendein Festplattenfehler.

Ein wenig merkwürdig ist das ganze allerdings schon, da es sich hierbei um zwei nagelneue identische Platten handelt (gerade mal ca. 2 Monate alt). Zumal außer dem iowait-Problem alles andere absolut einwandfrei funktioniert hat, also keinerlei unerklärliche Abstürze oder Ähnliches die auf einen Plattenfehler hindeuten würden.

Vielen Dank an alle die sich bei dem Thread beteiligt haben