[gelöst] Swap, IO-Scheduler, unbenutzbarer Desktop, ...

[smutbert]

Hallo liebe Leute,

keine Ahnung ob das Thema in den Kernelfragen gut aufgehoben ist, aber ich startet es einmal hier:

Bei der Bildbearbeitung wird mein System in letzter Zeit immer öfter so stark ausgelastet, dass es nahezu unbedienbar wird, z. B. beim Stitchen von Panoramen mit hugin. Dabei stören mich gleich ein paar Dinge

1. Es wird ziemlich viel swap verwendet, obwohl eigentlich meistens (zumindest fast) genug RAM vorhanden ist. Bei 32 GB Hauptspeicher waren zuletzt zusätzlich 7 GB Swap belegt obwohl laut »free -h« auch deutlich weniger als 1 GB Swap genügen hätte müssen..
   Ich nehme an das kann ich mit der swappiness beeinflussen, aber ich frage mich doch ob die default-Werte nicht vielleicht doch irgendeinen Sinn haben - ich mach jedenfalls nicht oft genug solche Sachen um das systematisch Beobachten zu können.
2. Die grafische Oberfläche reagiert, sogar schon bevor der Auslagerungsspeicher angezapft wird gelegentlich minutenlang gar nicht mehr - gelegentlich friert sogar schon der Mauszeiger ein. Wenn dann tatsächlich nennenswerte Mengen Auslagerungsspeicher verwendet werden ist es mit der Reaktion sowieso meistens fast komplett vorbei bis hugin fertig ist, aber solange sich noch alles im Hauptspeicher abspielt, sehe ich nur doch nur zwei mögliche Ursachen (?)
   1. Den IO-Scheduler - hier habe ich bereits Verbesserungen erzielt, indem ich statt dem Default (CFQ?) deadline verwendet habe.
   2. Das CPU-Scheduling von dem ich schon gleich überhaupt keine Ahnung habe.

Wenn der Beitrag zu lang zum Lesen ist, hier die Kurzfassung meiner Fragen:


Gibt es Empfehlungen für die swappiness - ich hab zwar etwas recherchiert, aber wissen tue ich bis jetzt nur, dass ich mit dem Verhalten bei dem Default von 60 nicht zufrieden bin?
(Wie) kann ich am IO- und CPU-Scheduling so drehen, dass das ganze System unter Last etwas benutzbarer bleibt, außer der Verwendung des deadline-IO-Schedulers?

lg smutbert

[MSfree]

Gibt es Empfehlungen für die swappiness

Die Frage gehört doch in diesen Thread!
viewtopic.php?f=15&t=166971

Ich sage ja schon lange, daß swappiness auf 0 gestellt werden sollte, was bewirkt, daß nicht ein Byte Swap belegt wird, solange noch irgendein letztes Byte RAM freigekratzt werden kann.

[smutbert]

Oh je, so schlimm, dass es schon Blasphemie ist?

Aber nachdem was ich gelesen habe [1] kommt 0 einer Deaktivierung von swap gleich und das will ich auf keinen Fall, dazu habe ich (ohne swap-Partition) schon zu oft Bekanntschaft mit dem out-of-memory-killer gemacht. In einem anderen Forum habe ich dagegen gelesen, dass bereits bei 50 und weniger nur mehr ausgelagert wird, wenn es nicht mehr anders geht und es nur mehr darum geht wieviel Aufwand der Kernel treibt die letzten paar Byte freizukratzen.
Also wenn ich nichts komplett falsches gelesen habe, dann will ich, dass meine swappiness mindestens 1 aber höchstens 50 ist, aber ich habe nicht den Eindruck besonders belastbare Quellen gefunden zu haben.

[1] https://en.wikipedia.org/wiki/Swappiness

[MSfree]

Aber nachdem was ich gelesen habe [1] kommt 0 einer Deaktivierung von swap gleich

Ich fahre alle meine Systeme mit 0 und nein, es wird schon geswapt, wenn es nötig ist. Allerdings wirklich erst als allerletzte Notlösung. Meiner Erfahrung nach ist es einfach Unsinn, RAM für Caches und Buffers zu "verschwenden", wenn Anwendungen RAM brauchen. Solange genug RAM frei ist, wird selbstverständlich weiterhin gecached und gepuffert.

Aber, es steht dir natürlich frei, es selbst auszuprobieren. Wenn du mit 0 in "out of memories" läufst, kannst du den Wert ja einfach etwas hochsetzen, sogar mitten im Betrieb.

[wanne]

• Linux holt eine mal geswappte Inhalte erst wieder in den RAM wenn sie benutzt werden. Wenn du sie das erste mal wieder benötigst. Wird ein mal SWAP verwendet, bekommst du das defakto nie wieder leer, weil massenhaft Programme massenhaft Zeug laden, dass sie dann nie wieder verwenden. Das liegt dann auf Ewigkeiten im SWAP. Stört dann aber auch nicht.
• swapiness wiegt vor allem ab zwischen Dateien cachen vs. nicht swappen.
  Sprich bei hoher swappiness schmeißt er die ersten Programme in den swap damit er viele Bilder, die du gerade bearbeitest in den RAM ziehen kann, damit die schnell bearbeitet werden können.
  Wenn du dann wieder auf die grafische Oberfläche gehst, kann das bei extrem großer swappiness kurz schmerzhaft werden. Auf der anderen Seite, ist der Effekt, dass das Bearbeiten zuungunsten einiger sehr selten genutzten Hintergrund-Programme schneller läuft durchaus gewollt. bei deinen 32GiB kannst du da auch einigermaßen großzügig sein. 60 halte ich allerdings für deutlich zu groß. Du willst IMHO eher so auf 3. Am Ende geht da aber probieren über studieren.
• Wenn dein System auch sonst so zu den 32GB passt (SSD, moderner Prozessor…) sollte dir die grafische Oberfläche bei default werten nicht einfrieren. Würde da mal gucken ob in der zeit wirklich die IO an den Anschlag geht oder ob du nicht viel eher irgend ein Problem mit der Grafik oder ähnlichem hast
• Am IO-Scheduler rumspielen kann sehr hilfreich sein. Aber nicht am Algorithmus an sich. Ich würde dir empfehlen das Bildbearbeitungsprogramm mal mit niedrigerer IO-Priorität zu starten.
• Zu Letzt: SWAP auf einer rotierenden HDD ist einfach nur grauenhaft, da die Zugriffe im SWAP relativ random sind. Da sind SSDs da um den Faktor ~1000 schneller. (Während sie es für lange Dateien nur um den Faktor 10 sind.)

[smutbert]

Danke

Es sind nur SSDs im System und es ist eine Quadcore CPU mit Hyperthreading - soweit kann ich mich über die Performance nicht beklagen. Problem mit der Grafik habe ich keines, eher mit der Gnome-shell, die sich manchmal merkwürdig verhält, aber ich glaube das hängt mit der IO-Last zusammen. So blöd wie sich das System dann anfühlt werde ich das nächste Mal per ssh zugreifen und mir das per iotop oder so ansehen.

Darf ich euren Antworten auch entnehmen, dass ich den CPU-Scheduler am besten in Ruhe lasse (oder höchstens mit nice die Priorität von aufwändigen Sachen ein bisschen reduziere)?

[MSfree]

Darf ich euren Antworten auch entnehmen, dass ich den CPU-Scheduler am besten in Ruhe lasse (oder höchstens mit nice die Priorität von aufwändigen Sachen ein bisschen reduziere)?

Weder ionice noch nice werden dir weiterhelfen, wenn die Kiste im Swap abtaucht. Das durch Swap verursachte IO läuft mit Kernelpriorität und swappende Prozesse lasten die CPU nicht aus, so daß nice keinen Einfluß auf die Prozeßpriorität mehr haben kann.

Mein Fazit lautet da nur immer wieder, Swap ist mit aller Gewalt zu vermeiden.

[smutbert]

Ok, ok - Swappiness 10 fühlt sich schon vieeel besser an. Es wird zwar noch recht früh ausgelagert, aber völlig ohne Performanceeinbrüche.
Jetzt bin ich noch weiter runter auf 1.

Trotzdem ist der Desktop gelegentlich auch schon vor der Benutzung von swap sehr sehr zäh geworden, weswegen ich auch das Scheduling in Verdacht hatte. Das hat sich mit deadline statt cfq und zwei Threads weniger weniger aber auch deutlich gebessert.

Das Problem ist damit soweit geschrumpft, dass es keines mehr ist.