Swap size

[mgzh]

Hallo

Ganz allgemeine Frage, wie gross soll ich meine SWAP Size vernünftigerweise wählen heutzutage, wenn das System über 64GB physical RAM verfügt. Früher galt die Faustregel dass die SWAP size mindestens 2x RAM size gewählt werden sollte.

Ich betreibe seit Januar dieses Jahres einen Blockchain Validator und habe diesen mit den Debian Standardmenu aufgesetzt. Ich bin mir nicht mehr sicher, ob die SWAP Size automatisch auf 1GB gesetzt wurde und habe dies damals auch nicht hinterfragt, aber dies scheint deutlich zu klein zu sein.

Jetzt im November wurde das ganze System unerreichbar und konnte auch nicht mehr via SSH connected werden.

Gruss
Marculix

[KP97]

Bei 64GB Ram brauchst Du überhaupt kein Swap, es sei denn, Du willst Hibernate benutzen.

[mgzh]

Das dachte ich mir auch aber ChatGPT sagt "Ensure the swap size is at least equal to the system's RAM."

Aus der Analyze von ChatGPT:
---
System Unresponsiveness:
When the system was out of memory, it also likely exhausted its swap space, leading to a complete halt. As a result, even SSH access was unavailable.
---

[KP97]

@mgzh
Tja, wenn ChatGPT das sagt, dann haben echte Menschen keine Widerrede zu leisten ;-)

[rhHeini]

Ich sag mal so: bei einem Desktop mit 64G RAM könnte man problemlos ohne Swap auskommen. Aber: dieses lighthouse-Zeugs=Blockchain-Validator könnte durchaus ein RAM-Fresser sein.

Deswegen: ein Versuch mit Swap könnte nicht schaden. Ich würd da einfach mal 1,2 mal das RAM nehmen. Sollte bei den heutigen SSD-Grössen kein Problem darstellen.

Und mich mit der Parametrisierung von diesem lighthouse beschäftigen, speziell wie man da den RAM-Verbrauch begrenzt.

[mgzh]

Tja, wenn ChatGPT das sagt, dann haben echte Menschen keine Widerrede zu leisten

Schön gesagt lol

Aber: dieses lighthouse-Zeugs=Blockchain-Validator könnte durchaus ein RAM-Fresser sein.
Deswegen: ein Versuch mit Swap könnte nicht schaden. Ich würd da einfach mal 1,2 mal das RAM nehmen. Sollte bei den heutigen SSD-Grössen kein Problem darstellen.
Und mich mit der Parametrisierung von diesem lighthouse beschäftigen, speziell wie man da den RAM-Verbrauch begrenzt.

Danke für Eure Tipps!

[QT]

Einfach ohne SWAP partitionieren und wenn es später eng wird, kannst Du immer noch 1 SWAP Datei anlegen und einbinden. SWAP muss nicht zwingend 1 Partition sein....

Code: Alles auswählen

$ free -g
              gesamt       benutzt     frei      gemns.  Puffer/Cache verfügbar
Speicher:         31           8          18           0           5          22
Swap:              0           0           0

[cosinus]

Ganz allgemeine Frage, wie gross soll ich meine SWAP Size vernünftigerweise wählen heutzutage, wenn das System über 64GB physical RAM verfügt. Früher galt die Faustregel dass die SWAP size mindestens 2x RAM size gewählt werden sollte

Hast du zuwenig SSD space? Wie gesagt, wenn du hibernation willst, musst du mindestens soviel swap wie RAM einrichten. Und dann wäre auch da die nicht ganz irrelevante Frage warum du überhaupt so viel RAM drinhast.

[ernohl]

Einfach ohne SWAP partitionieren und wenn es später eng wird, kannst Du immer noch 1 SWAP Datei anlegen und einbinden. SWAP muss nicht zwingend 1 Partition sein....

Wenn man swap ausnahmsweise plötzlich doch gebraucht hätte, geht deine Empfehlung ins Leere.
Wenn nicht der HD-/SSD-Platz knapp auf Kante genäht ist, würde ich immer swap einrichten - und dann auch etwas mehr als RAM, damit ich mir die Hibernate-Möglichkeit jederzeit offen lasse.

[kreuzschnabel]

+1 zu QT. Mach ein Swapfile, das kannst du nach Bedarf ändern, ohne umpartitionieren zu müssen. Die Kollegen drüben bei uu.de haben erklärt, wie es geht.

Wenn das Swapfile in einer COW-Partition liegt, kannst du das COW mit

Code: Alles auswählen

chattr +C <pfad-zum-swapfile>

abschalten, um die Schreiblast niedrig zu halten.

--ks

[kreuzschnabel]

Wenn man swap ausnahmsweise plötzlich doch gebraucht hätte, geht deine Empfehlung ins Leere.

Haste grad mal ein Beispielszenario, in dem bei 64 GB RAM „plötzllich“ Swap gebraucht wird?

Ich hab nichts gegen Swap, ich hab auch immer etwas Swap laufen (derzeit ein Swapfile von 4 GB bei 32 GB RAM). Es wird auch zu einstellig Prozent vom Kernel genutzt, auch wenn das RAM noch längst nicht voll ist; Swap ist ja nicht nur als „Überlauf“ da. Aber auch ganz ohne Swap wird man mit 64 GB eher selten an Grenzen stoßen.

--ks

[mgzh]

Ich betreibe seit Januar dieses Jahres einen Blockchain Validator...
Jetzt im November wurde das ganze System unerreichbar und konnte auch nicht mehr via SSH connected werden.

Nach einigen Stunden Postmortem Eingrenzung (journal, logs, specs) habe ich folgendes entdeckt: Meine unangekündigten reboots sind nicht auf unzureichenden SWAP zurückzuführen, sondern auf meine amateuerhafte Hardware Erweiterung. Ich habe in der Vorwoche eine zweite SSD verbaut die nicht vom Board unterstützt wird.

Gem Lenovo Board Spec: Storage Support - M.2 SSD up to 2TB each
Zweite neue SSD verbaut: M.2 NVMe SSD 4TB

Danke für Eure angeregten SWAP Diskussionen und Tips, wieder einiges dazugelernt!

Gruss
Marculix

[mgzh]

Wenn das Swapfile in einer COW-Partition liegt, kannst du das COW mit

Code: Alles auswählen

chattr +C <pfad-zum-swapfile>

abschalten, um die Schreiblast niedrig zu halten.

Der Tip ist Gold Wert, vielen Dank. Die Validator Datenbank liegt auf einem ZFS Dataset in einem striped Pool. Wie andere Schreiber bereits erwähnt haben, wird mein Swap mit 64GB RAM kaum oder selten ausgenutzt sein, aber diesen zur Verfügung zu haben ist sicherlich sinnvoll. Die RAM Auslastung liegt bei ca. 60-70% in täglich Betrieb und der Validator interagiert im Durchschnitt sehr intensiv und non-stop mit 150 distributed peers dessen Daten blitzschnell vearbeitet sein sollen.

Da Blockchain Validators extrem I/O intensiv sind und das weitaus wichtigste Faktor höchste Latenz ist (Idealerweise SLC SSD's, bereits QLC SSD's führen zu Validierungsfehlern bzw. zu tieferen Rewards), werde ich meine Swap Partition deaktivieren und für alle Fälle ein Swapfile einbinden und entsprechend kofigurieren.

[chrbr]

Der Tip ist Gold Wert, vielen Dank. Die Validator Datenbank liegt auf einem ZFS Dataset in einem striped Pool. Wie andere Schreiber bereits erwähnt haben, wird mein Swap mit 64GB RAM kaum oder selten ausgenutzt sein, aber diesen zur Verfügung zu haben ist sicherlich sinnvoll.

...werde ich meine Swap Partition deaktivieren und für alle Fälle ein Swapfile einbinden und entsprechend kofigurieren.

Das Swapfile sollte auf keinem Fall in einem ZFS-Dataset liegen. Falls ZFS wegen Speichermangels unter Druck kommen sollte, dann würde ein Swapfile auf ZFS die Situation aufschaukeln lassen.