Welche Infos lasst ihr euch von euren Backup-Prozessen geben?

[TRex]

Bei mir läuft (privat) an der NAS und auf dem VPS ein Backup mit Borg (mehrere Repos, nach Art/Zweck gruppierte Daten). Ich lass mir davon die Ausgabe zumailen (create mit stats, prune mit list, compact, df -h), finde das aber zunehmend ungelesen in meinem Papierkorb wieder, weil 90% der Infos nicht relevant sind.

Ich glaube, dass mir eine Änderungsanzeige reichen würde - vielleicht ein Balkendiagramm, um schnell zu erkennen, was hinzugefügt/(final) gelöscht wurde und die Gesamtauslastung des Backup-Repos... aber ich spinn da wieder nur rum und am Ende reagiere ich nur, wenn das Backup mangels Platz fehlschlägt...

Darum die Frage: wie macht ihr das, nur über Monitoring-Alerts, ausgefallene Statistiken oder pflückt ihr euer "Backup" jeden Abend in thunar mit copy+paste zusammen?

[debilian]

von Emails an mich bin ich eher abgekommen, weil ich die auch nicht lese...
manch Kundenserver schickt mir die schon noch aber ja, lesen müsste mensch die

eigentlich kontrolliere ich viele Server per Hand, also lass die backup-Skripte in Logfiles schreiben.
Ist aber eigentich unspektakulär - weitestgehend.

Will mir wazuh angucken, so ein Echtzeit Monitoring Ding.

[schorsch_76]

Das gleiche Problem habe ich auch. Viele automatische Emails werden nicht mehr gelesen....
Bin gespannt ob jemand etwas dazu sagen kann....

[heisenberg]

Wenn E-Mail, dann nur für Alarme, bei denen dann akuter Handlungsbedarf besteht.

Für Entwicklung der Speicherauslastung habe ich mein Monitoring (geschäftlich) oder auch nicht (privat). Im Monitoring landen die grundsätzlich die Metriken, die mich interessieren. Für's Backup habe ich da aber nichts zusätzlich konfiguriert. Die Auslastung der Dateisysteme und die Entwicklung des Speicherverbrauches reicht mir da. Bei mir sind da nur Warnmeldungen drin, wenn das Backup zu alt ist oder mit den DB-Exports irgend etwas nicht stimmt.

[TRex]

Was ich mir bei dem aktuellen Stand dachte: ich würde gerne mitbekommen, wenn a) meine Platten volllaufen (dafür kann man einen Alarm definieren) und b) sich im Backup mehr tut als erwartet. Also dass ich beispielsweise versehentlich meinen Projekte-Ordner getilgt hab (was dank des gestaffelten Backups frühestens in nem halben Jahr zum Problem werden könnte...) oder der Mirror der Arch-Pakete versehentlich in einem Verzeichnis landete, das ich sichere (warum dann in x Monaten meine Backup-Platte voll ist, korrelier ich damit vermutlich nicht mehr). Vermutlich taugen auch hier Grenzwerte wie 1GB.

[GregorS]

... finde das aber zunehmend ungelesen in meinem Papierkorb wieder, weil 90% der Infos nicht relevant sind.

Kannst Du Dir nicht einfach nur die relevanten Infos schicken lassen?

Da ich mich glücklicherweise nur um meinen privaten Rechnerzoo kümmern muss, der lediglich fünf Rechner umfasst (auf denen sich obendrein nur wenig ändert), habe ich mir ein Backup-Shellscript geschrieben, dessen Kern rsync ist. Und da mein Backup prinzipbedingt nie unbeaufsichtigt läuft, genügt es, dass rsync ggf. Meldungen ausgibt, die meine hübsche Bildschirmausgabe zerreißen.

[heisenberg]

Was ich mir bei dem aktuellen Stand dachte: ich würde gerne mitbekommen, wenn a) meine Platten volllaufen (dafür kann man einen Alarm definieren) und b) sich im Backup mehr tut als erwartet. Also dass ich beispielsweise versehentlich meinen Projekte-Ordner getilgt hab (was dank des gestaffelten Backups frühestens in nem halben Jahr zum Problem werden könnte...) oder der Mirror der Arch-Pakete versehentlich in einem Verzeichnis landete, das ich sichere (warum dann in x Monaten meine Backup-Platte voll ist, korrelier ich damit vermutlich nicht mehr). Vermutlich taugen auch hier Grenzwerte wie 1GB.

Also wie immer: Entweder eine Software nehmen, die das kann, oder selber scripten.

Hier mal ein Screenshot von Check-MK und dem Check "File Systems (Used Space and Growth)":

[TRex]

... finde das aber zunehmend ungelesen in meinem Papierkorb wieder, weil 90% der Infos nicht relevant sind.

Kannst Du Dir nicht einfach nur die relevanten Infos schicken lassen?

Scherzkeks Als ich das aufsetzte, hielt ich das für die relevanten Informationen. Bevor ich den Fehler nochmal mache, dachte ich, ich frage mal hier rum.

Also wie immer: Entweder eine Software nehmen, die das kann, oder selber scripten.

Hier mal ein Screenshot von Check-MK

Selber scripten, ziemlich sicher. Also vermutlich bleib ich bei der Mail als Kontaktweg, aber vielleicht klatsch ich die "interessanten" Daten irgendwo strukturiert hin... wollte das aber nicht machen, ohne vielleicht doch noch ne Meinung oder zwei zu bekommen, was "interessant" ist.

[Meillo]

Hast du ein Monitoring-System? Dann wuerde ich dafuer einen Check schreiben, also mit grafischer Darstellung. Da sieht man dann auf einen Blick, ob sich das Backup im Vergleich zu den vorigen Backups veraendert hat (z.B. ploetzlich mehr Datenmenge oder so).

Wenn du kein Monitoring-System hast, dann koenntest du dir mit rrdtool selber Grafiken erzeugen und diese per Email schicken. Das bringt fuer den einen Blick in die Email mehr als lange Logausgaben.

Letztlich willst du ja abweichende Muster erkennen koennen, das geht grafisch am besten.


(Das beantwortet zwar nicht deine Frage, wie ich es mache, aber diese Antwort ist sicherlich hilfreicher als die eigentliche Antwort. )

[heisenberg]

Die Backupdauer wäre ggf. noch interessant.

[TRex]

Hast du ein Monitoring-System?

Nope, ich erinnere mich mal irgendwann zu sehr frühen Zeiten cacti eingesetzt zu haben, aber das war völliger Overkill. sysstats war mal im Einsatz, aber auch da hab ich nach dem Abklingen der "oh, shiny"-Zeit kaum noch reingeschaut. Heut ists glaub nicht mal mehr im Repo (war aber nett, weil schlank, aber auch kaum mehr als "Monitoring").

Die Variante, rrdtool selbst zu verwenden, klingt interessant. Muss mich da nur mal einlesen. Gerade quäle ich GPT damit.

Die Backupdauer wäre ggf. noch interessant.

Absolut Konnte ich bisher daran festmachen, wann die Mail kam, aber gerade bei der NAS zeigt k9-mail nicht mal mehr die ganze Mail an (um die konkete Zeit für ein Repo anzusehen), weil zuviel Text

[Colttt]

+1 für monitoring und wenn etwas aus dem Ruder läuft ne Mail, oder besser noch an den Messenger deiner Wahl

[GregorS]

... finde das aber zunehmend ungelesen in meinem Papierkorb wieder, weil 90% der Infos nicht relevant sind.

Kannst Du Dir nicht einfach nur die relevanten Infos schicken lassen?

Scherzkeks

Ja ... sorry ... das war halt das Erste, das mir einfiel.
Aber Heisenberg bringt's auf den Punkt:

Also wie immer: Entweder eine Software nehmen, die das kann, oder selber scripten.

Mir ging es immer wieder so, dass ich das für mich Passende einfach nicht finden konnte – also habe ich mir meinen Krempel halt immer wieder selber programmiert. Würde ich mein Backup-Script aufhübschen wollen, würde ich das wohl mit Tcl/Tk oder GTKmm tun und damit lediglich die Dinge abfragen, die man rsync als Parameter mitgeben kann.
Und wenn man eh schon dabei ist, kann man sich die eigentlich interessanten Info selbst zusammenstellen und mailen.

[TRex]

Ja, es geht mir um diesen Teil:

die eigentlich interessanten Info

Wenn man nämlich auf der grünen Wiese unterwegs ist, merkt man nicht, was man so an Ballast einsammelt (oder währenddessen vergisst). Aber ich glaube, ich hab mich schon eingependelt:

- Backupdauer
- Größe des Backup (roh, komprimiert) und Relation zum Plattenplatz (Alert: Platte näher sich den 90%)
- Anzahl der Dateien im Backup, Delta durch aktuelles Inkrement/Prune (Alert: Delta +/- > X)

Muss mich gerade abends zwischen Baldurs Gate und Backup entscheiden... hab damit begonnen, das Shellscript gegen Python zu ersetzen, um den borg-output besser zu parsen. Wär natürlich schön, wenn das alles aus borg info --last 1 rausfallen würde, tuts aber nicht.