[gelöst] Selektives backup mit tar.xz

[wurst10]

Hallo zusammen,

ich nutze wöchentlich "kbackup" für backups von wichtigen Inhalten in "/home".
Das tool erlaubt die Auswahl+Abwahl einzelner Ordner+Dateien, komprimiert und benennt die Ergebnisdatei mit Datum und Uhrzeit. Leider wird nur eine unkomprimierte *.tar Datei erstellt (ca. 200MB). Diese entpacke ich dann und komprimiere sie mit tar.xz auf 100MB und benenne sie mit Datum und Uhrzeit.

1.
Wie könnte ich das ganze ohne "kbackup" in der bash erreichen, also direkt in tar.xz speichern?
Muss nicht wöchentlich (cronjob) sein, es reicht mir wenn ich den Aufruf in der bash bei Bedarf machen kann. Das Problem das ich habe ist die Selektion der Ordner und Dateien, denn es sollen bestimmte Unterordner und Dateien vom backup ausgeschlossen werden. Eine Liste der ein- und auszuschließenden Ordner+Dateien habe ich erstellt, aber wie bringe ich es fertig diese Auswahl an tar.xz zu übergeben?

2.
Ein weiteres Problem ist, das ich vor dem Backup immer "Alles" in der Chronik von Firefox löschen muss, sonst wird die Backupdatei zu groß.
Die Chronik brauche ich nicht, nur die gespeicherten Passwörter, Bookmarks und die Einstellungen sind mir wichtig.
Der Ordner /home/USER/.mozilla/firefox/***.default/ ist mir bekannt, aber wo finde ich die Chronik, alles andere in diesem Ordner soll in das Backup eingeschlossen werden.
Gibt es eine Möglichkeit das in der bash zu erreichen?

Danke für hilfreiche Hinweise.

[schwedenmann]

Hallo


https://demjansein.wordpress.com/2016/1 ... chliessen/

anscheienend mußt du den befehl für jeden Unterordner eingeben, eine excludeliste funktioniert afaik bei tar nicht.

mfg
schwedenmann

[DeletedUserReAsG]

Eine Liste der ein- und auszuschließenden Ordner+Dateien habe ich erstellt, aber wie bringe ich es fertig diese Auswahl an tar.xz zu übergeben?

Code: Alles auswählen

      -X, --exclude-from=DATEI                                            
             schließt Dateien aus, die auf irgendein Muster in DATEI  pas‐
             sen.

Geht auch andersrum:

Code: Alles auswählen

      -T, --files-from=DATEI                                               
             Ermittelt  die  auszulesenden  oder zu erstellenden Namen aus 
             DATEI.                                                        
                                                                           
             Falls nicht anders angegeben, muss DATEI eine durch ASCII  LF 
             getrennte  Liste  von  Namen  enthalten  (d.h.  ein  Name pro 
             Zeile). Die gelesenen Namen werden genauso wie Befehlszeilen‐ 
             argumente behandelt. Bei ihnen werden Maskierungszeichen ent‐ 
             fernt und Wörter getrennt und jede Zeichenkette, die mit  ei‐ 
             nem  -  beginnt,  wird als Befehlszeilenoption für tar behan‐ 
             delt. 

(das setzt natürlich voraus, dass dein ominöses ›tar.xz‹ sowas wie ein Alias ist, das die Optionen direkt an tar durchreicht, und nicht etwa ein Script oder eine Shellfunktion, die nur die Argumente übergeben)

[wurst10]

Hallo


https://demjansein.wordpress.com/2016/1 ... chliessen/

anscheienend mußt du den befehl für jeden Unterordner eingeben, eine excludeliste funktioniert afaik bei tar nicht.

mfg
schwedenmann

Danke, für jeden auszuschließenden Ordner (--exclude=) zu setzen und diese durch Leerzeichen zu trennen hat funktioniert.

Das Beispiel:

Code: Alles auswählen

tar cvfz backup.tar.xz Verzeichnis --exclude=Verzeichnis/Unterverzeichnis/*

funktioniert nicht, aber

Code: Alles auswählen

tar cvfz backup.tar.xz --exclude=/Pfad/Ordner1 --exclude=/Pfad/Ordner2 --exclude=/Pfad/Ordner3 /home/USER/Dokumente/ 

funktioniert.

Code: Alles auswählen

      -X, --exclude-from=DATEI                                            
             schließt Dateien aus, die auf irgendein Muster in DATEI  pas‐
             sen.

Geht auch andersrum:

Code: Alles auswählen

      -T, --files-from=DATEI                                               
             Ermittelt  die  auszulesenden  oder zu erstellenden Namen aus 
             DATEI.                                                        
                                                                           
             Falls nicht anders angegeben, muss DATEI eine durch ASCII  LF 
             getrennte  Liste  von  Namen  enthalten  (d.h.  ein  Name pro 
             Zeile). Die gelesenen Namen werden genauso wie Befehlszeilen‐ 
             argumente behandelt. Bei ihnen werden Maskierungszeichen ent‐ 
             fernt und Wörter getrennt und jede Zeichenkette, die mit  ei‐ 
             nem  -  beginnt,  wird als Befehlszeilenoption für tar behan‐ 
             delt. 

(das setzt natürlich voraus, dass dein ominöses ›tar.xz‹ sowas wie ein Alias ist, das die Optionen direkt an tar durchreicht, und nicht etwa ein Script oder eine Shellfunktion, die nur die Argumente übergeben)

Das verstehe ich nicht.

[DeletedUserReAsG]

Das verstehe ich nicht.

Welches der Wörter ist unbekannt? Möchtest du vielleicht genauer beschreiben, was du nicht verstehst?

[wurst10]

Das verstehe ich nicht.

Welches der Wörter ist unbekannt? Möchtest du vielleicht genauer beschreiben, was du nicht verstehst?

Bedeutet das, ich erstelle eine Datei namens "DATEI" und gebe dort pro Zeile den Dateipfad der einzuschließenden Datei an?
Funktioniert das auch mit Ordnern?

[DeletedUserReAsG]

Du könntest es einfach ausprobieren

… wobei die Idee, man müsse eine Datei namens „DATEI“ erstellen, schon ein wenig trollig anmutet. Man könnte ja glauben, du hättest noch nie ’ne Manpage gelesen?

[wurst10]

Danke, mit Eurer Hilfe funktioniert es jetzt.
Mit diesem Skript (und den Listen einzuschließender+auszuschließender Ordner+Dateien) kann man ein selektives Backup machen.

Code: Alles auswählen

#!/bin/bash
DATE=$(date +%d.%m.%Y@%H-%M-%S-Uhr)
BACKUP_DIR="/home/htpc/backup"
tar cvfz $BACKUP_DIR/Backup.$DATE.tar.xz -X /home/htpc/infos/backup_tar.xz_bash/backup_exc -T /home/htpc/infos/backup_tar.xz_bash/backup_inc

[MaGe]

[...] Leider wird nur eine unkomprimierte *.tar Datei erstellt [...]

tar Archive parallel packen und komprimieren
Ist pigz installiert, lassen sich Dateien mit tar recht einfach packen und komprimieren.
https://www.masterdevops.eu/2020/05/23/ ... primieren/



gruss MaGe

[DeletedUserReAsG]

Du hast im Eingangsbeitrag gelesen, dass das eben daraus Zitierte sich auf kbackup bezog?

[wurst10]

Ich will mit zu radikalem Löschen nicht die gespeicherten Einstellungen, Zugangsdaten und Bookmarks eliminieren.
Deshalb suche ich den Ort wo die Chronik gespeichert wird.

Im Ordner

Code: Alles auswählen

/home/USER/.mozilla/firefox/***.default/storage/default/

befinden sich Ordner und Dateien die gelöscht werden können.
Wenn ich "neueste chronik löschen" --> "alles" auswähle, wird dieser Ordner bis auf 2 Unterordner gelöscht, die Einstellungen, Zugangsdaten und Bookmarks bleiben erhalten.
Aber wirklich kleiner wird der Ordner

Code: Alles auswählen

/home/USER/.mozilla/firefox/***.default/storage/default/

dadurch nicht.

Es gibt 2 Dateien die deutlich größer und vielleicht relevant sind.

Code: Alles auswählen

/home/htpc/.mozilla/firefox/***.default/storage/ls-archive.sqlite

hat ein älteres Datum

Code: Alles auswählen

/home/htpc/.mozilla/firefox/***.default/storage/permanent/chrome/idb/3870112724rsegmnoittet-es.sqlite

hat das aktuelle Datum.

[wlf]

Womöglich ist es besser den internen Cache des Webbrowsers abzuschalten oder zu verringern. So bleibt die Chronik und alles andere was wichtig ist erhalten.

Übrigens, Tar ist gut zum erstellen von Archiven, als dauerhaftes Backup-Programm gibt es mittlerweile noch bessere Lösungen. Gute Erfahrungen mache ich mit StoreBackup, das auch in Debian enthalten ist. Dabei haben Backup-Programme bereits den Vorteil, dass alte Backups nach Ablauf einer bestimmten Zeit oder Überschreitung einer vorzugebenden Anzahl durch das Backup-Programm automatisch entfernt werden. Ebenso werden differentielle Backups erstellt, was erheblich Speicherplatz spart. Mit StoreBackup werden zudem harte Links auf unveränderte Dateien in vorausgegangenen Backups erstellt, was das jeweils letzte zu einem aus Anwendersicht vollumfänglichen Backup macht. Und weil die Verzeichnissstrukturen abgebildet werden, können sich Anwender ihre Daten mit Bordmitteln (ls, find, cp usw.) direkt daraus zurückholen. Ende der Werbung

[wurst10]

Womöglich ist es besser den internen Cache des Webbrowsers abzuschalten oder zu verringern. So bleibt die Chronik und alles andere was wichtig ist erhalten.

Übrigens, Tar ist gut zum erstellen von Archiven, als dauerhaftes Backup-Programm gibt es mittlerweile noch bessere Lösungen. Gute Erfahrungen mache ich mit StoreBackup, das auch in Debian enthalten ist. Dabei haben Backup-Programme bereits den Vorteil, dass alte Backups nach Ablauf einer bestimmten Zeit oder Überschreitung einer vorzugebenden Anzahl durch das Backup-Programm automatisch entfernt werden. Ebenso werden differentielle Backups erstellt, was erheblich Speicherplatz spart. Mit StoreBackup werden zudem harte Links auf unveränderte Dateien in vorausgegangenen Backups erstellt, was das jeweils letzte zu einem aus Anwendersicht vollumfänglichen Backup macht. Und weil die Verzeichnissstrukturen abgebildet werden, können sich Anwender ihre Daten mit Bordmitteln (ls, find, cp usw.) direkt daraus zurückholen. Ende der Werbung

Danke für die Tipps, mit dem Abschalten des Browsercache habe ich beim Onlinebanking leider nicht so gute Erfahrungen gemacht, das liegt wahrscheinlich an der Webseite meiner Bank.
Die Chronik ist unwichtig, deshalb will ich sie ja vor dem Backup löschen. Das im Eingangspost erwähnte "kbackup" ist so ein von dir beschriebenes vollumfängliches Programm. Es gibt zahlreiche andere Lösungen, aber ich benötige so einen großen Funktionsumfang für meine wenigen relevanten Daten nicht. Es geht nur um insgesamt 110MB (komprimiert), da sind nur Textdateien und die Firefox Zugangsdaten usw. enthalten.

Ich bin voll zufrieden mit der tar.xz Lösung:

Code: Alles auswählen

tar cvfz $BACKUP_DIR/Backup.$DATE.tar.xz -X /home/htpc/infos/backup_tar.xz_bash/backup_exc -T /home/htpc/infos/backup_tar.xz_bash/backup_inc

Danke @niemand, die tar Optionen "-X" und "-T" sind genau das was ich gebraucht habe

Jetzt versuche ich noch die Firefox-Chronik vor dem Backup zu löschen (bzw. zu reduzieren), wenn ich die salienten Ordner und Dateien dazu identifiziert habe. Was gar nicht so einfach ist, denn der Ordner:

Code: Alles auswählen

/home/USER/.mozilla/firefox/***.default/storage/default/

scheint nicht der Ort zu sein wo Firefox die gesamte Chronik speichert.

[humanreadable]

Code: Alles auswählen

/home/USER/.mozilla/firefox/***.default/storage/default/

scheint nicht der Ort zu sein wo Firefox die gesamte Chronik speichert.

Firefox speichert die Chronik in

Code: Alles auswählen

/home/<username>/.mozilla/firefox/xxxxxxxx.default/places.sqlite

https://support.mozilla.org/de/kb/benut ... chen-daten

Lesezeichen, Downloads und Chronik:

places.sqlite
Die Datei enthält alle Ihre Firefox-Lesezeichen und Listen der von Ihnen heruntergeladenen Dateien sowie der bisher von Ihnen besuchten Webseiten.
bookmarkbackups
Der Ordner enthält Lesezeichen-Sicherungen, die für eine Lesezeichen-Wiederherstellung benötigt werden.
favicons.sqlite
Die Datei enthält alle Favicons für Ihre Firefox-Lesezeichen.

https://kb.mozillazine.org/Places.sqlite

[wurst10]

Code: Alles auswählen

/home/USER/.mozilla/firefox/***.default/storage/default/

scheint nicht der Ort zu sein wo Firefox die gesamte Chronik speichert.

Firefox speichert die Chronik in

Code: Alles auswählen

/home/<username>/.mozilla/firefox/xxxxxxxx.default/places.sqlite

https://support.mozilla.org/de/kb/benut ... chen-daten

Lesezeichen, Downloads und Chronik:

places.sqlite
Die Datei enthält alle Ihre Firefox-Lesezeichen und Listen der von Ihnen heruntergeladenen Dateien sowie der bisher von Ihnen besuchten Webseiten.
bookmarkbackups
Der Ordner enthält Lesezeichen-Sicherungen, die für eine Lesezeichen-Wiederherstellung benötigt werden.
favicons.sqlite
Die Datei enthält alle Favicons für Ihre Firefox-Lesezeichen.

https://kb.mozillazine.org/Places.sqlite

Das behauptet Mozilla jedenfalls, tatsächlich ändert sich die Dateigröße (bei mir 5MB) von

Code: Alles auswählen

/home/<username>/.mozilla/firefox/xxxxxxxx.default/places.sqlite

nicht mit zunehmenden Browserverlauf...? Der belegte Speicherplatz für den Ordner

Code: Alles auswählen

/home/USER/.mozilla/firefox/***.default/storage/default/

hingegen schon.


EDIT:
Ich lasse es jetzt so, die gefundene Lösung ist schön einfach und fast genau das was ich gesucht habe.
Jetzt muss ich das Backup-Skript noch modifizieren, die Backupdatei soll im Ordner "backup" einer bestimmten Partition erstellt werden.
Dazu erstelle ich ein neues Thema in "Softwareentwicklung und -paketierung, Scripting". Hier gehts weiter: viewtopic.php?p=1291887#p1291887

Vielen Dank für Eure Lösungsbeiträge