[gelöst] Zusätzlicher Backup-Server für das NAS

[hobbyadmin]

Keine Ahnung.
Wie soll ich das testen?

Meine neuste Idee:
Ich erstelle einen Eintrag in crontab (das gibt es).
Dort möchte ich einen cronjob erstellen, der nur einmal jährlich ausgeführt wird.
Das wird hoffentlich funktionieren.
Der cronjob soll einmal jährlich, am 23.06., um 20:00 Uhr ausgeführt werden.
Meine Eintrag dafür sieht so aus:

Code: Alles auswählen

0 20 23 6 * /share/homes/admin/rsync_arbeit.sh

In einigen Wochen, wenn rsync mit dem ersten Durchlauf fertig ist, werde ich den cronjob dann auf täglich ändern.
Schaut bitte wieder die Syntax an. Ist das so in Ordnung?

[JTH]

Keine Ahnung.
Wie soll ich das testen?

Das ist ein Kommando. Also probierst du,

Code: Alles auswählen

~$ screen

auszuführen

In einer screen-Session kannst du etwas ausführen, dich davon detachen, SSH-Verbindung trennen und später wieder zu der screen-Session attachen. Wäre eine Lösung für das, was du vorhattest. (Und screen kann vieles mehr.)

[heisenberg]

Siehe z. B. hier:

https://wiki.ubuntuusers.de/Screen/

[MSfree]

Das ist ein Kommando. Also probierst du,

Code: Alles auswählen

~$ screen

auszuführen

Ich fürchte, wenn es schon kein nohup auf dem QNAP gibt, werden tmux und screen genauso fehlen.

Aber ein jährlich, also quasi einmalig laufender cron-Job geht natürlich auch.

[hobbyadmin]

Richtig vermutet, screen gibt es auch nicht.
Was ist das für ein komisches Linux...

Ich habe jetzt den cronjob eingerichtet. Mal abwarten, ob das funktioniert.
Vielleicht melde ich mich in ein paar Wochen wieder.
Oder ich werfe das Ding zum Fenster raus : )

[MSfree]

Was ist das für ein komisches Linux...

Ein ziemlich minimalistisches. Das QNAP soll ja im normalen Betrieb nicht viel mehr als Dateien über SMB und NFS zur Verfügung stellen, und dazu braucht es halt nur wenig Software. Das ist bei der Konkurrenz Synology auch ähnlich, wobei die zumindest nohup kennt.

Ich habe jetzt den cronjob eingerichtet. Mal abwarten, ob das funktioniert.

Wenn dein Skript keine Fehler hat, wird das schon klappen.

[hobbyadmin]

Ich habe das Skript in crontab eingetragen.
Ich hoffe, dass es funktioniert aber ich weiß es ja nicht.
Wie kann ich denn überprüfen, ob rsync fehlerfrei läuft?

[MSfree]

Wie kann ich denn überprüfen, ob rsync fehlerfrei läuft?

Wenn es mal läuft, ist das nicht so einfach. Du bekommst zwar raus, ob rsync läuft, aber nicht, was es gerade tut.

Ich habe in meinem Skript rsync mit -v als Parameter gestartet und leite die Ausgabe in eine Logdatei um.

Code: Alles auswählen

rsync -v [...] > LogDatei

Damit kann ich während des Laufs schon die Logdatei mit

Code: Alles auswählen

tail -f LogDatei

verfolgen.

[hobbyadmin]

OK, ich habe es kontrolliert, es funktioniert nicht.
Und es liegt irgendwie am NAS. Jetzt habe ich keine Lust mehr.

Letzte Frage:
Wie kann ich einen einzelnen Eintrag aus crontab löschen?

[hobbyadmin]

Asche auf mein Haupt.
Es lag diesmal an mir.
Das Zielverzeichnis hatte die falschen Rechte.
Ich versuche es nochmal!

[MSfree]

Asche auf mein Haupt.
Es lag diesmal an mir.

Dann pack auch gleich noch die Ausgabeumleitung in eine Logdatei mit ins Skript.

Ich versuche es nochmal!

Ja, nur nicht aufgeben.

[hobbyadmin]

Das ist eine super Idee. Bin ich natürlich nicht selbst drauf gekommen...

Wie und wo muss ich das in meinen Befehl einfügen?
Ich möchte jetzt keinen Fehler mehr machen.

Code: Alles auswählen

rsync -avzSAXHP -e "ssh -p PORT" --stats --log-file=/share/homes/admin/rsync_arbeit_$(date "+%F-%H_%M_%S").log /share/Public/ arbeit@ip.adresse:/mnt/arbeit/

[MSfree]

Wie und wo muss ich das in meinen Befehl einfügen?

--log-file ist schon der richtige Ansatz.

Ich möchte jetzt keinen Fehler mehr machen.

Du kannst dein Skript doch erstmal auf der Kommandozeile starten und nach ein paar Mintuen abbrechen, nachdem die ersten paar Dateien übertragen wurden.

Wenn du kurz darauf dein Skript neu startest, macht es an der Stelle weiter, wo es vorher abgebrochen wurde, das ist doch der Vorteil von rsync. Das erlaubt dir, auch mal einen Fehler zu machen und ggfls. das bisher kopierte zu löschen und es nochmal zu probieren.

Wenn dann alles zu deiner Zufriedenhait läuft, baust du das Skript in die crontab ein und läßßt es endgültig laufen.

[hobbyadmin]

Hurra, es funktioniert!
Seit gestern Abend läuft das Backup und bisher scheinbar ohne Probleme. Bei Netzwerkunterbrechung durch den DSL-Anbieter (nachts um 3 Uhr) wartet rsync 180 Sekunden und startet dann wieder neu.
Und das Backup läuft offensichtlich in sehr hoher Geschwindigkeit. Wenn das so weiter geht, ist es in ca. 6 Tagen fertig. Das wäre echt phenomenal!
Kein Vergleich zu der komischen Backup-App von QNAP.

Vielen Dank für Eure Hilfe!
Ich melde mich nochmal, wenn das Backup durch ist.

[hobbyadmin]

Ich brauche nochmal Hilfe. Es funktioniert leider nicht so wie gedacht.

Mein Backup-Script startet und kopiert auch fleißig Daten auf den Zielrechner.
Nach 24 Stunden erfolgt jedoch immer eine Zwangsunterbrechung durch den DSL-Anbieter.
Danach scheint rsync aus dem Tritt zu kommen, ich habe auch eine Idee was da passiert:

1.
Vom Server erfolgt täglich um 19 Uhr ein Backup auf das QNAP-NAS im lokalen Netzwerk.
Das soll auch so gemacht werden.

2.
rsync beginnt um 21 Uhr mit der Syncronitation der Daten vom QNAP-NAS auf den entfernten Rechner,
wird aber aufgrund der Datenmenge in 24 Stunden damit nicht fertig.

3.
Der Server macht nach 24 Stunden ein neues Backup auf das QNAP-NAS.
Wie gesagt, das soll er auch so machen.

4.
Der DSL-Anbieter unterbricht nach 24 Stunden die DSL-Verbindung. Rsync bricht ab, wartet 180 Sekunden und startet dann wieder.
ABER, mittlerweile gibt es ja wieder neue Daten auf dem QNAP-NAS. Der Server hat ja mittlerweile ein neues Backup rüber geschoben.

5.
Also beginnt rsync wieder von vorne, liest die File-Listen neu ein, usw.


D.h. rsync kommt nicht vom Fleck. Selbst wenn im Zielverzeichnis 400 oder 500 GB angekommen sind, ist rsync einen Tag später wieder bei 140 oder 180 GB.
Wie ihr sehen könnt, habe ich mir schon eine Erklärung zurecht gebastelt aber was kann ich denn jetzt machen?
Wie bekomme ich rsync dazu, dass es (zumindest beim ersten Mal) stumpf durch läuft?

Vielen Dank für Eure Hilfe!

[Tintom]

4.
Der DSL-Anbieter unterbricht nach 24 Stunden die DSL-Verbindung. Rsync bricht ab, wartet 180 Sekunden und startet dann wieder.
ABER, mittlerweile gibt es ja wieder neue Daten auf dem QNAP-NAS. Der Server hat ja mittlerweile ein neues Backup rüber geschoben.

Wie wird denn das Backup Server -> NAS durchgeführt?

[schwedenmann]

Hallo

Wie bekomme ich rsync dazu, dass es (zumindest beim ersten Mal) stumpf durch läuft?

Es manuell vor 19:00 anstoßen

mfg
schwedenmann
P.S.
Das nach dem ersten Vollbackup immer noch 140-180 GB ankommen,ist m.M. nach sehr viel für nur neuere geänderte Daten.

[hobbyadmin]

4.
Der DSL-Anbieter unterbricht nach 24 Stunden die DSL-Verbindung. Rsync bricht ab, wartet 180 Sekunden und startet dann wieder.
ABER, mittlerweile gibt es ja wieder neue Daten auf dem QNAP-NAS. Der Server hat ja mittlerweile ein neues Backup rüber geschoben.

Wie wird denn das Backup Server -> NAS durchgeführt?

Der Server ist eine virtuelle Maschine (leider Windows, muss leider so sein). Das Backup läuft so ab, dass der Host des Servers einmal täglich die virtuelle Maschine stoppt, dann die VM auf das QNAP-NAS kopiert und danach die VM wieder startet.

[Tintom]

Das bedeutet also es gibt relativ wenige, aber dafür große Dateien, die allesamt jeden Tag überschrieben werden?
Bei rsync werden die Daten im Quell- und Zielverzeichnis anhand der Prüfsummen abgeglichen. Ändern sich alle Dateien täglich werden alle Daten erneut übertragen. Du könntest jetzt dein Skript erweitern und für jeden Tag einen eigenen Ordner anlegen lassen, welcher dann von rsync komplett kopiert werden könnte.

Eleganter wäre etwas anderes, aber ich vermute die QNAP-Software macht uns hier einen Strich durch die Rechnung.

PS: Wenn du dich mit dem Themen Snapshots und wbadmin beschäftigen möchtest, dann müsstest du die VM nicht mal stoppen und könntest während des laufenden Betriebs einen Snapshot ziehen

[slu]

PS: Wenn du dich mit dem Themen Snapshots und wbadmin beschäftigen möchtest, dann müsstest du die VM nicht mal stoppen und könntest während des laufenden Betriebs einen Snapshot ziehen

Ist jetzt etwas OT, aber was macht der RAM der VM bei einem Snapshot auf dem Dateisystem/Storage?

[Tintom]

Zugegeben: Ein Snapshot ist nicht immer der Weisheit letzter Schluss, erleichtert jedoch in den meisten Fällen enorm.

[hobbyadmin]

Ich danke Euch!
Mit Snapshots bei VM kenne ich mich gar nicht aus. Zumal ist das ja ein Windows-Server. Da will ich nicht rum fummeln.

Da ja offensichtlich die Größe des Backup das Problem ist, werde ich wohl das Backup-Script ändern und die erste Sicherung auf eine externe HDD kopieren.
Damit fahre ich dann zum Backup-Server und kopieren die Daten dann manuell auf den Backup-Server. (Irgendwie 80er Jahre Feeling, oder???)
Danach starte ich das Backup-Script wieder ganz normal. Wenn alles gut geht, erkennt rsync, dass die Daten schon im Ziel-Verzeichnis vorhanden sind und überträgt nur noch die Änderungen.

Wünscht mir Glück....

[Tintom]

Danach starte ich das Backup-Script wieder ganz normal. Wenn alles gut geht, erkennt rsync, dass die Daten schon im Ziel-Verzeichnis vorhanden sind und überträgt nur noch die Änderungen.

Kannst du diesbezüglich:

Das bedeutet also es gibt relativ wenige, aber dafür große Dateien, die allesamt jeden Tag überschrieben werden?

noch etwas sagen?

Ich denke, wenn wenige, aber dafür große Dateien übertragen werden, musst du deinen Ansatz überdenken. Durch die Zwangstrennung wird dann nämlich die Übertragung der letzten Datei erneut von Beginn angestoßen. Das ist blöd, wenn es sich dabei dann um ein 30GB-VM-Image handelt, von dem bereits 28GB übertragen wurden. Dann rennst du erneut in das schon bestehende Zeitproblem, wenn der Server nach 24 Stunden sein Backup überschreibt.

Bei großen Dateien kann hier die Option --partial helfen, dann wird die Übertragung an der Stelle fortgesetzt, wo die Verbindung unterbrochen wurde.

[hobbyadmin]

Ja, das ist so wie Du vermutet hast.
Es sind relativ wenige Dateien (ich glaube 58), die sind dafür aber sehr groß. Sodass insgesamt ca. 1,5 TB zusammen kommen.
Zur Problemlösung mit der Zwangstrennung habe ich mit überlegt, dass ich in beiden Routern eine Trennung der DSL-Verbindung auf 2-3 Uhr einstelle und damit der Zwangstrennung durch den Anbieter zuvor komme.
Das Backup-Script lasse ich dann über cron ab 3 Uhr nachts starten. Auf diese Weise hoffe ich, dass rsync 23 Sunden Zeit hat, um nur die Änderungen zu übertragen. Wenn die Zeit allerdings auch dafür noch nicht reicht, bin ich Schach matt : )

Den Schalter --partial habe ich auch gefunden. Ich habe jedoch -P genommen. Da ist doch --partial und --progress mit drin, oder?

[Tintom]

Wenn die Zeit allerdings auch dafür noch nicht reicht, bin ich Schach matt : )

Nicht unbedingt, du könntest (genügend Speicherplatz vorausgesetzt) Unterordner mit dem jeweiligen Datum einrichten und deinen Server in den Ordner mit dem aktuellen Datum sichern lassen.

Über rsync sicherst du dann den aktuellen Ordner. Nach 24h startet dann dein Server ein neues Backup aber rsync bleibt davon unberührt, weil es noch den Ordner des Vortages sichert. Damit bekommst du dann vollständige Sicherungen hin, aber schiebst gleichzeitig eine größer werdende Welle von noch ausstehenden Sicherungen vor dir her.

Bleibt die Frage, ob wirklich jeden Tag 1,5TB an Daten gesichert werden müssen oder ob man das Konzept anpassen kann.

Naja, erstmal schauen was deine Änderungen bringen.

Den Schalter --partial habe ich auch gefunden. Ich habe jedoch -P genommen. Da ist doch --partial und --progress mit drin, oder?

Ja.