Synchronisation über Netzwerk - Server zu TrueNAS

[debianuser69]

Hallo,

ich bin hier mal wieder am verzweifeln, ich versuche eine Sicherung auf TrueNAS zurückzuspielen.

FreeFileSync - läuft, aber es kommen ein/ausgabefehler, die ich ignorieren lasse und dann die Dateien nochmals synchronisiere. Es ist egal ob Festplatte über USB angeschlossen wird oder ob ich von einem Rechner im Netzwerk auf TrueNAS kopiere. Es kommt nach kurzer Zeit immer ein ein/ausgabefehler. Auch bleibt die Geschwindigkeit nicht konstant, fängt schnell an, dann geht es bis auf 0 runter, steigt dann wieder für ein paar sekunden und dann wieder runter auf 0.

LuckyBackup - Quellordner wäre leer, daher findet keine Synchronisation statt.

BackinTime - funktioniert auch nicht, fängt gar nicht an, wahrscheinlich auch weil die Quelle angeblich leer.

Ich binde die Netzwerkordner über /run/User/1000/gvfs/smb..... ein. Diese Netzwerkorder binde ich über "Files", den Dateimanager für Gnome, ein, dann findet man sie in dem angegebenen run Ordner.

Es muß doch eine einfache Möglichkeit geben ohne ein Lexikon vorher lesen zu müssen.

Hat da vielleicht jemand einen Tip?
Danke

[ToterEngel]

Versuche doch dann einfach den klassischen Weg zb. mit rsync in der Konsole, wo du auch mehr Einblick hast, wo es hängen könnte.

Ohne konkrete Fehlermeldungen kann da niemand wirklich direkt helfen.

[schwedenmann]

Hallo

1. Was willst du wohin zurücksichern ?


2. Wie schon angesprochen,würde ich auch rsync + ssh wählen

mfg
schwedenmann

[debianuser69]

Versuche doch dann einfach den klassischen Weg zb. mit rsync in der Konsole, wo du auch mehr Einblick hast, wo es hängen könnte.
...

Davor habe ich ja "Angst", mir wäre es lieber mit klicken und machen. Ja, ich mache auch schon einiges über Konsole, aber manches hätte ich lieber schön über eine GUI.

Hallo

1. Was willst du wohin zurücksichern ?

Ich möchte die Sicherung von Bilder und Daten, die ich vorher überall aufgeteilt hatte, zwecks baus des TrueNAS Servers und formatierung der vorhandenen Festplatten, jetzt auf dem TrueNAS Server sichern. Ein zusätzliches Backup wird auf externer Festplatte gemacht.

2. Wie schon angesprochen,würde ich auch rsync + ssh wählen

mfg
schwedenmann

Dann muss ich mich wohl doch mal mit der Sicherung über Konsole beschäftigen. Danke

[debilian]

Angst vor rsync gibt es nicht:

Code: Alles auswählen

rsync -av --numeric-ids -e ssh /home/name/verzeichnis root@192.168.34.75:/daten/name/

legt über ssh auf dem Zielserver unter /daten/name/ den lokalen Ordner "verzeichnis" mit dessen Inhalt an.

gruss


ps. rsync wurde uns geschenkt um es zu nutzen! die Optionen (av) und (numeric-ids) sind am End meiner Faulheit geschuldet...

[debianuser69]

Angst vor rsync gibt es nicht:
....

Na gut, ich teste es

[schwedenmann]

hallo

rsync
https://wiki.ubuntuusers.de/rsync/

-n ist dry.run,also simuliert das ganze,das kannst du ja fürs erste backup benutzen.

mfg
schwedenmann

[debianuser69]

Aha, da haben wir den Fehler:

The source and destination cannot both be remote.
rsync error: syntax or usage error (code 1) at main.c(1420) [Receiver=3.2.3]

Demnach müßte ich erst ca. 12 TB auf den Laptop kopieren und von dort auf den Server? Das ist ja wohl etwas zu kompliziert.

Der Befehl war dieser hier:

Code: Alles auswählen

rsync -avn -e ssh andy@192.168.178.24:/public_4TB_1/Testordner/ andy@datenserver.local:/Daten/Testordner

[debilian]

kann die TrueNAS kein rsync lokal?
die 12TB würde ich stückeln....

[debianuser69]

kann die TrueNAS kein rsync lokal?
die 12TB würde ich stückeln....

klar, das läuft dort ja auch, und shell ist dort auch.... Danke für den Tip

[debilian]

Code: Alles auswählen

die 12TB würde ich stückeln....

da muss ich mir nun fast selbst widersprechen, das Beste an rsync ist ja, dass er, bei Abruch, wieder da weitermacht, wo er war....
darum nutze ich resync mittlerweile für fast alle Kopiervorgänge über Netzwerk... oftmals auch in einer screen....

[debianuser69]

Danke, wenn ich das in der Konsole von TrueNAS eingebe:

Code: Alles auswählen

rsync -av -e ssh andy@192.168.178.24:/media/4TB_1/Testordner/ /mnt/Daten/Testordner

läuft das auch.

Jetzt muss ich nur noch herausfinden warum das so langsam ist. Ich habe alles per LAN Kabel angeschlossen, aber Übertragung bricht immer ein, mal schnell, dann wieder langsamer werdend, dann wieder schnell. Laut dem Dashboard von TrueNAS ist der Prozessor seltenst mal mehr ausgelastet, der RAM hat noch ca. 0,4GB frei (von 16GB).
Ich habe das Laufwerk (zfs-z1) verschlüsselt und auch doppelte Dateien aktiviert, das soll ja Leistung kosten, aber tatsächlich so viel das das während der Übertragung so einknickt?

[debilian]

was hast du denn an MB pro Sekunde übers Netz?
12 Terra ist ja kein Pappenstiel....

[debianuser69]

was hast du denn an MB pro Sekunde übers Netz?
12 Terra ist ja kein Pappenstiel....

Das geht mal von ca. 50MB/s auf 0 zurück, innerhalb von ca. 30 sekunden, dann ist wieder volle Geschwindigkeit, dann wieder auf 0. Immer wieder.
Ich muß allerdings dazu sagen, die Dateien sind relativ klein, meistens ca. 25MB bis kleiner. Fotos im RAW und jpg Format.
Die ca. 12 TB habe ich auf mehrere Festplatten aufgeteilt, die ersten ca. 670GB hatte ich gestern abend angefangen zu kopieren, sollten nach ca. 8 Stunden fertig sein. Diese Daten kamen von einer mit Veracrypt verschlüsselten externen 10TB Platte. Heute morgen (lange nach den insgesamt 8 Stunden) waren noch immer ca. 150GB zu kopieren, da hatte ich mal gestoppt. Evtl. war die Festplatte etwas warm geworden, Gehäuse war wärmer wie normal. Aber auch über Netzwerk ging es nicht wirklich schneller. Ich versuche jetzt mal mit dem rsync und der Fortschrittsanzeige.

Ansonsten habe ich auch schon mal 100 oder etwas mehr MB/s, je nachdem von wo ich auf was zugreife. Auf jeden Fall ist alles mit LAN Kabel verbunden, auch der Laptop, mein "Hauptarbeitsgerät".

[debilian]

50MB/Sek. sind in Ordnung, denke ich - die Verschlüsselung wird schon bremsen, imho....
Vielleicht macht es die Pausen, weil es mit dem lesen/schreiben nicht nachkommt, ist immer die Frage, was das Nadelöhr ist.....

kannst ja mal im "top" den Wert für "wa" angucken.....
(wa, IO-wait : time waiting for I/O completion)

wenn ich z.B. eine 300GB grosse VM kopiere, dauert das auch um die 3 Stunden....

[ToterEngel]

Wenn der Buffer der Festplatte einmal gefüllt ist und je nach Bereich das schreiben eh länger dauert, sseh ich das schon als normales Verhalten an.

[debianuser69]

Jetzt habe ich noch ein Problem, ich habe Leerzeichen im Ordnernamen, z.B. "private Bilder - Shootings", daher kommt jetzt wahrscheinlich eine Fehlermeldung. Wie kann man das umgehen?

Der gleiche Befehl, nur mit einem normalen Ordnernamen, also nur ein Wort, funktioniert.

[debilian]

aus

Code: Alles auswählen

"name namezwei"

wird

Code: Alles auswählen

"name\ namezwei"

[debilian]

gewöhn dir einfach Leerzeichen und Umlaute in Dateinamen und Verzeichnissen ab - so mach ich das seit Jahrezehnten...

sorry - just my 2 cent

[debianuser69]

also müßte ich für diesen Ordner dann "private\ Bilder\ -\ Shootings" eingeben?

[debilian]

probier es doch mit

Code: Alles auswählen

ls

da zeigt er dir ja, was rauskommt....

[debianuser69]

gewöhn dir einfach Leerzeichen und Umlaute in Dateinamen und Verzeichnissen ab - so mach ich das seit Jahrezehnten...
...

Ja, wird wohl das beste sein, bisher mußte ich auch noch nie solche Mengen und Ordner kopieren, bzw. es ging immer ohne Probleme über GUI.

[debilian]

wenn es nicht um so riesen Daten ginge würde ich sagen, pack das ganze und kopier es dann - aber: TB nix gut für sowas

[debianuser69]

probier es doch mit

Code: Alles auswählen

ls

da zeigt er dir ja, was rauskommt....

Danke, da wird das komplette Verzeichnis aufgelistet. Danke, wieder was gelernt

[debianuser69]

Wenn der Buffer der Festplatte einmal gefüllt ist und je nach Bereich das schreiben eh länger dauert, sseh ich das schon als normales Verhalten an.

Ich hatte den Datensatz unter TrueNAS wieder gelöscht, waren erst ca. 700GB rüberkopiert...

Dann habe ich einen neuen Datensatz angelegt, zuerst ohne die Funktion mit doppelten Dateien und ohne Komprimierung, das kopieren ging dann sauschnell, keine Einbrüche.

Danach habe ich den Datensatz wieder gelöscht und einen neuen angelegt, ohne die Funktion mit den doppelten Dateien, aber mit Komprimierung, das kopieren geht jetzt noch immer sehr schnell, und keine Einbrüche bemerkbar.

Demnach holt die Funktion mit den doppelten Dateien tatsächlich sehr viel Leistung weg.

Ich kopiere übrigens gerade mit rsync

Danke für die Hilfe hier