Große Datei (mit Unterbrechungen) verscheiben

[Limonengras]

Hallo.

Ich möchte eine 15 GB große Datei Nachts von einem Standort zu einem anderen kopieren bzw. verschieben.

Das Problem ist, der eine Anschluss hat VDSL50/10 der andere leider nur ADSL 16/1 MBit. Vom letzteren möchte ich holen. (Andersherum wäre es besser, aber VDSL gibt's leider nie dort wo man es gerade braucht)

Um das Internet beim ADSL Anschluss nicht in die Knie zu bringen, möchte ich den Dateitransfer nur Nachts laufen lassen.

Mit welchen der zahllosen Tools im Debian könnte man einen unterbrechungsfähigen Kopier-Prozess durchführen?

Momentan würde ich es in 1000 Dateien splitten und immer wieder manuell neu beginnen.
Eine andere Idee wäre es einen Webserver einzurichten und es mit "wget -c $url" downzuloaden.

Gibt es allerdings evtl. noch eine andere Möglichkeit die einfacher wäre als die oben genannten?

ist da vielleicht ein Art automatischer Filedownloader irgendwie auf Dateisystemebene in den Paketen irgendwo versteckt vorhanden?
Vielleicht einen den man Tagsüber verlangsamen kann und so auch am Tage auf 10 KByte/s gedrosselt weiter zu kopieren?

( PS: VPN besteht bereits und das Quellverzeichnis ist am Ziel gemounted Ausfälle bei IP-Wechsel maximal 3 Minuten )

Beste Grüße und danke für jeden kleinen hint.

[DeletedUserReAsG]

Auch, wenn nun einige „böse!!k“ schreien werden: für sowas ist imho(!) das FTP prädestiniert.

Ansonsten sollte es auch recht einfach mit rsync hinzubekommen sein, oder mit ein wenig Basteln gar mit dd via ssh – aber ich denke, FTP(S) (nicht SFTP) ist hier nicht die schlechteste Wahl. Dessen Job war es früher, viele Daten möglichst heile über teils sehr schlechte Verbindungen zu schieben.

Edit: und dynamische Anpassung der Bandbreite (z.B. nachts mit allem, was die Leitung hergibt, morgens auf 10kB/s gedrosselt und am Abend wieder ohne Limit) ist ebenfalls ohne Unterbrechung des Uploads möglich. Splitten ist trotzdem nicht die schlechteste Idee – dafür haben die besseren FTP-Clients dann auch Queues im Angebot).

[smutbert]

• uget als Downloadmanager kann, wie wahrscheinlich zahlreiche andere Downloadmanager auch, ab/unterbrochene Downloads fortsetzen. Du bräuchstest halt einen FTP oder Webserver auf dem einen Rechner.
• mit rsync ist, wenn der Transfer unterbrochen wurde, das fortsetzen mit der Option --append möglich soweit ich weiß, dann bräuchtest du nur zB eine ssh-Verbindung.
• du könntest die Datei mit split in Häppchen zerteilen

  Code: Alles auswählen

  $ split –b100m großedatei kleinedatei
  

  und auf dem Zielsystem nach der Übertragung wieder zusammensetzen

  Code: Alles auswählen

  $ cat kleinedatei* > großedatei
  

(entschuldige, habe deinen Beitrag nicht ganz zu Ende gelesen, die erste und dritte Variante hast du ja mit deinen Eröffnungspost bereits abgedeckt)


edit
Könnte man nicht den Transfer mit einem beliebigen Befehl auf der Kommandozeile starten (vorzugsweise vielleicht rsync) und tagsüber mit ^Z unterbrechen und nachts mit fg wieder im Vordergrund weiterlaufen lassen oder stören sich die Befehle an den „Zeitsprüngen“, sie sie wahrnehmen.

[Limonengras]

OK. Danke.

rsync wäre noch eine Idee, aber das stotterte schon bei dein ersten Versuchen.

Da ein Split gerade versagte ( Platte voll )

... werde dann doch lieber einen kleinen FTP wie angeregt fix aufbauen. ( spühre schon wie irgendwer gerade die Augen rollt )

Und wenn ich mal Zeit habe schreibe ich mir für das nächste mal ein C Programm, für sowas in Zukunft.


Es ist ja an sich nicht mehr als fopen, seeken zu einer bestimmten Stelle, wie die Datei lokal groß ist und dann weiter einzulesen.
Dann kann ich mir dann auch automatisch Drosselungen auf Zeit reinprobieren.

Allerdings habe ich schon Jahre nix mehr in C gemacht, könnte also ein paar Tage trotzdem dauern sich in C wieder einzuarbeiten (also wird das doch nie was - lol)

Beste Grüße nochmal und ich halte die Augen hier offen. Vielleicht kommt noch eine andere Idee. Debian ist zwar schön voll mit Tools, doch verliert man zu schnell dabei auch den Überblück was alles für was geeignet ist.