rsync über SSH: Übertragunsproblem

[badera]

Ich möchte gewisse Daten jede Nacht per rsync auf einen anderen PC sichern. Dabei sind die beiden PCs via DSL/Internet Online und ich verwende einen SSH-Tunnel. Ich bin gemäss dieser Anleitung vorgegangen: http://www.vonabiszet.de/tutorial/rsync ... c_ssh.html
Nur funktioniert das leider nicht. Es scheint ein Übertragungsproblem zu sein, denn wenn ich die Synchronisierung innerhalb des LANs versuche, dann funktionierts.

Hat der Ordner, der ich synchronisieren will z.B. ca. 3000 Files und total 1GB Daten, so beginnt er nichtmal Files zu schicken:

Code: Alles auswählen

databackup@quelle:~$ rsync -e 'ssh -i /home/databackup/.ssh/databackup-mirror.identity' -avz --delete /home/databackup/data ziel.dynalias.com:~/databackup
Warning: Permanently added the RSA host key for IP address 'xx.x.xxx.x' to the list of known hosts.
sending incremental file list
Read from remote host ziel.dynalias.com: Connection timed out
rsync: connection unexpectedly closed (9 bytes received so far) [sender]
rsync error: error in rsync protocol data stream (code 12) at io.c(635) [sender=3.0.3]

Reduziere ich die Datenmenge (z.B. nur 25 Files, 20MBytes Daten), so werden die zwei ersten Files scheinbar übertragen und anschliessend auch abgebrochen - nur scheinbar zwei Files, weil sie anschliessend nämlich trotzdem auf dem Ziel nicht vorhanden sind!

Code: Alles auswählen

databackup@quelle:~$ rsync -e 'ssh -i /home/databackup/.ssh/databackup-mirror.identity' -avz --delete /home/databackup/data/ ziel.dynalias.com:~/databackup
Warning: Permanently added the RSA host key for IP address 'xx.x.xxx.x' to the list of known hosts.
sending incremental file list
created directory /home/databackup/data
./
P15-001.zip
P15-002.zip
Read from remote host ziel.dynalias.com: Connection timed out
rsync: writefd_unbuffered failed to write 4 bytes [sender]: Broken pipe (32)
rsync: connection unexpectedly closed (50 bytes received so far) [sender]
rsync error: error in rsync protocol data stream (code 12) at io.c(635) [sender=3.0.3]

Weshalb? Der Quell-Rechner ist ein normaler PC mit Debian Lenny. Er hat eine Anbindung mit 10MBit Downstream / 1Mbit Upstream; der Ziel-Rechner ist eine NSLU2 und hat (nur) 1MBit Downstream / 100kBit Upstream. Ist diese Leitung zu schlecht? Oder könnte die NSL ein Problem sein?
Hat jemand eine Idee, wie ich da eine stabile, zuverlässige synchronisierung hinbringe?

[Mictlan]

schau dir mal die --timeout option von rsync an.....

ich nutze für die Syncronisation von großen Ordnern übers Internet einen SSH Tunnel den ich vor rsync aufbaue und dann gegen localhost:xxx rsynce. wobei localhost:xxx der getunnelte Port auf den remote-Rechner ist.

[suno]

Das geht einfacher. SCP kann man anweisen sich wie rsync zu verhalten http://sunoano.name/ws/debian_notes_che ... p_transfer

[badera]

Danke erstmals für die Antworten.

schau dir mal die --timeout option von rsync an.....

Meinst Du wirklich, es würde etwas bringen, das timeout zu erhöhen? Es ist doch nicht normal, dass in 60s nur 9 Bytes übertragen werden)... Klar, ich werde es probieren.

ich nutze für die Syncronisation von großen Ordnern übers Internet einen SSH Tunnel den ich vor rsync aufbaue und dann gegen localhost:xxx rsynce. wobei localhost:xxx der getunnelte Port auf den remote-Rechner ist.

Welchen Port leitest Du denn weiter? auf den rsync-daemon?

Das geht einfacher. SCP kann man anweisen sich wie rsync zu verhalten http://sunoano.name/ws/debian_notes_che ... p_transfer

Ich werde daraus nicht schlauer. In der gelinkten Page ist ja trotzdem nur rsync verwendet?

[peschmae]

schau dir mal die --timeout option von rsync an.....

Meinst Du wirklich, es würde etwas bringen, das timeout zu erhöhen? Es ist doch nicht normal, dass in 60s nur 9 Bytes übertragen werden)... Klar, ich werde es probieren.

Geht denn reines ssh/scp einfach so über die Leitung? Wie sieht das da mit dem Lag aus?

Ich würde auch einfach mal die verbosity von rsync hochschrauben... (-vv, -vvv, etc)

MfG Peschmä

[suno]

Das geht einfacher. SCP kann man anweisen sich wie rsync zu verhalten http://sunoano.name/ws/debian_notes_che ... p_transfer

Ich werde daraus nicht schlauer. In der gelinkten Page ist ja trotzdem nur rsync verwendet?

Du musst schon genau lesen; da steht was von --rsh=ssh

[peschmae]

Das geht einfacher. SCP kann man anweisen sich wie rsync zu verhalten http://sunoano.name/ws/debian_notes_che ... p_transfer

Ich werde daraus nicht schlauer. In der gelinkten Page ist ja trotzdem nur rsync verwendet?

Du musst schon genau lesen; da steht was von --rsh=ssh

Das macht er ja schon die ganze Zeit

MfG Peschmä

[badera]

Geht denn reines ssh/scp einfach so über die Leitung? Wie sieht das da mit dem Lag aus?
Ich würde auch einfach mal die verbosity von rsync hochschrauben... (-vv, -vvv, etc)

Ich kann es momantan gerade nicht mit einer höheren verbosity ausprobieren, da die Gegenseite nicht online ist.
Aber wäre denn das nicht ein generelles ssh Problem? Ich verwende sehr oft ssh zum Tunneln von Verbindungen z.B. http über einen Proxy oder pop3 / smtp (um vom Arbeitsplatzrechner in der Firma über meinen Server, ohne dass jemand überwachen kann, zu Surfen und Mails zu empfangen). Auf diese Weise müsste es ja auch Probleme geben?
Und auch sftp nutz ja als Träger ssh; über exakt dieselbe "schlechte" Veribindung, auf denselben Rechner (auf dem ich eben rsync einrichten möchte) kann ich nämlich problemlos per sftp Daten austauschen.

ich nutze für die Syncronisation von großen Ordnern übers Internet einen SSH Tunnel den ich vor rsync aufbaue und dann gegen localhost:xxx rsynce. wobei localhost:xxx der getunnelte Port auf den remote-Rechner ist.

Das heisst, Du verwendest auf dem Remote-Rechner rsync im daemon Mode? Ich wollte auch das mal testen; nur kommt dann beim Aufruf von rsync auf der Client-Seite immer

Code: Alles auswählen

@ERROR: chroot failed

Es ist natürlich fraglich, ob es an der Übertragung und somit an dem Problem etwas ändern würde, wenn ich manuell per ssh den rsync Port forwarde, um dann ein rsync gegen localhost zu machen (wobei ja praktisch dasselbe passiert, wie wenn ich rsync -e ssh mache...

Also, ich werde mal mit einem höheren Timeout probieren und werde sicher die Verbosity erhöhen, um mehr über das Problem zu sehen.

[badera]

Ich habe die Verbosity nun hochgeschraubt. Der Aufruf von

Code: Alles auswählen

rsync -e 'ssh -i /home/backupuser/.ssh/backupuser-mirror.identity' -az -vvvvv --delete /home/backupuser/data/ ziel.dynalias.com:~/data > /home/backupuser/rsync.log

ergibt
http://nopaste.debianforum.de/34651

Aussagekräftig ist das ja nicht.
Ein längeres Timeout hilft übrigens nichts.

Als nächstes versuche ich noch, via rsync daemon und den Port manuell via ssh zu tunneln. (Die Fehlermeldung @ERROR: chroot failed konnte ich noch eliminieren mit use chroot = no im rsyncd.conf).

[peschmae]

Es könnte auch sein, soweit ich sehe, dass das Timeout nicht von rsync sondern von der SSH Verbindung kommt. Da würde dann ein höheres rsync timeout wohl nichts nützen.

Versuch doch mal was in die Richtung von -e "ssh -o ServerAliveInterval=300,ServerAliveCountMax=20" oder sonst irgendwas mit den SSH timeout/keepalive mechanismen.

MfG Peschmä