Solved: Debian-Mirror mit rsync spiegeln funktioniert nicht

[dolphin]

Hi,

ich habe mal Experimente gemacht, ob es mir gelingt, Teile eines Debian-Mirrors per rsync auf meinen
Rechner zu bekommen (die Teile, die man per "debmirror" nicht bekommt). Doch wie auch immer ich
den rsync-Befehl verwende, er weigert sich immer, mir irgendein sinnvolles Resultat zu liefern.

Das ist mein neuester Versuch:

Code: Alles auswählen

rsync -crR ftp.debian.org::debian debian

Und das ist dann das Ergebnis:

Code: Alles auswählen

rsync: failed to connect to ftp.debian.org: Network is unreachable (101)
rsync error: error in socket IO (code 10) at clientserver.c(122) [receiver=3.0.3]

Kann mir bitte jemand einen Tipp geben, was ich noch vergessen haben koennte?

Im Moment kann ich aktuelle eigene Debian-Mirrors nur mittels
"debmirror" plus "wget" erstellen. Eine auf "debmirror" plus "rsync"
basierende Loesung waere aber irgendwie schoener, weil ich dann
bei Aktualisierungen etwa 461 Megabyte nicht immer wieder komplett
neu herunterladen muesste. (Das wuerde Zeit und Netz-Traffic sparen.)

dolphin

[dolphin]

Hi!

Ich hab's jetzt doch rauskriegt. Dieser Befehl hier funktioniert:

Code: Alles auswählen

rsync\
 -vrR\
 ftp.de.debian.org::debian/dists/squeeze/main/installer-i386/\
 installer-i386/

Leider bringt mir rsync keine Punkte, denn ob ich nun

Code: Alles auswählen

rm -R ftp.debian.org
wget -r -l 500 ftp://ftp.debian.org/debian/dists/squeeze/main/installer-i386

mache oder rsync, ist, was die Aspekte Zeitverbrauch und
Netz-Traffic betrifft, ziemlich egal. Beide Alternativen sind gleich ineffizient


dolphin

[KBDCALLS]

Was bekommst du per debmirror nicht ? Vor allem System und Version?

[dolphin]

Komisch. Das rsync muss die Inhalte immer selbst herunterladen. Wenn ich es Sachen herunterladen
lasse, die es bereits selbst heruntergeladen hat, dann gibt es eine etwa 300-fache Beschleunigung.

Wenn ich rsync aber etwas vorsetze, was wget bereits heruntergeladen hat, dann gibt es beim
rsync-Durchlauf keine Beschleunigung.

Bloed ist auch, dass ich einerseits zwar

Code: Alles auswählen

ftp://ftp.debian.org/debian/dists/squeeze/main/installer-i386

mit rsync herunterladen kann, aber die Inhalte von

Code: Alles auswählen

wget -r -l 500 ftp://cdimage.debian.org/debian-cd/6.0.0/i386/jigdo-bd/
wget -r -l 500 ftp://cdimage.debian.org/debian-cd/6.0.0/i386/jigdo-cd/
wget -r -l 500 ftp://cdimage.debian.org/debian-cd/6.0.0/i386/jigdo-dvd/

,die ja auch ganz nuetzlich waeren, kann ich weiterhin nur per wget herunterladen.

Der perfekte Werkzeug-Mix fuer einen kompletten Debian-Mirror besteht also aus 3 Einzelwerkzeugen, naemlich:

• debmirror
• rsync
• wget

dolphin

[dolphin]

Was bekommst du per debmirror nicht ? Vor allem System und Version?

Siehe letzten Beitrag:
Zum einen ist es das "installer-i386", zum anderen sind das die Jigdos.

dolphin

[KBDCALLS]

Wie kommste auf die Idee das das nicht geht ?

Code: Alles auswählen

rsync -avHS --progress --stats rsync://cdimage.debian.org/debian-cd/6.0.0/i386/jigdo-cd/ ./jigdo-cd

Ne Lösung mit debmirror dürfte etwas länger dauern, müßte im Prinzip aber funktionieren.

[dolphin]

Das hier war mein Versuch:

Code: Alles auswählen

rsync\
 -vrR\
 cdimage.debian.org/debian-cd/current/i386/jigdo-bd/\
 jigdo-bd/

Deine Version funktioniert tatsaechlich. Danke

Ich muesste in den naechsten Tagen dann mal untersuchen, was genau
der Unterschied zwischen unseren beiden Versionen ist. Deine Auswahl
der Optionen scheint dann wohl etwas robuster zu sein als das, was ich
ausgewaehlt hatte.


dolphin

[KBDCALLS]

Das würde auch funktionieren. Hast nur etwas vergessen.

Code: Alles auswählen

rsync -vrR  rsync://cdimage.debian.org/debian-cd/current/i386/jigdo-bd/   jigdo-bd/
                ______

[dolphin]

Ist mir auch gerade aufgefallen, dass ich etwas vergessen hatte.
Jetzt haben wir zwei funktionierende Versionen. Deine mit einem
"rsync:" vor dem Server und meine mit zwei Doppelpunkten nach dem
Server, also so hier:

Code: Alles auswählen

rsync\
 -vrR\
 cdimage.debian.org::debian-cd/current/i386/jigdo-bd/\
 jigdo-bd/

An die bloeden Doppelpunkte hatte ich heute im Laufe des Tages
nicht mehr gedacht.

Die Variante mit "rsync:" vor dem Server haette den Vorteil, dass
die Befehlskonstruktion fehlertoleranter wird, weil man dann bei neuen
URLs nicht mehr darauf achten muss, das "/" durch ein "::" zu
ersetzen.

dolphin

[dolphin]

Wenn ich rsync aber etwas vorsetze, was wget bereits heruntergeladen hat, dann gibt es beim
rsync-Durchlauf keine Beschleunigung.

Diese Ursache hab ich jetzt auch verstanden: Das wget-Resultat hatte ich hinterher manuell von einer
tiefen Verzeichnis-Hierarchie in eine flache Verzeichnis-Hierarchie umgewandelt. Rsync erzeugt dann
aber auch wieder eine tiefe Verzeichnis-Hierarchie. Und wenn diese Verzeichnis-Hierarchie nicht vorhanden
ist, dann laedt rsync alles noch einmal komplett neu herunter. Das war die Ursache.


dolphin