Wget lädt nicht alle dateien runter

Ziege84 · Beitrag von **Ziege84** » 31.10.2005 10:19:57

moinsen,

ich versuche jetzt seit einigen tagen mithilfe von wget eine komplette internetseite bzw. einen bestimmten ordern runterzuladen. komischerweise lädt er nur einen teil der vorhandenen dateien runter und ich habe keine ahnung warum er das macht. hab schon bei wiki-manpages gesucht, bei google und hier im forum.

Code: Alles auswählen

wget -r -l10 --http-user=username --http-passwd=passwort http://www.zieladresse.de/ordner/

wo liegt der Fehler?

schon mal danke für die hilfe!

Gruß Ziege84

meandtheshell · Beitrag von **meandtheshell** » 31.10.2005 10:24:55

evtl. überschreitest du die datenmenge von 2GB?

hast du es schon mit curl versucht?
http://curl.haxx.se/

Code: Alles auswählen

apt-cache show curl

markus

Ziege84 · Beitrag von **Ziege84** » 31.10.2005 10:41:27

hab gerade mal nachgesehn...die datenmenge überschreite ich nicht.

werd dann mal curl ausprobieren.

danke für den tipp!

Gruß Ziege84

Ziege84 · Beitrag von **Ziege84** » 31.10.2005 12:43:25

also...curl ist gerade gestorben...

im webmin des servers fehlt die update.conf und daher lässt sich curl nicht installieren.
also bleibt nur wget, da ich an dem server sonst nix ändern darf, bzw. neu installieren darf.

ich hab es inzwischen bei wget mit einer auflistung der ordner und dateiendungen die er ziehen soll probiert...funzt aber trotzdem nicht.

hat jemand ne idee woran das liegen kann??

danke schon mal für die hilfe!

gruß Ziege84

Ziege84 · Beitrag von **Ziege84** » 15.11.2005 12:34:44

moin leute,

ich habs hinbekommen!

und zwar wie folgt:

Code: Alles auswählen

#Herunterladen der Dateien:
wget --passive-ftp -i download.txt -r

#Packen der heruntergeladenen Dateien:
tar -cf hlv-`date +%d-%m-%Y`.tar www.seitenname.de

#Loeschen des Heruntergeladenen Ordners:
rm -r www.seitenname.de

die adresse und die passwörter sind in einer zweiten Datei untergebracht, die in der datei unter eingebunden ist über die heruntergeladen wird:

Code: Alles auswählen

ftp://user:password@www.meineseite.de:21/zielverzeichniss/
http://www.meineseite.de

hier wird festgelegt (wenn ich das richtig verstanden habe) welche adresse und welche dateien heruntergeladen werden sollen. hatte ja beim download über http:// das problem das er nicht alle Dateien runtergeladen hat. aber mit der ftp adresse macht er das...