wget - html Dateien herunterladen trotz 403

[azerty]

Hallo

Ich möchte von einer Webseite eine relativ große Anzahl im HTML-Format gespeicherter Artikel herunterladen um diese auch offline lesen zu können. Die Artikel sind einzeln (mit klick-orgien) herunterladbar, allerdings habe ich keine Lust das mit hunderten Artikeln zu tun. Daher habe es mit wget (und dem tipp im wiki) probiert und so eingerichtet dass er alles was sich im verzeichnis library befindet runterladet, allerdings kommt dann 403, Forbidden.

Code: Alles auswählen

$ wget -r -l1 -A html www.domain.com/library/ 
--2009-10-05 23:59:55--  http://www.domain.com.com/library/
Resolving www.domain.com.com... xxx.xxx.xxx.xxx
Connecting to www.domain.com.com|xxx.xxx.xxx.xxx:80... connected.
HTTP request sent, awaiting response... 403 Forbidden
2009-10-05 23:59:56 ERROR 403: Forbidden.

Wie kann ich das umgehen, ich habe echt nicht die Nerven hunderte mal klicken zu müssen?

Danke für eure Hilfe im voraus!

[uname]

Schau dir mal

http://packages.debian.org/de/lenny/httrack
http://packages.debian.org/de/lenny/webhttrack

an.

http://www.httrack.com/

[nepos]

Einmal die Manpage von wget lesen würde auch helfen:

--user=user
--password=password
Specify the username user and password password for both FTP and HTTP file retrieval. These parameters can be overridden using the --ftp-user and --ftp-password options for FTP connections and the --http-user and --http-password options for HTTP connections.

[azerty]

Danke euch!

[smurffit]

Manchmla werden auch bestimmte Clients gesperrt, in dem Fall hilft das:

Code: Alles auswählen

wget -U Mozilla

[azerty]

Hey

Ich versuche gerade wieder eine Website (Artikel, Texte) komplett zum offline-lesen herunterzuladen, ich verwende hierzu

Code: Alles auswählen

$: wget -m -k www.example.com

Allerdings lädt er dann nur eine einzelne index.html herunter und ignoriert alles anderes.
Es erscheint keine Fehlermeldung etc., er lädt einfach nur die index.html runter und dann fertig.

Was tun?

[KBDCALLS]

So könnte es gehen

Man lädt die Indexdatei erst herunter.

Beispiel: Als erster Schritt

Code: Alles auswählen

wget http://standards.ieee.org/regauth/oui/index.shtml 

Als zweiter Schritt

Code: Alles auswählen

wget -F -i /home/matthias/dm-2/.dl/standards.ieee.org/regauth/oui/index.shtml

Das passiert auf der Seite

Code: Alles auswählen

matthias@svetlana:~$ wget --spider http://standards.ieee.org/regauth/oui/index.shtml
Spider-Modus eingeschaltet.  Prüfe ob die Datei auf dem Server existiert.
--2009-11-01 12:10:30--  http://standards.ieee.org/regauth/oui/index.shtml
Auflösen des Hostnamen »standards.ieee.org«.... 140.98.193.16
Verbindungsaufbau zu standards.ieee.org|140.98.193.16|:80... verbunden.
HTTP Anforderung gesendet, warte auf Antwort... 200 OK
Länge: 22290 (22K) [text/html]
Datei auf dem Server existiert und könnte weitere Links enthalten,
aber Rekursion ist abgeschaltet -- kein Download.
Umwandlung von »/home/matthias/dm-2/.dl/standards.ieee.org/regauth/oui/index.shtml«... 3-0
1 Dateien in 0,001 Sekunden konvertiert.
matthias@svetlana:~$