[gelöst] wget - macht nicht was ich ihm sage...(n00B-Level)

[andhir]

...oder eigentlich macht es das schon, aber ich kann es ihm nicht
richtig mitteilen, was ich möchte.

Die Aufgabe:
Das Herunterladen aller auf einer Webseite verlinkten Dateien
eines Typs.

Das Problem:
Die Dateien liegen in verschiedenen Ordner ".../pdfs/" oder
".../media/ds/".

Beispiel: alle aufgeführten pdf-Dateien von http://ds.ccc.de/download.html
Es sind 42 Dateien mit 111,3 MB (Stand 04.08.2012)

Zwischenschritt:
Mittels "Opera/Panele/Links/Filter auf pdf/alle markieren/alle downloaden" funktioniert es.*

meine bisherigen Ergebnisse:
(nach Studium "man wget", "wget -h" und Inet-teilweise

Variante 1:

Code: Alles auswählen

wget -r -nd -e robots=off -A .pdf "http://ds.ccc.de/download.html"

(~27 Dateien geladen -> Rest fehlt)

Variante 2:

Code: Alles auswählen

wget -r -nd -H -l0 -e robots=off -A .pdf "http://ds.ccc.de/download.html"

(findet alle Dateien -> hört aber wegen "-l0" gar nicht mehr auf weiter zu suchen)

Meine Frage:
Wie überzeuge ich "wget" dazu alle verlinkten pdf-Dateien zu
laden, ohne den ganzen Rest mit anzuschleppen?
"-l" lässt sich zwar in diesem Fall präzisieren, aber ich möchte
es vermeiden, die Kontrolle manuell durchführen zu müssen.

Danke im Voraus
andhir

* "Dann mach es doch über Opera!" bringt mich auf meinem Weg den
Linux-n00B-Status zu verlassen nicht wirklich weiter...

[syssi]

Das Level zu setzen ist aber der korrekte Ansatz und so machst du es in Opera ebenfalls. In Opera definierst du etwas in der Richtung "nehme alle PDFs, die du auf der aktuellen Seiten findest". Folglich nimmt man alle direkt verlinkten Dateien mit und du präzisierst es auf PDFs:

Code: Alles auswählen

wget -r -nd -H -l1 -e robots=off -A .pdf "http://ds.ccc.de/download.html"

Gruss syssi

[andhir]

wow - die Antwort kam aber schnell.

...ist ja fast, als wenn der Donner vor dem Blitz kommt...

...und es funktioniert auch noch...

Ich muss dann trotzdem nochmal nachfragen:
Habe ich es richtig verstanden, dass "-l" nicht die Ordnertiefe berücksichtigt?
Funktioniert das auch, wenn einige Dateien unter .../Unterordner1/Unterordner2/Unterordner3/Unterordner4/...usw liegen?

Schönes Wochenende noch
andhir

[syssi]

Habe ich es richtig verstanden, dass "-l" nicht die Ordnertiefe berücksichtigt?
Funktioniert das auch, wenn einige Dateien unter .../Unterordner1/Unterordner2/Unterordner3/Unterordner4/...usw liegen?

Ordnertiefe verstehst du glaube ich falsch. Mit "Level" ist die Seitentiefe gemeint. Dabei ist egal, wie tief ins eigentliche Dateisystem die Verknuepfungen zeigen. Level 1 nimmt einfach alle Links mit, die auf der aktuellen Seite zu finden sind.