wget Server Zeitstempel abgeschaltet

[Anonymous1]

Hi,
Ich nutze wget um mehrere Webseiten lokal zu Speichern und diese aktuell zu halten.
Bei machen Servern ist jedoch der Zeitstempel abgeschaltet.
d.h. wget lädt diese Webseiten jedesmal komplett neu runter.
Gibt es eine möglichkeit wie ich das unterbinden kann?

[gbotti]

Hi.

Ob das direkt mit wget geht weiß ich nicht, ich habe auf die schnelle aber keine Option gefunden. Eventuell lässt sich das mit einem Script abfangen, in dem du für die Dateien dann eine Prüfsumme (SHA, MD5, ...) erstellst und nachsiehst, ob es diese Datei im Zusammenspiel mit dieser Prüfsumme schon einmal gibt. Alle doppelten könntest du ja dann löschen.

EDIT: Schau dir mal fdupes an, das kann dir vll. auch helfen.

[Anonymous1]

ich habe auch keine direkte option in wget gefunden.
dann werde ich mich mal anfangen mich mit bash auseinanderzusetzen.
Ich hab in meinem leben noch nie eine Zeile Code geschrieben.

Um die Webseiten aktuell zu halten nutze ich auch ein Skript. Das hat mir nen Kunpel geschrieben.
vlt. kann der mir da auch was schreiben.

Danke erstmal

[KBDCALLS]

Wie wärs damit

Code: Alles auswählen

-N,  --timestamping              don't re-retrieve files unless newer than local 

Code: Alles auswählen

[GregorS]

Wie wärs damit ...

Genau das ist doch (so wie ich das verstehe) das Problem. Wenn der Server keine Zeitstempel übermittelt, ist diese Option nutzlos.

Wenn es sich um keine außergewöhnlich großen Webseiten handelt, würde ich einfach hinnehmen, dass die Seiten jedesmal neu übertragen werden. Bei der Geschwindigkeit heutiger Internetzugänge, wäre mir das sowas von egal ...
Deshalb interessiert mich, um welche Webseiten es konkret geht. Vielleicht kann man ja ein bisschen experimentieren und dabei auf eine „Lösung“ kommen.

Gruß

Gregor

[KBDCALLS]

Damit ist aber die Aussage wiederlegt das es keine Option dafür gibt. Ob das immer das gewünschte Ergebnis bringt ist was anderes.

[GregorS]

Damit ist aber die Aussage wiederlegt das es keine Option dafür gibt. Ob das immer das gewünschte Ergebnis bringt ist was anderes.

Ach so meinst Du das. Dass es keine solche Option gebe, habe ich aus den Postings des Fragenden nicht herausgelesen. Meinem Verständnis nach meinte er, dass es keine Option gibt, die mit dieser speziellen Problemstellung umgeht (und die gibt es ja auch nicht).

Gruß

Gregor

[GregorS]

... Ich hab in meinem leben noch nie eine Zeile Code geschrieben. ...

Mach’ Dir nichts draus. Du bist nicht allein. Immerhin hast Du ja schonmal ins Debianforum gefunden, d. h. es kann nur besser werden *g*

Gruß

Gregor