wget liefert Datei mit Größe NULL

[Michahe]

Hallo,

für Recherchezwecke sollen HTML-Seiten aus einer Domain ausgewertet erden:

• Im Browser wird die Seite https://xyz.de/search.asp?abc... korrekt angezeigt

• Für ein Script nutze ich wget, damit wird die Datei gespeichert, ist aber leer:

Code: Alles auswählen

$ wget --output-document="/mnt/Daten/.../Check.html" "https://xyz.de/search.asp?abc..."

• Mit curl wird die Datei in voller Größe gespeichert:

Code: Alles auswählen

$ curl --output "/mnt/Daten/.../Check.html" "https://xyz.de/search.asp?abc..."

Was ist das Problem mit wget?

[Livingston]

Vielleicht einfach in dem Moment Pech gehabt, als Du den Befehl abgesetzt hast? (kleiner Serverausfall, Netzwerkproblem)
Das da

Code: Alles auswählen

$ wget -O dbforum.html "https://debianforum.de/forum/viewforum.php?f=34"

funktioniert anstandslos.

[Michahe]

Danke,

Vielleicht einfach in dem Moment Pech gehabt, ...

aber: Nein, mehrfach getestet gestern und heute, wget-Problem ist reproduzierbar für die benötigte URL, andere URLs liefern korrekt (wie debianforum.de)

[Livingston]

Dann versuch's mal ohne die Option -O/--output-document und lass Dir damit den Output direkt auf der Konsole anzeigen.
Außerdem sollte wget sagen, was es tut, wie z.B. hier:

Code: Alles auswählen

--2023-11-12 11:21:45--  https://debianforum.de/forum/viewforum.php?f=34
Auflösen des Hostnamens debianforum.de (debianforum.de)… 2a01:4f8:261:4fe1::2, 142.132.203.155
Verbindungsaufbau zu debianforum.de (debianforum.de)|2a01:4f8:261:4fe1::2|:443 … verbunden.
HTTP-Anforderung gesendet, auf Antwort wird gewartet … 200 OK
Länge: nicht spezifiziert [text/html]
Wird in »dbforum.html« gespeichert.

Sollte bei HTTP-Anforderung gesendet, auf Antwort wird gewartet … was anderes als 200 OK erscheinen, könnte man weiterüberlegen, was da Sache ist.

[Michahe]

Dann... ohne die Option -O/--output-document ...

Code: Alles auswählen

--2023-11-12 11:57:48--  https://xyz...
CA-Zertifikat »/etc/ssl/certs/ca-certificates.crt« wurde geladen
Auflösen des Hostnamens xyz
Verbindungsaufbau zu xyz|:443 … verbunden.
HTTP-Anforderung gesendet, auf Antwort wird gewartet … 200 OK
Länge: 0 [text/html]
Wird in »search.asp?cat=s« gespeichert.
search.asp?cat=s                 [<=>                                            ]       0  --.-KB/s               
search.asp?cat=s                 [ <=>                                           ]       0  --.-KB/s    in 0s      
2023-11-12 11:57:48 (0,00 B/s) - »search.asp?cat=s« gespeichert [0/0]

Aber: search.asp ist leer (NULL Byte) ...

[Livingston]

Ups, kleiner Fehler meinerseits. Die Option zur direkten Ausgabe wäre -O -. Das "-" heißt Umleitung zur Standardausgabe, keine Datei anlegen.
Aber das ändert wahrscheinlich auch nix, denn der Server erklärt mit Status 200 OK, dass er keine Einwände hat, die Nachricht Länge: 0 [text/html] bestätigt auch nur, wie der Server die Angelegenheit sieht.
Es scheint so zu sein, dass curl dem Server etwas mitteilt, was wget nicht tut, und somit die Anforderung unterschiedlich interpretiert wird.
Sowas ließe sich mit wireshark/tcpdump bzw. ss unter die Lupe nehmen.
Ich hab leider heute und in den nächsten Tagen wenig Zeit, mich intensiv damit zu beschäftigen. Vielleicht kann wer anders hier im Forum weitermachen.

Du solltest übrigens in Deinem ersten Beitrag den Titel korrigieren. Es geht ja nicht um grep sondern um wget.

[uname]

Vielleicht wertet der Webserver den User-Agent aus und verhält sich bei "wget" anders. Wird denn eine leere Datei angelegt? Teste andere Webserver und andere URLs.

[Michahe]

Ja, eine leere Datei wird angelegt, siehe hier ...

[Livingston]

Vielleicht mal einen Firefox aus Debian 11/bullseye vorgaukeln?

Code: Alles auswählen

wget -U "Mozilla/5.0 (X11; Linux x86_64; rv:109.0) Gecko/20100101 Firefox/115.0" -O FILENAME URL

[Michahe]

Vielen Dank,

Vielleicht mal einen Firefox aus Debian 11/bullseye vorgaukeln?

Code: Alles auswählen

wget -U "Mozilla/5.0 (X11; Linux x86_64; rv:109.0) Gecko/20100101 Firefox/115.0" -O FILENAME URL

So funktioniert es!