Perlscript und LWP

BloodyNewbie · Beitrag von **BloodyNewbie** » 07.07.2005 08:40:46

Hi Leute

Ich habe mir ein Skript geschreiben, welches für eingegebene Worter eine Suchmaschinenanfrage stellt und dann mit hilfe von regular expressions die anzahl der ergebnisse herausfiltern soll.

Das funktioniert an sic auch wunderbar.

NUR:

Obwohl ich den gleichen User Agent sende, den auch mein Firefox sendet hat die zurückgelieferte html seite ungleich weniger ergebnisse als wenn man die seite mit einem Browser direkt öffnet. Kann mir aber nicht erklären warum.
Verwende Perl mit dem LWP Modul

MfG Thomas

godsmacker · Beitrag von **godsmacker** » 07.07.2005 18:33:58

Das Problem kann ich mangels des Skripts nicht reproduzieren. Aber eigentlich brauchst Du um mit diversen Suchmaschinen in Perl zu arbeiten nicht selbst mit LWP rumzuhantieren. Es gibt WWW::Search (und WWW::Search::Google). Fuer Debian Benutzer gibt's das mit libwww-search-perl.

Gruesse,
Flo

BloodyNewbie · Beitrag von **BloodyNewbie** » 07.07.2005 19:23:29

Hi godsmacker

das Problem hat sich erledigt

Verwundernswert ist, dass Google und co bei unterschiedlichen headern andere ergebnisse senden.

Wenn ich in meinem Skript den Accept-Enctype auf gzip,deflate setze und nach der anfrage die Seite decomprimiere habe ich die gleiche zahl wie im browser ( load balancing bei google ?) naja es läuft auf jeden fall

das mit WWW:: Search kommt für mich leider nicht in frage, da icn nur die Zahlen haben will und WWW::Search nicht alle Suchmaschienen unterstützt welche ich ablesen wollte (Gutenberg.spiegel.de, ...)

Aber danke für den Tip kann ich bei anderen sachen super einsetzten.

MfG Thomas