Automatische Laden einer Website

[herrhannes]

Hallo,

ich suche ein Script, das alle paar Stunden eine Seite bzw. mehrere aufruft.
Wie kann man das bewerkstelligen?

[Snoopy]

Hi

Bastel Dir ein Skript, dass Dir die gewünschte Seite aufruft, und steck es in die Crontab ( siehe [1] ), die es in dem gewünschten Zeitraum aufruft.

Nur mal so als kleiner Schupser oder Gedankenanstoss...einfach mal schnell getippt

Code: Alles auswählen

#!/bin/sh

# seite.sh
#
# Kleines Skript zum Aufrufen einer Web-Seite

# Ist die Web-seite denn ueberhaupt da ? Wenn nein...dann verpissen wir uns gleich wieder
# =====
ping -c1 -w2 www.hier_die_gewuenschte_seite.de 2>&1 >/dev/null

if [ "$?" != "0" ]
then
exit 0
fi

/usr/bin/firefox http://www.hier_die_gewuenschte_seite.de

exit 0

[1] Link

[gucki]

Hi

Bastel Dir ein Skript, dass Dir die gewünschte Seite aufruft, und steck es in die Crontab, die es in dem gewünschten Zeitraum aufruft.

Nur mal so als kleiner Schupser oder Gedankenanstoss...einfach mal schnell getippt

Code: Alles auswählen

#!/bin/sh

# seite.sh
#
# Kleines Skript zum Aufrufen einer Web-Seite

# Ist die Web-seite denn ueberhaupt da ? Wenn nein...dann verpissen wir uns gleich wieder
# =====
ping -c1 -w2 www.hier_die_gewuenschte_seite.de 2>&1 >/dev/null

if [ "$?" != "0" ]
then
exit 0
fi

/usr/bin/firefox http://www.hier_die_gewuenschte_seite.de

exit 0

[1] Link

noch ein Tipp.

Nimm wget anstatt gleich mit der Firefox-"Kanone" auf die "Spatzen"-Website zu schiessen. Wär für die Lösung als Cron-Job sicherlich sinnvoller.

[Snoopy]

noch ein Tipp.

Nimm wget anstatt gleich mit der Firefox-"Kanone" auf die "Spatzen"-Website zu schiessen. Wär für die Lösung als Cron-Job sicherlich sinnvoller.

Er will sie doch anschauen oder net ?

Naja mal sehen was er genaueres vor hat...um das Teil einfach nur anzufunken sicherlich...dann reicht ein

Code: Alles auswählen

wget

aus.

Aber wie gesagt

Nur mal so als kleiner Schupser oder Gedankenanstoss

[herrhannes]

Ja... das Problem ist, ich habe keinen x-Server, Firefox fällt also schon einmal aus.
Mit wget habe ich das schon probiert, aber wie kann man eine Seite laden, die ein bestimmtes Cookie erwartet? Also, ich habe vor mich dort einzuloggen, wobei eiin Cookie gespeichert wird, das aber auch beim Aufruf vom Cronjob ausgelesen werden können muss.

[herrhannes]

Kann man dazu zum Beispiel Lynx "missbrauchen"?

[herrhannes]

Wie kann ich Cron davon abhalten, bei jeder Ausführung des Scriptes mir eine Mail zu schreiben? Darin steht bloß die Ausgabe von wget...

[jhr-online]

Wie kann ich Cron davon abhalten, bei jeder Ausführung des Scriptes mir eine Mail zu schreiben? Darin steht bloß die Ausgabe von wget...

Du hängst der Zeile in deiner crontab ein

Code: Alles auswählen

2>&1 >/dev/null

an.

jhr

[herrhannes]

Also wie kann ich jetzt Lynx für das Vorhaben einsetzen? Es soll eine Seite, bei der man sich anmelden muss, wobei man dann per Cookie quasi eingeloggt bleibt. Dazu möchte ich mich von Hand erst per Lynx einloggen, und dann Lynx dazu bringen, das Cookie zu verwenden um sich selbst einzuloggen.

[gucki]

Ja... das Problem ist, ich habe keinen x-Server, Firefox fällt also schon einmal aus.
Mit wget habe ich das schon probiert, aber wie kann man eine Seite laden, die ein bestimmtes Cookie erwartet? Also, ich habe vor mich dort einzuloggen, wobei eiin Cookie gespeichert wird, das aber auch beim Aufruf vom Cronjob ausgelesen werden können muss.

lynx ist für so was (ohne Benutzerinteraktion) auch nicht wirklich das richtige.
Für deine Anwendung musst du dann schon auf PERL zurückgreifen.

Code: Alles auswählen

#!/usr/bin/perl -w

use strict;
use LWP;
use HTTP::Cookies;

my $url   = "http://www.website.de";
my $ua    = LWP::UserAgent->new();
my $website;

$ua->agent("Mozilla/5.0");
$ua->cookie_jar( {} );

my $form = $ua->get($url . "/login.php") or die "Kann index.php nicht laden";
$form->is_success() or die $form->message();

my $login = $ua->post($url . "/index.php",
        [ 
          "username" => "user",
          "passwort" => "geheimespasswort",
        ]
             ) or die "POST fehlgeschlagen";
if ( $login->content() ne "" ) {
  die "Login fehlgeschlagen";
}

$website = $ua->get( $url . "/anzeige.php" ) or print "GET fehlgeschlagen \n";

Neben dem Standard-Perl brauchst du dann noch die Module LWP und HTTP::Cookies. Das ganze ist leider nicht ganz trivial zu installieren.

ACHTUNG: code ist ungetestet und aus einer lauffähigen Version zusammenkopiert. Die Loginfelder "username" und "passwort" sind natürlich den Gegebenheiten anzupassen.

Gruß Gucki

[herrhannes]

Das Problem ist, dass sich auf der Seite ein Captcha befindet. Man also sich nicht per Script einloggen kann. Aber es besteht die Möglichkeit "eingeloggt zu bleiben" was aber durch ein Cookie realisiert wird, weswegen man auch ein solches braucht...

[herrhannes]

Wie kann ich Cron davon abhalten, bei jeder Ausführung des Scriptes mir eine Mail zu schreiben? Darin steht bloß die Ausgabe von wget...

Du hängst der Zeile in deiner crontab ein

Code: Alles auswählen

2>&1 >/dev/null

an.

jhr

Wo hänge ich das an?

Wenn ich es einfach mit einem Leerzecihen dazwischen an das Ende der Zeile hänge, kommt wieder eine Mail, nun mit 2>&1 >/dev/null an den Namen des scriptes gehängt.

wie kann ich es auch schaffen, dass die Seite quasi den Eindruck bekommt, ich schaue sie mir mindestens eine Minute lang an?

[ToPeG]

Allso wenn es sich um ein Login mit einem Popup handelt (siehe z.B. Heiselogin) so kann du wget name und passwort mitgeben.

Code: Alles auswählen

 --http-user=user --http-password=password

Wenn es sich um ein Formular basiertes login sammt cookie handelt, so mußt du erst unterschieden ob das Cookie eine einmalig vergebene "Sessionid" oder die Name/Passwort Komination enthält.
Handelt es sich um eine Name/Passwort kombination so kannst du das Cookie speichern und wget mitgeben

Code: Alles auswählen

--load-cookies file

Wenn aber eine "Sessionid" vergeben wird so wird es etwas komplizierter.
Als erstetes mußt du herausfinden was bei einem Login an den Server gesendet wird. Das amchst du auch mit wget aber fügst zwei optionen hinzu.

Code: Alles auswählen

--save-cookies file --keep-session-cookies

Dann kannst das Cookyfile wie im einfacheren Fall laden.
Ich hoffe das war verständlich...

Ach ja, du kannst einen Cookie auch von hand in den wget-Header einbauen indem du die Option verwendest.

Code: Alles auswählen

--header=header-line

[herrhannes]

Mal schauen, ich habbe ein Cookie geladen, es von Hand verändert und es wget wieder untergeschoben, vllt klappt es ja^^

[herrhannes]

Kann man da eigentlich auch Cookies vom Internet Explorer direkt verwenden?
Und wie kann man eine Verweildauer simulieren?

[ToPeG]

Allso müßte ich einen speziellen Cookie in wget unterbringen würde ich es am ehesten wohl so machen:

Code: Alles auswählen

--header='Cookie: SessionId="236id08783"; $Path=/; $Version="1";'

Wie nun die Cookies beim IE, FF, OP, oder sonst wen abgespeichert werden weiß ich nicht.

[herrhannes]

Jetzt wieder wegen dem Lynx...
Man kann ihn ja einfach per Script mit einer Seite starten, aber wie beendet man ihn dann nach einer bestimmten Zeit wieder?

[ToPeG]

Ein kleines Script:

http://nopaste.debianforum.de/3323

Damit sollte es dir gelingen.

[herrhannes]

Das Script scheint zu funktionieren, aber ist das normal, das bei der mit Puttyferngesteuerten Ausführung Programmende durch Interrupt 15 angezeigt wird aber nicht mehr die Bash?
Wenn ich jetzt auf strg+c drücke wird sie zwar wieder ngezeigt, ich kann aber nichts eingeben.

[Leonidas]

Und wie kann man eine Verweildauer simulieren?

Man kann keine Verweildauer simulieren, weil es sowas wie eine Verweildauer rein technisch gesehen nicht gibt: HTTP ist ein Verbindungsloses Protokoll. Das heißt, dass du eine Verbindung zum Server aufbaus, er dir die Seite schickt udn die Verbindung schließt. Die Seite kannst du dann anschauen so lange du willst, der Server kann nicht herausfinden wie lange du sie dir ansiehst.

Okay, jetzt gibts noch die Möglichkeit das der Betreiber mit Ajax-Kram dem Server alle paar Sekunden sagt, dass die Seite noch offen ist, aber wer macht denn sowas?

[herrhannes]

Das heißt dann, dass Seiten die eine bestimmte Verweildauer verlangen einfach ein Javascript einsetzen, das dann nach einer bestimmten Zeit eine Abfrage sendet? Dann kommt man da mit Lynx ja nicht weit...

Gibt es einen Browser, der keinen X-Server benötigt, aber Javascript kann?

[ToPeG]

Das mit dem Interupt 15 ("externes quit" wenn man es so nennen will) ist völlig normal. das meldet Lynx.
Das mit dem Putty versteh ich nicht... Wie meinst du das, daß er die Bash nicht anzeigt? du bist immer in der bash (sofern du keine andere shell eingestellt hast) wenn du dich einloggst.
Meinst du den Eingabepromt? Hast du mal geschaut was passiert wenn du einfach RETURN drückst? Es kann sein, daß der Promt überschrieben wurde, aber eine Eingabe sollte dennoch möglich sein.

[herrhannes]

Ok wenn mir keiner hilft^^

Für alle die das lesen: Links2

[herrhannes]

Das mit dem Interupt 15 ("externes quit" wenn man es so nennen will) ist völlig normal. das meldet Lynx.
Das mit dem Putty versteh ich nicht... Wie meinst du das, daß er die Bash nicht anzeigt? du bist immer in der bash (sofern du keine andere shell eingestellt hast) wenn du dich einloggst.
Meinst du den Eingabepromt? Hast du mal geschaut was passiert wenn du einfach RETURN drückst? Es kann sein, daß der Promt überschrieben wurde, aber eine Eingabe sollte dennoch möglich sein.

Ähm sorry,

ich bin absoluter Linux-Anfänger, natürlich meinte ich Prompt, aber das Wort ist mir gerade nicht eingefallen... Er zeigt dann das mit dem Interrupt 15 an, den Prompt aber erst wieder wenn ich danach Strg+c drücke. Aber dann kann ich nichts mehr eintippen. Vielleicht ist das aber auch ein Fehler von Putty...

[herrhannes]

Kann man Links2 per Kommandozeilenoption dazu bringen, alle JavaScripts, auch die die Popups öffnen, automatisch ohne Nachfrage auszuführen?