Alle Links einer Webseite anzeigen inkl. frames und js

[inne]

Hallo,

gibt es da draußen ein Tool, das alle Hyperlinks einer Webseite anzeigt unter Beachtung von HTML frames/iframes?

MfG,
inne

PS: Euch allen ein schönes Pastat, morgen kommt der Lichterpirat!

[dabe2k16]

Link Klipper gibt es im Chrome Webstore und ein Tool für die Konsole wget - awk - sed = http://blog.adlibre.org/2011/06/03/extr ... sing-wget/ ist aber nicht getestet, ich kann dir, nicht Versichern das es funktioniert!

[inne]

Danke für den Link.

Ähnlich weit war ich aber auch schon. Doch ich will auch an Links heran die in doppelt Verschachtelten ifames sind (Wie z.B. die Google Ads das praktizieren).
Das bekomme ich starr auch hin, aber eine generische Lösung wäre mir lieber.

[schwedenmann]

Hallo



Afaik gibt es im "Browser" amaya so ein werkzeug, um sich alle links einer Webseite anzeigen zu lassen. Ich kann amaya leider nicht testen, da unter Sid Abhängigkeitsprobleme (libssl) auftreten, ev. ist eine Installatation in stable oder gar testing möglich.


mfg
schwedenmann

[mullers]

In lynx mit dem key `L`

Zeigt zum Beispiel bei spiegel.de 641 versteckte + sichtbare Links an. Weiss jetzt nicht, ob das alle sind.

[inne]

Das mit wget und lynx funktionieren nicht, weil die Links die ich suche, i.d.R. via Javascript nachgeladen werden. An das Detail habe ich gestern vergessen zu erwähnen.
Ich spiele hier mit PhantomJS und Selenium herum. Falls da jemand eine fertiges Skript hat. Aber wie gesagt eine starre Lösung angepasst an verschiedenen Seiten habe ich bereits.

Den Browser amaya muss ich noch testen. Aber etwas auf der Konsole mit Ausgabe zum greppen, solls eigentlich sein.

PS: Frohes Fest!

[schwedenmann]

Hallo


Hast du das schon getestet, gibt es in den repos von Debian

http://www.linklint.org/


mfg
schwedenmann

[inne]

Wie funkioniert linklint? Ich blick das nicht...

[inne]

Habe eine Lösung für PhantomJS mit JS aber ohne Frames. Vlt. findet sich mal jemand der auch die Frames durchhangelt. Mir will da keine gescheiter Algo. einfallen und das /usr/share/doc/phantomjs/examples/walk_through_frames.js hilft leider nicht wirklich weiter. Hier die Ref. http://phantomjs.org/api/webpage/.

Nachtrag: Ich habe nun eine Version die auch Frames unterstützt.
Siehe für das Skript hier: viewtopic.php?f=28&t=163443&p=1115235#p1115235

[schwedenmann]

Hallo


@inne

Linklint is an Open Source Perl program that checks local and remote HTML links. Example:

linklint -http -host my.host.com -limit 1000 -doc dir /@

-http check site via HTTP requests (HTTP site check)
-host my.host.com check the my.host.com site
-limit 1000 bump up the file limit from 500 to 1000
-doc doc put all output files in the dir/ subdirectory
/@ check entire site

mfg
schwedenmann

[inne]

Hab jetzt folgendes, kann damit aber nichts anfangen...

Code: Alles auswählen

$ ls dir
httpfail.html  ignore.txt    index.html  summary.txt  warnF.html  warnX.txt
httpfail.txt   ignoreX.html  index.txt	 warn.html    warnF.txt
ignore.html    ignoreX.txt   log.txt	 warn.txt     warnX.html
$ cat dir/index.txt 
file: index.txt
host: example.de
date: Sun, 25 Dec 2016 16:50:53 (local)
Linklint version: 2.3.5

 summary.txt: summary of results
     log.txt: log of progress
   ignore.txt: -----   1 ignored file
  ignoreX.txt: -----   1 ignored file (cross referenced)
     warn.txt: warn    1 warning
    warnX.txt: warn    1 warning (cross referenced)
    warnF.txt: warn    1 file with warnings
 httpfail.txt: -----   1 link: failed via http

[schwedenmann]

Hallo


schau mal das example

http://www.linklint.org/examples.html

dort http site check

besonders:
http://www.linklint.org/examples/remote1.in



mfg
schwedenmann