Suche Proxy- Verwaltung/Prüfung für console

[andixx]

Moin.

Ich hab mich eben schon bei Sourceforge durch die Massen gewühlt und ausgiebig im Deb Repository gesucht aber noch nicht so wirklich etwas gefunden was mir weiter hilft.

Ich möchte mir quasi meine eigene Liste für öffentliche http und socks Proxys anlegen. Die Proxys in der Datenbank sollen selbständig in Intervallen auf Verfügbarkeit, Latenz und Bandbreite getestet werden. Außerdem soll (z.b. 1x täglich) der anon-level überprüft werden. Bevor ich jetzt anfange mir das ganze selber zu bauen wollte ich noch hier nachfragen ob es das vielleicht schon gibt. Mein Endziel ist es, dass z.b. Privoxy und Proxychains voll automatisiert eine kleine liste der aktuell besten Server aus dieser Datenbank bekommen und ich nicht von Hand alle schlechten aussortieren muss.

Kennt da wer was in diese Richtung?

gruß
andreas

[Six]

netselect prüft Verfügbarkeit, Latenz und Hops. Vielleicht ist das ein Anfang?

[andixx]

Hi.

Das trifft sich ja gut, bin gerade mit dem WebUI für die Datenbank und dem Parser zum Importieren fertig geworden und wollte jetzt mit den scripten für den cronjob anfangen.

Netselect ist schon ganz nice allerdings hat die Sache einen entscheidenden Haken. Ich kann damit nur den Ping und die Route zum Host überprüfen. Über die Auslastung des darauf laufenden Proxy Servers sagt das ja noch wenig aus. Ich habe eben die ersten Erfolgversprechenden Tests mit curl gemacht. Das sieht dann in etwa so aus:

Die Datei curl-output-format:

Code: Alles auswählen

Datei:\t\t\t\t%{url_effective}\n
response_code:\t\t\t%{response_code}\n
http_connect:\t\t\t%{http_connect}\n
time_namelookup:\t\t%{time_namelookup}\n
time_connect:\t\t\t%{time_connect}\n
time_pretransfer:\t\t%{time_pretransfer}\n
time_redirect:\t\t\t%{time_redirect}\n
time_starttransfer:\t\t%{time_starttransfer}\n
num_connects:\t\t\t%{num_connects}\n
num_redirects:\t\t\t%{num_redirects}\n
size_header:\t\t\t%{size_header}\n
size_download:\t\t\t%{size_download}\n
size_upload:\t\t\t%{size_upload}\n
speed_download:\t\t\t%{speed_download}\n
speed_upload:\t\t\t%{speed_upload}\n

Ich hole mir mit curl eine Datei von meinem Server. Genauer gesagt ein script das den remote_host ausspuckt. Damit kann ich auch gleich sehen ob der Proxy dafür die selbe IP verwendet oder nicht. Auf dem gleichen weg werde ich dann auch einfach ein script über den proxy requesten das die weitergeleiteten Header prüft und den level der anonymität ausgibt. Über die o.g. Formatierung der Ausgabe von curl erhalte ich dann auch gleich verwertbare Zeiten um Statistik über den Proxy zu machen. Ein Bandwich Test geschieht dann noch mit einer etwas größeren Datei.

Code: Alles auswählen

XXXXXX@debsrv:~/proxyverwaltung/script$ curl -w @curl-output-format -x 213.251.xxx.xxx:8080 --max-time 5 http://who.xxxxxxxxx.de/
213.251.xxx.xxx


Datei:                          http://who.xxxxxxx.de/
response_code:                  200
http_connect:                   000
time_namelookup:                0,000
time_connect:                   0,040
time_pretransfer:               0,040
time_redirect:                  0,000
time_starttransfer:             0,114
num_connects:                   1
num_redirects:                  0
size_header:                    205
size_download:                  18
size_upload:                    0
speed_download:                 157,000
speed_upload:                   0,000
xxxxxx@debsrv:~/proxyverwaltung/script$

Das wäre jetzt mein erster Ansatz. Da curl auch über socks proxy kann hab ich eigentlich alles was ich brauche. Ich bastel weiter daran. Falls jemand Interesse daran hat einfach melden.