Seitenzugriffe einschränken

[kira12]

Hallo Leute,

ich sehe auf unserem Server immer wieder crawler die gleich 100 Zugriffe gleichzeitig durchführen. Lässt sich das Global einschränken, also nicht nur pro IP?
Ich will die keinesfalls Ausgrenzen, nur auf z.B. 20 limitieren. Die normalen Kunden sollte das nicht einschränken und die Crawler sind eingeschränkt.

Gruß ré

[DeletedUserReAsG]

Sobald du Crawler von legitimen Usern unterscheiden kannst, ist’s nur noch eine iptables-Regel …

[kira12]

Hallo,

darum geht es ja, da die die IP's jederzeit ändern können würde ich gern alle IP's limitieren. welche Regel wäre das?

Gruß ré

[DeletedUserReAsG]

Ich will die keinesfalls Ausgrenzen, nur auf z.B. 20 limitieren. Die normalen Kunden sollte das nicht einschränken und die Crawler sind eingeschränkt.

21 Bilder, Scripte, CSS-Files oder sowas auf der Seite, und kein „normaler Kunde“ kann die Seite noch laden.

[kira12]

Hallo,

gut, dann ist es etwas mehrarbeit bei neuen IP's zu aktuallisieren. Welche Regel soll ich iptables hinzufügen?

danke ré

[DeletedUserReAsG]

Nicht eine einzige Regel, sondern ein Script, das die Logs des httpd auswertet und beim entsprechenden Kriterium die betreffende IP temporär ausschließt. Möglicherweise gibt’s da vorgefertigte Sachen, allerdings ist das auch schnell geschrieben. Die zu setzende Regel wäre dann -A INPUT -s [IP] -j DROP

[Milbret]

Was spricht gegen eine saubere robots.txt?
Diese ist ja extra dafür da um eben Crawlern zu sagen, was diese lesen dürfen und was nicht.
Ggf. einfach die Ordner auf dem Server mit den Bildern etc. sperren.

Martin