Netzwerkprobleme nur mit aktiven Squid unter ESX4.1

[schurmak]

Hallo zusammen

Ich weiss nicht genau ob ich unter Netzwerk richtig bin, da ich den Fehler oder besser die Problematik noch nicht genau zuweisen konnte.

Ich habe einen Squid installiert auf Debian 6.0.1a. Der Dienst funktioniert sowei, wenigstens meistens. Das ganze wurde unter ESX 4.1 installiert und hat 2 CPU's bekommen, 8192 MB Ram und zwei Disks - eine für's System und eine für's Cache.

Das Verhalten an sich ist seltsam, wenn der Squid seine Arbeit tut, ist die Antwortzeit sehr gut. Gleichzeitig verliere ich aber bis zu 3 ICMP-Packete von 10 (über Smokeping gemessen). Teilweise verliere ich mehr Packete.

Natürlich hab ich zuerst an die Netzwerkkarte gedacht, die ist aber sauber und funktioniert zuverlässig.

Danach hab ich ein neues System aufgesetzt, genau gleich. Hab das neue System zum aktiven Proxy gemacht -> das gleich Problem. Nun habe ich aber auf dem alten System die Probleme nicht mehr.
Heisst, nur wenn der Squid stark oder auch weniger stark belastet ist, tritt dieses Verhalten auf.

Nur, wenn ich mir top anschaue ist das System weder über- noch ausgelastet. Aber mit tcpdump sehe ich immer wieder Packete die neu geschickt werden müssen.

Wie geschrieben, der Squid läuft unter ESX 4.1, 2CPU's und 8192 MB Ram. Die ESX Server sind mit 4Gb am BackBone angeschlossen (Auslastung ca. 10%) und sonstige Server (z.B. Mailgateway mit Postfix) haben keine Probleme.
User die auf den Squid zugreiffen: ca. 600, Internetleitung: 100 Mb.

Wenn jemand eine Idee oder einen Denkanstoss hat, bin ich sehr Dankbar.

Gruss
kurt

[reox]

wo fliegen denn die pakete raus? Am Squid oder dahinter? Vllt kannst du das Problem damit einwenig besser lokalisieren.
Kann es sein das der Squid teilweise zu sehr ausgelastet ist, etwa zuviele Sokets offen sind, du das im Top aber gar nicht so schnell siehst?

[schurmak]

Danke für die Antwort, aber das Problem ist, dass vorallem ICMP Packete verloren gehen und nur ab und zu ein Packet für Squid. Das ist so selten, dass ich es leider noch nicht geschaft habe, das mit zu sniffen. Die ICMP Packete die verloren gehen, kommen an, werden aber nicht beantwortet. Von daher muss ich davon ausgehen, dass irgendwo am "Netzinterface" oder am Stack das Problem liegt.

Ich sehe die beiden Probleme auch über Nagios und Smokeping.

[reox]

Evt ein iptables Problem?

[schurmak]

Nein, iptables ist weder im Kernel noch installiert...

[reox]

ok...
also seh ich das richtig, dass über den squid server auch die icmp pakete rennen (also nicht über squid aber über die maschine?)

ich kenne ESX jetzt nicht, aber kann es an der Virtualisierung liegen? Evt verschmeißt ja sogar schon der Host die Pakete... Ansonsten sind solche nicht-deterministischen Probleme immer sehr super zum debuggen...

[schurmak]

Entschuldige die späte Antwort, war mit meinem Motorrad unterwegs

Die ICMP Packete werden vom Squid-Host nicht weitergeleitet, sondern sind lediglich da um zu prüfen ob der Host noch aktiv ist. Diese gehen teilweise verloren. Alle 30 Sekunden werden vom Smokeping 10 Packete gesendet von denen meistens nur 8 oder 9 beantwortet werden.

Am ESX selbst kann es nicht liegen, wird der Squid auf einem anderen Host ausgeführt, ist der Erste wieder super gut erreichbar. Sobald der Squid wieder aktiv ist, wieder diese Ausfälle. Dass der Squid selbst nicht erreichbar ist, kommt weniger häufig vor, ca. 5 - 8 mal pro Tag.
An der Virtualisierung von Squid könnte es liegen, hab aber dazu bisher leider nichts gefunden.

So wie ich das sehe werde ich wohl mal einen Debug-Kernel einbinden und den Netzwerkstack genau verfolgen...

[reox]

mhh ich würde schätzen der host ist einfach zu ausgelastet und verschmeißt die einfach wieder weil sie nicht so hoch priorisiert werden... nur komisch das es dann regelmäßig ist und nicht nur tagsüber

[schurmak]

Ich hab mir das mit der Auslastung auch gedacht, allerdings ist es eben von dem Verhalten her nicht möglich...

Wenn jemand noch eine Idee hat, bin ich dankbar. Aber ich melde mich natürlich wieder wenn ich weiss was es ist...

[syssi]

Hi,

schonmal ein wenig bei VMWare umgesehen?

http://kb.vmware.com/selfservice/micros ... Id=1004653
http://communities.vmware.com/thread/242775?tstart=0

Ich kenne die VMWare Produkte nicht wirklich. Ist ESXI etwas voellig anderes?

http://www.mail-archive.com/ccie_voice@ ... 24597.html

Gruss syssi

[schurmak]

Hi Syssi

Das hab ich mir auch angeschaut, aber am ESX kann es nicht liegen. Wenn ich die User auf einen anderen Squid umleite, funktioniert der genau gleich Host perfekt. Andere Virtuelle Maschinen auf demselben ESX-Server haben auch kein Problem. Es muss mit dem aktiven squid zusammenhängen.
Werde jetzt mal die Ressourcen massiv erhöhen.

Die Unterschiede zwischen ESX und ESXi sind für diesen Fall nicht wirklich relevant und liegen hauptsächlich im Managementbereich, z.B. Scripting.

Danke und Gruss
kurt

[syssi]

Ich wuerde das Problem nicht beim Squid suchen, sondern der Last, die Squid erzeugt. 600 User sind schon eine stolze Zahl. Simulieren laesst sich so etwas leider nur schwer... aber es waere ein Versuch wert. Auch die IO-Last ist nicht unerheblich, die Squid beim Zugriff auf den Cache erzeugt. Versuch mal eine solche Last per stress etc. zu simulieren. Ich spekuliere, dass du gleiche Effekte erntest ohne laufende Squid-Instanz.

[schurmak]

sehr gute Idee, manchmal kommt man auf das logischste nicht, danke.

Versuch ich gleich mal...