HILFE, Traffic von gespooften IP's

[cees12]

Moin Moin,

ich wende mich mal Vertrauensvoll ans debianforum. Ich habe seit Wochen das Problem das ich ständig eingehenden Traffic auf meinen Gameserver habe. Der Traffic kommt nicht von den Clients sondern viel mehr von immer wieder anderen IP's aus aller Welt. Meistens ist der Traffic über 1 bis 2 oder auch mal 3 IP Adressen insgesamt bis zu 3 - 6 MBit/s im Up. Natürlich Blocke ich diese IP's wieder aber wenn der jenige der dahinter steckt mal etwas Zeit hat geht es nur immer: Angriff -> Ich blocke, Angriff -> Ich blocke, Angriff -> Ich blocke, Angriff -> Ich blocke ....... . Und manchmal ist einfach ruhe.

Jetzt suche ich mir die ganze Zeit schon die Augen wund wie man gespoofte IP's blocken kann, oder zumindest wie ich Traffic pro IP das über 120kBit/s Up/Down hinaus geht blocken kann?!

Mein System ist nen Debian Squeeze 6.0 (32bit)

Hier sieht man ungefähr wie es normal war und seit neuesten erhöhter Traffic entsteht!


Hier aus iftop->

meinserver.de up => inetc402.inetc.net 1.14Mb 1.13Mb 1.08Mb
down<= 57.8Kb 57.4Kb 54.8Kb

Und auch hier sehr merkwürdig, obwohl ich die IP hinter dem Domainnamen per iptables bereits drope bekomme ich sie nicht raus! Evtl erst wenn die IP reconnectet?
Bei allen anderen klappte es bisher.

Bisher habe ich folgende tables im Inbound drinn->

user:/# iptables -L INPUT
Chain INPUT (policy ACCEPT)
target prot opt source destination
DROP all -- inetc402.inetc.net anywhere
REJECT all -- inetc402.inetc.net anywhere reject-with icmp-port-unreachable
ACCEPT all -- anywhere anywhere
REJECT all -- n46-163-120-204.cnet.hosteurope.de anywhere reject-with icmp-port-unreachable
REJECT all -- kuwait25.com anywhere reject-with icmp-port-unreachable
REJECT all -- 74-82-164-6.take2hosting.com anywhere reject-with icmp-port-unreachable
DROP all -- 199-83-130-116.ip.incapsula.com anywhere
DROP all -- 95.211.25.238 anywhere
DROP all -- 199-83-129-116.ip.incapsula.com anywhere
DROP all -- 95.211.25.238 anywhere
DROP all -- cp.website-express.co.uk anywhere
DROP all -- 82.113.134.111 anywhere
DROP all -- 82.113.134.116 anywhere
DROP all -- ec2-176-34-238-209.eu-west-1.compute.amazonaws.com anywhere
DROP all -- dedserv141.levonline.com anywhere
DROP all -- 89.145.103.254 anywhere
DROP all -- www.website-express.co.uk anywhere
DROP all -- ec2-46-137-101-102.eu-west-1.compute.amazonaws.com anywhere
DROP all -- airkayaks.com anywhere
DROP all -- single17.brinkster.com anywhere
DROP udp -- anywhere anywhere udp spts:1:500 dpts:1003:1003
DROP tcp -- anywhere anywhere tcp spts:tcpmux:500 dpts:1003:1003
DROP tcp -- anywhere anywhere tcp spts:2700:2800 dpts:1003:1003
ACCEPT udp -- www3.gametracker.com anywhere udp spt:www dpts:1003:1003
ACCEPT udp -- www4.gametracker.com anywhere udp spt:www dpts:1003:1003
ACCEPT udp -- 85.131.251.70 anywhere udp spt:www dpt:1003
ACCEPT udp -- anywhere anywhere udp dpt:1003
ACCEPT udp -- anywhere anywhere udp dpt:1003
ACCEPT tcp -- anywhere anywhere tcp dpt:1050
ACCEPT tcp -- anywhere anywhere tcp dpt:121
ACCEPT tcp -- anywhere anywhere tcp dpt:www
ACCEPT all -- anywhere anywhere state RELATED,ESTABLISHED
ACCEPT tcp -- anywhere anywhere tcp dpt:30000 state NEW
DROP icmp -- anywhere anywhere icmp echo-request
LOG all -- anywhere anywhere limit: avg 5/min burst 5 LOG level debug prefix `iptables denied: '
DROP all -- anywhere anywhere
REJECT all -- anywhere loopback/8 reject-with icmp-port-unreachable
user:/#

Im oberen Bereich sind bereits die gedropten IP's ersichtlich die bisher Traffic verursachten.
Wenn ihr eine Idee Hinweise oder irgendwie helfen könnt wäre ich euch Dankbar, es kostet einfach Zeit und Nerven.

Oder Stichpunkte nach dem ich noch Googlen könnte wären äußerst hilfreich. Oder ihr kennt direkt ein gutes Paket womit man solch sachen schön einfach verhindern kann.

MfG,

Christian.

[DeletedUserReAsG]

ich wende mich mal Vertrauensvoll ans debianforum. Ich habe seit Wochen das Problem das ich ständig eingehenden Traffic auf meinen Gameserver habe. Der Traffic kommt nicht von den Clients sondern viel mehr von immer wieder anderen IP's aus aller Welt. Meistens ist der Traffic über 1 bis 2 oder auch mal 3 IP Adressen insgesamt bis zu 3 - 6 MBit/s im Up

Nur, um Missverständnissen vorzubeugen: Upstream aus Sicht des Servers ist ausgehender Traffic.

cu,
niemand

[cees12]

Moin,

ja korrekt der Upstream ist aus Sicht des Server's. Manchmal ist es auch so das der Server eingehend Traffic einer bestimmten Domain erhält letzterer über 2 Tage bis ich das anpingen des Server gedropt habe, danach war auch da erstmal ruhe. Jetzt ist eben das Problem das ich ständig nur am Flicken bin. Immer wieder eine neue Adresse wo der Gameserver ständig Antwortet mit ausgehenden Traffic (Upstream) und bisher blieb mir nur eins die IP zu blocken. Würde ich nun den offenen Port blockieren, würden die Spieler auch nicht mehr connecten können.

Bisher waren die Ports immer so das es irgendeiner war dann habe ich einfach nur noch eine Range freigegeben die auf den Gameserver Port abfragen darf aber das hilft auch nicht mehr, da jetzt über den Port abgefragt wird womit die Spieler auf den Gameserver Port connecten.

MfG,

Christian.

Edit: das mit dem eingehend Traffic habe ich wohl geschrieben, weil der Server auf diesen mit ausgehenden Traffic um ein vielfaches Antwortet, habe mich da etwas unkorrekt ausgedrückt.

Edit2: Jetzt um 0:19 ist es so das ich nur noch eingehenden Traffic habe->

Monitoring eth0... (press CTRL-C to stop)

rx: 636 kbit/s 1345 p/s tx: 16 kbit/s 24 p/s

meinserver ausgehend => n46-163-120-204.cnet.hosteurope.de 568b 568b 568b (Upstream aus Serversicht)
meinserver eingehend <= 119Kb 118Kb 118Kb (Downstream aus Serversicht)

Blocke ich und danach wieder ne neue IP mit Sicherheit.

Also Ziel scheint zu sein, den Traffic hoch zu ziehen?!?!

MfG,

Christian.

[DeletedUserReAsG]

Nja, meine Glaskugel ist gerade noch nicht fertig. Weder weiß hier jemand, was für ein Gameserver das ist, welcher Art der Traffic ist, was in den Logs steht und viele andere Kleinigkeiten fehlen auch noch.

Angesichts deiner beiden Beiträge wäre daher mein Rat: Fahr’ die Kiste runter, und lass’ jemanden da ran, der sich mit damit auskennt. Sei mir nicht böse, aber dir scheinen die grundlegendsten Kenntnisse zu fehlen.

cu,
niemand

[cees12]

Moin Niemand,

Keinem bin ich böse, wenn mir grundlegende Kenntnisse fehlen bin ich bereit dazu zu lernen. Ich glaube aber nicht das ich überhaupt gar keine Ahnung habe.
Im Grunde ist es immer schwierig wenn es um Traffic geht auf nem Port und IP die öffentlich erreichbar ist.

Mein Ansatz ist daher den Traffic pro IP zu begrenzen oder wenn es möglich ist gespoofte IP's zu erkennen wenn das bei IPv4 überhaupt möglich ist.

Fakt ist es bestehen Anfragen auf den Server und wenn es um den Gameserverport geht antwortet der auch fleissig, warum auch nicht dazu ist er da, nur nicht in dem Maß wie er es derzeit tut.

Lässt sich da was machen oder nicht?

Der Server hat noch nen Webserver (apache) der hat keine Probleme, die Anfragen gehen immer nur gezielt auf den Gameserverport und der Antwortet fleißig. Der Gameserver selbst ist Call of Duty 2 und es bestehen keine weiteren Patches die das beheben könnten.

MfG,

Christian.

Edit: Welches Log möchtet ihr denn einsehen, gerne poste ich auch dieses wenn das mehr hilft?

[Cae]

die Anfragen gehen immer nur gezielt auf den Gameserverport und der Antwortet fleißig. Der Gameserver selbst ist Call of Duty 2 und es bestehen keine weiteren Patches die das beheben könnten.

Könnte gut sein, dass es der GetStatus-Bug ist: Der Client schickt ein paar Bytes über UDP hin und bekommt die Antwort im Umfang von 1-2 kByte. Oder das Ziel, sofern der angreifende Client seine Absenderadresse fälscht.
Dein Gameserver dost also vermutlich irgendwen, für die lnxded von CoD 4 gab es ein Fix dagegen, vielleicht lässt sich das nachrüsten. Das Problem ist, dass der Angreifer ohne deep packet inspection nicht von einem normalen oder potenziellen Spieler zu unterscheiden ist.

Gruß Cae

[cees12]

Hallo Cae,

für COD 4 kenne ich den Bug für COD 2 allerdings ist mir nicht bekannt. Die Inxded ist mit Patches versehen die seiner Zeit von Luigi Auriemma bereitgestellt wurden der in eigenarbeitet noch unzulänglichkeiten erkannte und behob.

Der Client schickt ein paar Bytes über UDP hin und bekommt die Antwort im Umfang von 1-2 kByte

Es sind ja leider keine paar kBytes,

Hier ist es eingehender Traffic, den ich mir nicht erklären kann auch wieder auf dem Gameserverport ->

rx: 636 kbit/s 1345 p/s tx: 16 kbit/s 24 p/s

meinserver ausgehend => n46-163-120-204.cnet.hosteurope.de 568b 568b 568b (Upstream aus Serversicht)
meinserver eingehend <= 119Kb 118Kb 118Kb (Downstream aus Serversicht)

Deine Vermutung mit dem Bug ist auf jedenfall ein Ansatz und tatsächlich scheint mein Server wirklich sich an DOS zu beteiligen, allerdings ist dieser Bug nicht für COD2 bekannt?!

Und hier heute Morgen allerdings wieder ausgehender Traffic, es sind immer genau nur 2 Verbindungen die zusammen +/- ca 1,5MBit/s Up verursachen.
Hier sieht man ein Teil der Spieler und ganz oben die mal wieder 2 IP's vom irgendwelchen Ländern die den Traffic ansteigen lassen. Wieder über Gameserverport und hier wieder im Upstream->

─
meinserver => 190.123.202.179 886Kb 890Kb 882Kb Hier sendet der Server wieder enorm
<= 56.3Kb 56.4Kb 55.9Kb
meinserver => 74-82-161-213.take2hostin 780Kb 778Kb 809Kb Hier auch
<= 49.6Kb 49.2Kb 51.3Kb
meinserver => 95.211.25.238 0b 0b 0b
<= 65.2Kb 61.4Kb 63.4Kb
meinserver => 117.203.219.87.dynamic.ja 27.8Kb 29.9Kb 24.6Kb
<= 14.6Kb 14.4Kb 13.4Kb
meinserver => 58.54.219.88.rev.sfr.net 27.9Kb 24.4Kb 24.3Kb
<= 19.2Kb 18.2Kb 18.6Kb
meinserver => 62.42.91.7.dyn.user.ono.c 27.4Kb 23.7Kb 22.4Kb
<= 16.5Kb 15.9Kb 16.7Kb
meinserver => e178096093.adsl.alicedsl. 27.8Kb 24.0Kb 21.5Kb
<= 15.7Kb 15.4Kb 15.2Kb

DPI ist ein gutes Stichwort das zieh ich mir nochmal rein. Wenn jemand noch ne Idee hat was da los ist, wäre ich über jede Antwort Glücklich. Ich gehe dann mal die 2 IP's sperren.

MfG,

Christian.

[schorsch_76]

Installier dir mal chkrootkit und lasses laufen. Auf meinem ersten Server hatte ich mal ein Rootkit drauf. Darauf hin habe ich eben gelernt wie man solche Kisten halbwegs absichern kann

Gruß
schorsch

[cees12]

Hallo Schorch,

werde ich mal machen, wie siehts mit rkhunter aus?

not infected hat nix gefunden. Hätte mich auch gewundert, wie soll das rootkit auf den Server kommen?

rkhunter ergibt auch nichts->

System checks summary
=====================

File properties checks...
Files checked: 125
Suspect files: 0

Rootkit checks...
Rootkits checked : 243
Possible rootkits: 0

Applications checks...
All checks skipped

MfG,

Christian

[schorsch_76]

Klar kannst du auch rkhunter nutzen.

Kuck doch mal welche Prozesse auf deinem Server die Daten senden lsof . Mit tcpdump oder wireshark kannst du dann dir mal die Pakete ansehen was dort passiert.

Gruß
schorsch

[cees12]

Hallo Schorch,

ich nutze tshark und dort sehe ich eben das der Standartport 28960 eingehend auf den Serverport geht und der Server entsprechend viel Antwortet. Normal ist für ein Client ca 80/80 kBit/s up/down. Aber manchmal kommen wie gesagt anfragen von statischen IP Adressen von Port 28960 auf den Gameserver rein und verursachen viel Uploadtraffic.

Ich schau nochmal mit den anderen von dir genannten Monitoringtools.

Edit: sehe gerade tcpdump und isof hatte ich auch bereits genutzt, schon vor Tagen und hier sehe ich eben immer das der Traffic vom Gameserver kommt und wenn es dazu kommt, das der server auf statische IP's ubload macht.

MfG,

Christian.

[schorsch_76]

Hallo Schorch,

ich nutze tshark und dort sehe ich eben das der Standartport 28960 eingehend auf den Serverport geht und der Server entsprechend viel Antwortet. Normal ist für ein Client ca 80/80 kBit/s up/down. Aber manchmal kommen wie gesagt anfragen von statischen IP Adressen von Port 28960 auf den Gameserver rein und verursachen viel Uploadtraffic.

Ich schau nochmal mit den anderen von dir genannten Monitoringtools.

Edit: sehe gerade tcpdump und isof hatte ich auch bereits genutzt, schon vor Tagen und hier sehe ich eben immer das der Traffic vom Gameserver kommt und wenn es dazu kommt, das der server auf statische IP's ubload macht.

MfG,

Christian.

Wurde u.U. das Binary kompromitiert? md5sum des Verzeichnisses deines Servers mit dem Backup vergleichen?

[cees12]

Hallo Schorch,

nein keine Auffälligkeiten. Evtl. sollte ich mal erwähnen das der Gameserver ursprünglich mal ein Homeserver auf ner Winkiste lief und das ca. 3 jahre ohne Probleme. Irgendwann kam dieses Problem auf und da ich nur 2 MBit/s im Upload hatte war der Server sofort nicht mehr erreichbar und alle Clients waren mit Timeout. Dort hatte ich dann auch immer wieder die IP sperren müßen über nen Cisco Lynksys später üer IP-Sec. Nun ja dachte ich es wird eh zeit mal auf ne Linuxkiste zu steigen und dann kam ich auf meinen jetzigen root der auch nicht mehr Home ist.

Mit IPtables konnte ich auch recht schnell die störenden Verbindungen unterdrücken, da ich alle eingehenden Verbindungen von Port 1-5000 auf den Gameserverport blocken konnte. Vorher kamen die Anfragen über iwelche Ports in dem bereich http, xbox etc. Danach war Wochen lang ruhe.

Nun ist es aber so das genau der gleiche Mist wieder los geht und die die eingehende Anfragen von 28960 kommen und mit viel Upstream beantworten werden. Diesen Port kann ich aber nicht blocken da sonst auch die Client's nicht connecten können. Komischerweise ist auch hier Tage lang mal wieder Ruhe und dann gehts 2-3 tage wieder los.

Es sind dann immer 2-3 statische IP Adressen aus iwelche Länder. Wenn ich diese dann blocke ist wieder Ruhe undann kommen entweder neue statische IP's die das gleiche Verursachen oder es ist ruhe.

Mir kommt das eher so vor als wolle mich jemand ärgern?! Hab mal gegooglet ob da iwelche Klickibuntitools gibt die sowas verursachen aber bislang nichts gefunden.

MfG,

Christian

[Cae]

Extrem blöde, aber vermutlich funktionierender Workarround: Du bastelst fail2ban oder sowas um, dass es standardmäßig nach 10 Paketen auf den Port den Verbindenden droppt. Jeder zukünftige Spieler schreibt sich über ein Webinterface etc. auf die Whitelist und ist dann freigeschaltet. Natürlich keine Lösung für einen öffentlichen Server.

Gruß Cae

[cees12]

Hallo Cae,

in die richtung bin ich auch schon gegangen, da bei mir denyhosts läuft, ist aber keine Lösung. Der Server ist öffentlich und es spielen Leute aus ganz Europa da, den 1000ten Spielern das beizubringen wird etwas schwierig. Übrigens ist jezt seit 10:15Uhr mal wieder alles im normalen Zustand.

Jetzt mal an die richtigen Profis hier, gibt es keine Methode pro IP den Traffic zu begrenzen?

Außerdem gibt es die Möglichkeit unter iptables die Einstellungen->

Packet flow rate
Packet burst rate

einzustellen, wäre das evtl eine Möglichkeit? Hab das mal probiert aber das scheint keine Auswirkungen zu haben. Hat einer von euch dort Erfahrungen?

MfG,

Christian.

Edit: noch ein Ansatz von mir, einfach Static IP's in der deny sperren? Gibts da zuverlässige Listen?

[rendegast]

Was sagt denn der gameserver selbst dazu -> Dessen Loglevel/Monitoring erhöhen?
Was machen die?
Sehen vielleicht dem Spiel zu? Laden maps/mods?
Verbinden sich mit falschen/obsoleten Spielversionen?

Der Server ist öffentlich ...

Mal in der Serverliste des Zentralservers 'nichtöffentlich' schalten?
Zugangsports ändern?
Oder Password-Protection (zumindest vorerst)?

Foren zu CoD?





-----------------------------------------
EDIT
"Traffic von gespooften IP's"
Gespoofte IP können eigentlich keinen Traffic erzeugen,
da die real existierende IP ja nichts von ihrem Glück weiß und die Kommunikation ablehnt.

[Cae]

Oder Password-Protection (zumindest vorerst)?

Gute Idee, außerdem den Servernamen in "$titel pass=asdf" ändern. Das schnallt ein normaler Spieler und man könnte damit das Serververhalten untersuchen.

Gruß Cae

[cees12]

Hi,

Das Loglevel lässt sich nicht erhöhen, COD2 ist mittlerweile schon etwas betagt. Der Server ist unmod. somit sind auch keine Downloads möglich.
Es ist auch kein Spieler der das verursacht zumindest glaube ich das, oder es ist ein bestimmter Spieler der mir neben den Spieledaten noch was anderes schickt und der Server antwortet mit Upload auf die jeweiligen Statischen IP's die ich ja dann immer Blocke.

Aber das mit dem Spieler kann auch nicht sein, da das Problem auch auftritt wenn um 3:00Uhr keiner drauf ist. Also wird das Passwort und sowas nichts bringen. Und wenn einer nur zu sieht verursacht der nicht mehr traffic als andere Spieler.

Foren hab ich dazu auch schon abgeklappert, das Problem ist ja nun auch schon eine Weile und leider bisher nichts brauchbares gefunden.

Und wie ich sehe hat auch niemand wirklich eine Idee wie man das Problem beheben oder zumindest eindämmen könnte.

MfG,

Christian.

Edit: Zugangsport habe ich auch schon geändert, das hilft leider auch nicht auf Dauer.
Ich frag jetzt auch nochmal, gibt es die Möglichkeit Traffic pro IP zu begrenzen?

edit2: Oder eine IP überschreitet 300kBit im Up die daraufhin geblockt wird? Das müßte doch mit fail2ban und co gehen?! Ich schau da jetzt nochmal.

[cees12]

@Cae,

allen anschein hattest du recht! Es scheint der GetStatus Bug zu sein. Das Problem besteht seit letztes Jahr für alle Spiele die auf der Quake 3 Engine basieren.
Ich hatte das mit dem GetStatus Bug mit nem anderen Bug von COD4 abgetan und nun nach ewigen Suchen wieder deinen Tip mit dem GetStatus aufgegriffen.

Habe dann auf einer Russischen Seite ein Tool http://rankgamehosting.ru/index.php?showtopic=1320 gefunden womit man sein Server testen kann und tatsache konnte ich in iftop meine IP sofort ganz oben im Upstream sehen. Allerdings gibt es gepachte dll's bisher nur für Win Kisten.

folgende Regel hab ich nun im http://www.fpsadmin.com/forum/showthread.php?p=107962 Forum finden können und erfolgreich testen können->

-A INPUT -p UDP -m length --length 41:45 -m recent --set --name getstatus_cod
-A INPUT -p UDP -m string --algo bm --string "getstatus" -m recent --update --seconds 1 --hitcount 20 --name getstatus_cod -j DROP

Dann nochmal das Tool gestartet und siehe da, socket Timeout für das flooding.
Anscheinend wird diese Lücke auch zahlreich von Bots im Netz genutzt.

Also vielen Dank an euch alle, besonders an Cae und vielleicht hilfts den ein oder anderen noch.

Jetzt heißt es für mich beobachten... .

MfG,

Christian

[Cae]

Ui, tatsächlich. Sehr gut, dass es auch eine vermutlich funktionierende Lösung gibt. Sogar passgenau auf den String. Wobei ich mich frage, wie haufenweise Quake-Engine-Server damit herumrennen können, ohne dass es mal auffällt… CoD2 müsste bald 10 Jahre alt sein.
Komisch, dass der Bug wohl erst kürzlich verwendet wird, obwohl er schon recht lange bekannt ist. Das erste Mal hab' ich im November '11 davon gehört.

Gruß Cae

[cees12]

Hallo Cae,

So wie ich das gelesen habe wird der Bug auch seit Herbst/Winter 2011 verwendet. Ich habe mal nen paar Server getestet. Die meisten scheinen dagegen bereits geschützt zu sein, viele sind aber noch immer ungeschützt. Da scheinen die Admins dann nicht zu Monitoren oder Ihnen ist das egal?!

MfG,

Christian.

[TRex]

Nein, die jammern dann nur in irgendwelchen Serverforen und fragen, ob das was bringen würde, wenn man den Kernel mit 1000Hz kompiliert...es gibt so viele, die da mit 0 Ahnung nen eigenen Rootserver mieten. Der Rest sucht halt erstmal die Ursache des lahmen Servers (ich denk mal, dass das nicht alle beobachten, wie du schon sagst) und wenn sies gefunden haben, gehen davon vielleicht n paar den Windows-Way und installieren neu und die anderen suchen sich nen Wolf im Netz.