routing auf zwei gateways, verzweifele an openvpn

[erzich]

Hallo,


ich stecke zur Zeit wirklich fest, seit Wochen versuche ich immer wieder folgendes ohne Erfolg:

Ein Rechner mit zwei interfaces eth0 und eth1 soll zwei Verbindungen zu einem Server über Openvpn herstellen, eine über Port 1194
und eine über Port 1195. Die Schnittstellen sind in verschiedenen Netzen mit verschiedenen gateways zum Internet, beide
gateways sind erreichbar.

Da der Server nur eine IP Adresse hat und auch keine weitere buchbar ist habe ich ein portbasiertes routing versucht, für port 80
zum Beispiel hat das auch funktioniert aber Openvpn ignoriert die Anweisung den udp traffic auf port 1195 über gateway 2 zu schicken
bei gleicher Konfiguration der Regeln.

Wie bringe ich Openvpn dazu eine Verbindung über ein bestimmtes gateway aufzubauen ?

Durch etwas Glück habe ich zur Zeit zwei Anschlüsse gleichzeitig, das Ziel ist den Verkehr über die beiden VPN Verbindungen
gebündelt laufen zu lassen, leider scheitert es bei mir bisher an den parallelen VPN Tunneln da immer nur das default gateway genutzt wird,
der Rest ist vielfach erklärt und sollte kein Problem sein (bonding) aber in keiner der Anleitungen wird auf den VPN Tunnel eingegangen.

Aus Frust habe ich mal getestet wie es mit load balancing und Downloadmanager aussieht, das funktioniert sehr schön mit bis zu
12MB/s (Anschlüsse 50000/10000 und 64000/5000), wenn es um den Download ginge wäre kein Problem da, es geht aber hauptsächlich
um den Upload um dahinter einen Server mit hoffentlich 12000-14000 kbit/s zu betreiben, nur aus Spaß aber ich weiß das es theoretisch
geht deshalb muss das unbedingt sein

Vielleicht kann mir jemand den entscheidenen Tip geben.

Ich würde mich nicht als totalen Anfänger in Sachen Linux bezeichnen, in den letzten 8 Jahren habe ich eigentlich Alles was gehen sollte
dank exzellenter Anleitungen im Netz (im Gegensatz zu "Windows Themen") und inzwischen auch durch eigene Ideen hinbekommen,
wenn es um Dinge wie Desktop/Wlan/Grafikkarte usw geht habe ich normal keine Probleme. Das routing abseits der Norm ist aber wieder
eine Stufe weiter, dazu findet man auch nur dehr wenig im Internet ausser grundsätzlichen Anleitungen und sehr umfangreichen "Kursen".
Leider bin ich der einzige Linux user in meinem Umfeld (mal abgesehen von TV's, Konsolen Navis, Receivern, Playern, Routern u.s.w ),
daher ist mein komplettes Wissen nur "angelesen", trotzdem waren interessante Dinge mit Ubuntu, Debian, OpenWRT, Playstation,
Freetz, OpenVPN, live cluster, Nokia N900 und viel mehr möglich. Im Bereich routing bin ich aber ein extremer "noob", gäbe es eine komplett
korrekte Anleitung würde ich sie 100% verstehen, selbst herleiten kann ich mir bei dem Thema aber nur sehr wenig.



Mit freundlichen Grüßen

[syssi]

Hier ein Link der nur als Denkanstoss dienen soll: http://www.linupedia.org/opensuse/Policy_Based_Routing (ruhig bis zum Ende lesen: "Beispielhafte Konfiguration - Unterschiedliches Routing für verschiedene Dienste")

Dein Ziel sollte sein Pakete fuer VPN-Host:1194 anders zu taggen als die fuer VPN-Host:1195 und mit Hilfe dieser Markierung die Verbindung ueber das richtige Default-Gateway zu routen.

Gruss syssi

[erzich]

Danke für die schnelle Antwort, leider habe ich es genau wie im link

Code: Alles auswählen

 iptables -A PREROUTING -t mangle -p tcp -d a.b.c.d --dport 443 -j MARK --set-mark 2

u.s.w.

gemacht, bei port 80 funktionierte das auch doch openvpn gibt immer das normale default gateway
bei Verbindungsaufbau aus, egal was für Regeln bestehen.

Wenn kein default gateway eingestellt ist funktioniert die Verbindung nicht trotz der Regeln, sogar
wenn ich in der server.conf die push Befehle auskommentiere.

[syssi]

Hast du moeglicherweise verschlafen, dass es sich um eine UDP-Verbindung handelt?

Code: Alles auswählen

iptables -A PREROUTING -t mangle -p udp -d a.b.c.d --dport 1194 -j MARK --set-mark 2

Ausserdem ist dein Szenario ziemlich komplex und kann an vielen Stellen scheitern. Es waere deshalb gut zu wissen, wieviel deiner Setups funktioniert und wieviel nicht. Erstmal solltest du gewaehrleisten, dass du den VPN-Server ueber die unterschiedlichen Weg sauber erreichen kannst. Du kannst ja einen zusaetzlichen SSH-Port auf dem Server oeffnen und mit zwei SSH-Verbindungen ueben. Wenn diese funktionieren, dann kannst du es mit "-p udp --dport 1194" versuchen.

Danach stellst du erstmal sicher, dass zwei VPN-Verbindungen sauber aufgebaut und gehalten werden koennen. Danach kann man sich um den Traffic kuemmern, der durch diese Verbindungen fliesst oder eben nicht fliesst, weil unklar ist, durch welchen Tunnel er geroutet gehoert. Du kannst ja selbst mal versuchen die Regel zu formulieren. Wenn die Regel lautet "alles was ueber bla herein kommt, soll", dann wirst du auch Incoming-Traffic entsprechend markieren muessen.

Gruss syssi

[erzich]

Es handelt sich um zwei tap devices und Verbindungen über udp, leider liegt der Fehler nicht bei udp, meine Regel sah genau so aus wie die von dir.
Bei den Verbindungen habe ich mir auch gedacht, erstmal die und dann den Rest versuchen. Auf dem Server liegt eine server.conf und eine server2.conf,
ein server auf 1194 und einer auf 1195. Dann wurden die erstellten Dateien ca.crt, verb1.crt, verb1.key, verb2.crt, verb2.key mittels SCP hier her
übertragen und noch die client configs verb1.ovpn verb2.ovpn erstellt. Wenn Verbindung1 oder Verbindung2 aufgebaut wird funktioniert auch alles,
der komplette Internetverkehr läuft über VPN und ich "surfe" mit der IP vom Server, wenn beide Verbindungen aktiv sind kann man sich auch
von allen Seiten anpingen oder vom Heimnetz eine SSH Verbindung auf die VPN IP's aufbauen. Erst hatte ich ein Ubuntu 12.04 laufen aber da der
Networkmanager in Verdacht geriet nun Debian 7.1.0 ohne grafische Oberfläche und unnötige Dienste.

Bei den Verbindungen selbst ist eigentlich alles in Ordnung, ausser dem großen Problem das OpenVPN immer für beide das Standardgateway benutzt
und damit natürlich die Bandbreite von nur einem Anschluss zur Verfügung hat. Beim Verbindungsaufbau wird in einer Zeile etwa das ausgegeben:
"ROUTE default gateway = z.b. 192.168.2.1", egal was ich für Regeln für Port 1194/1195 erstelle, die selben Regeln funktionieren aber zum Beispiel
für Port 80 problemlos, zumindest konnte ich mit ifconfig erkennen das Alles nur über den gewünschten Adapter fließt. OpenVPN erstellt auch immer
eine neue Route zur IP des Server wenn eine Verbindung aufgebaut wird, leider habe ich nur eine IP sonst wäre es viel einfacher.
Dazu ist mir eine Frage eingefallen, gibt es einzelne IP's zum mieten ? So wie eine domain ohne webspace in etwa, nur zur Weiterleitung.

Dann habe ich noch folgendes getestet (war eine andere Seite aber nach diesem Muster)
http://wiki.pachogrande.com/howto/how-t ... m-gateways, dazu ein default gateway als load balancing (nexthop via... , beide weight 1),
meine Idee war das Verbindung1 eben zufällig eines der gateways nimmt und Verbindung2 automatisch das andere, auch das geht nicht obwohl
beim surfen oder runterladen beide Leitungen perfekt fast 1:1 ausgelastet werden. Die Regeln in der /etc/network/interfaces sollten eigentlich dafür
sorgen das Sachen von/für eth0 auch wieder an der richtigen Stelle ankommen stand auf der Seite die ich leider nicht mehr finde.

Und noch eine verzweifelte Idee: Kann man wenn es nur für den Browser wäre nicht einfach auf dem Server squid installieren, connections per IP auf
vier oder acht hochsetzen und dann über das loadbalancing auf den Proxy zugreifen der selbst eine 100Mbit/s Anbindung hat ?

[syssi]

Nein, IPs kann man nicht extern einkaufen, da sie intern im RZ korrekt geroutet werden muessen.

Kannst du deine Konfiguration noch etwas transparenter gestalten? Weniger Worte, mehr Konfigurationen. Welche Adressbereiche werden fuer das VPN verwendet. Wenn Verbindungen (externe IPs) ueber eine VPN-Verbindung herein kommen und von deinem PC beantwortet werden, dann wirft dein PC die Antwort gegen das Default-GW (ggf. genau die falsche VPN-Verbindung?). Das Problem koenntest du per SNAT umgehen oder du musst auch die herein kommenden Pakete markieren, um sie anschliessend ueber die korrekte VPN-Verbindung zu beantworten. Sieht dein Setup so aus?

Code: Alles auswählen

VPN-Client 1 (192.168.3.2) ---- steht -----> VPN-Server (192.168.3.1)
VPN-Client 2 (192.168.4.2) ---- steht -----> VPN-Server (192.168.4.1)
VPN-Client Host: Default-GW = 192.168.3.1

Und das Problem ist, dass alle Verbindungen ueber den VPN-Server 192.168.3.1 geroutet werden?

Gruss syssi

[erzich]

Danke für deine Hilfe,


Die VPN Verbindungen sehen so aus, jede für sich funktioniert auch gut.

Code: Alles auswählen

tap0 vpn client 10.0.0.2  >>  eth0 192.168.2.11  >> router 192.168.2.1 ISP1  >>  server 212.xxx.xxx.xxx:1194  >>  vpn server 10.0.0.1  >>  Internet
tap1 vpn client 10.0.1.2  >>  eth1 192.168.175.11  >> router 192.168.175.2 ISP2  >>  server 212.xxx.xxx.xxx:1195  >>  vpn server 10.0.1.1  >>  Internet

Da der Server nur eine IP hat soll port 1195 über gw 192.168.175.2 raus gehen, alles andere über das default gw 192.168.2.1.


Zur Zeit ist das die /etc/network/interfaces:

Code: Alles auswählen

allow-hotplug eth0
iface eth0 inet static
        address 192.168.2.11
        netmask 255.255.255.0
        post-up ip route add 192.168.2.1/32 dev eth0 src 192.168.2.11 table aaa
        post-up ip route add default via 192.168.2.1 table aaa
        post-up ip rule add from 192.168.2.11 table aaa
        post-down ip rule del from 192.168.2.11 table aaa


allow-hotplug eth1
iface eth1 inet static
        address 192.168.175.11
        netmask 255.255.255.0
        post-up ip route add 192.168.175.2/32 dev eth1 src 192.168.175.11 table bbb
        post-up ip route add default via 192.168.175.2 table bbb
        post-up ip rule add from 192.168.175.11 table bbb
        post-down ip rule del from 192.168.175.11 table bbb

So sieht es aber erst seit gestern aus, vorher war alles "normal" konfiguriert. Dies war zum Test für load balancing:

Code: Alles auswählen

ip route add default scope global nexthop via 192.168.2.1 dev eth0 weight 1 nexthop via 192.168.175.2 dev eth1 weight 1

Vorher hatte ich schon das hier probiert:

Code: Alles auswählen

iptables -t mangle -A PREROUTING -p udp --dport 1195 -j MARK --set-mark 3
ip rule add fwmark 3 lookup aaa
ip route add default via 192.168.175.2 table aaa

Leider ohne Wirkung


Ausgabe ip route >

Code: Alles auswählen

default 
        nexthop via 192.168.2.1  dev eth0 weight 1
        nexthop via 192.168.175.2  dev eth1 weight 1
192.168.2.0/24 dev eth0  proto kernel  scope link  src 192.168.2.11 
192.168.175.0/24 dev eth1  proto kernel  scope link  src 192.168.175.11 

Die früheren Daten vorheriger Versuche sind natürlich weg und gerade jetzt funktioniert wieder garnichts, werde wohl nochmal von vorne beginnen.


Eigentlich sollte die Geschichte doch auf einem OpenWRT Router auch laufen, da bin ich aber nicht mit dem MultiWAN Paket zurecht gekommen,
VPN (eine Verbindung) ging aber super, im Zusammenhang mit mjpg-streamer, UMTS und webcam sehr interessant.


Mit freundlichen Grüßen

[syssi]

Und wie ist der aktuelle Stand? Koennen die VPN-Verbindungen hergestellt werden? Lassen sich 10.0.1.1 und 10.0.0.1 pingen?

[erzich]

Theoretisch ja, aber eben wie gesagt immer nur über das default gateway, meine "codes" aus dem letzten Beitrag sind nur Bruchstücke
und ein Teil der aktuelle Zustand, ich werde nochmal Debian frisch installieren und dann jeden Schritt vorher hier posten.
Es kann nicht sein das dieses Projekt scheitert , ich weiß das dieses Vorhaben 100% machbar ist und würde gerne anderen helfen
wenn ich einmal raus habe wie es geht. Bis Freitag bin ich nicht mehr am entsprechenden Rechner und habe auch keine Freigabe auf den
SSH port eingerichtet daher bin ich (zum Glück...) erstmal davon los. Obwohl auch hier zwei Anschlüsse sind bzw. der Nachbar erreichbar
Das Schlimmste ist: WDR3600 mit OpenWRT und zwei Raspberry PI warten auch noch, damit ging aber bisher Alles gut.

[hschroed]

Moin,

mit der Prerouting-Regel in IPtables wird das auch nicht klappen, wenn es sich um einen lokalen OpenVPN handelt, siehe folgenden Link:

http://xkr47.outerspace.dyndns.org/netf ... _flow9.png

Die einzige Chance die du hast ist wenn du in der OpenVPN-Config, den direkt jeweils an ein Interface bindest.

Gruß und viel Spass,

hschroed

[erzich]

Hallo nochmal,


der VPN server steht im Internet aber hat leider nur eine IP...

Was gestern Abend funktioniert hat: Ein Router (wdr3600) mit openWRT und zwei mal umts (7,2 und 3,6) sowie DSL16000
und dazu (wegen wlan leider nur) "DSL6000". Leider ist auch dieser eigentlich kräftige Router bei der Aufgabe überlastet. Trotzdem
habe ich mit torrent debian image 2,5MB/s geschafft statt sonst max 1,3MB/s, drei Leitungen wurden simultan genutzt, der
load lag aber teilweise über 1 bzw 2 man braucht also eher einen richtigen server, VPN war ja nichtmal aktiv. Warum maximal
drei von vier Anschlüssen verwendet wurden bleibt ein Geheimnis von multiWAN in openWRT, im Prinzip haben alle funktioniert.

Nun habe ich keine Zeit mehr hier was neues zu machen aber zuhause wartet ja der eigentliche Grund für das Thema.

Debian wird frisch installiert und dann schreibe ich jeden Schritt hier auf, in der Hoffnung verbessert zu werden.
Ich denke das Thema interessiert auch andere die sich noch nicht daran getraut haben, wenn ich geschafft habe was geplant
ist helfe ich gerne jedem weiter der das selbe realisieren will. Das hat sogar Potential für eine eigene website die jedem zeigt
wie es geht.


mit freundlichen Grüßen

[erzich]

Es stellt sich immer mehr heraus das ein routing auf zwei verschiedene IPs kein Problem ist aber die Sache mit den ports nicht
sehr verbreitet und komplizierter. Zum jetzigen server bekomme ich keine zusätzliche IP, dann könnte ich noch einen amazon ec2
verwenden mit beliebig vielen IPs aber der steht in USA/NV und wird kaum mehr als eine Leitung hier bringen. Die nächste Idee
wäre ein 1und1 dynamic cloud server ohne Laufzeit und zusätzlich buchbarer IP. Leider konnte mir von den Leuten dort weder
jemand sagen wie das mit den zusätzlichen IPs läuft, wieviel sie kosten oder wie viele Monate man an sie gebunden ist.
Auch zur Funktion "sleep mode" war keine Aussage möglich. Wenn klar wäre das man das Teil wirklich beliebig oft kostenlos
bis zu sechs Monate abschalten kann ohne monatliche Kosten würde ich sofort zuschlagen. Maximal 32GB ram, 8 vcores 2Ghz,
0,41€ pro Stunde und das billigste 0,04€ pro Stunde. Für solche Versuche wär das doch optimal wenn man nur bezahlt wenn
"eingeschaltet" ist. Hat jemand Erfahrungen mit dem Produkt ?

Gestern habe ich auf dem server mal proftpd installiert und auch eigestellt das ein user mehrere Verbindungen aufbauen darf,
mit Filezilla auf meiner Seite war trotzdem nur der Upload von einer Leitung da....

Nun ist mir noch eine Idee gekommen, es geht ja eigentlich nur um schnellen upload zu einer bekannten Gegenstelle bzw.
download von dort. "Surfen" ist mit einer Leitung schnell genug und load balancing über den OpenWRT Router funktioniert
bis auf ein Problem wunderbar. (im Gegensatz zu meinem Testrechner mit der weiter oben genannten nexthop Lösung
wird auch mit einem Downloadmanager nur eine Leitung verwendet, bei bittorrent allerdings beide mit bis zu 14MB/s, auch
beim surfen ist die Belastung perfekt auf beide Seiten verteilt.)

Jetzt aber zur Idee, die zu übertragenden Daten per torrent verschicken, der Rechner mit den zwei Leitungen ist zweimal
"seeder" und der Empfänger der einzige "leecher", so sollte sich der komplette upload nutzen lassen und ein extra server
wird gespart. Der erste Versuch war dazu auf dem server testweise bttrack zu starten und auf einem Rechner zuhause eine
.torrent Datei mit diesem tracker und einer Datei auf der Festplatte zu erstellen. Die wurde dann auf diesem und einem
zweiten Rechner mit Ktorrent gestartet, auf dem ersten stand es dann auch auf seeding... aber der zweite hat leider nie
angefangen zu laden. Vielleicht bekomme ich das ja wenigstens hin, soll ja auch ohne tracker gehen.


edit:
"Schlüsselfeature des neuen 1&1 Dynamic Cloud Server Angebots ist der so genannte Sleep Mode. Nutzer des Flex-Tarifes
können damit CPU-Nutzung und RAM komplett herunterfahren. Alle Daten bleiben dabei sicher auf dem gebuchten
Festplattenspeicherplatz (mind. 100 GB) gespeichert. Diese Option wird derzeit für 6 Monate kostenlos angeboten. So lassen
sich die monatlichen Kosten im Handumdrehen auf null reduzieren, wenn zum Beispiel ein Projekt zwischenzeitlich auf Eis liegt.
Dieser Vorteil zahlt sich insbesondere bei jeglicher Art von Saisongeschäft oder auch für Freelancer aus. Für IT-Verantwortliche
ist der Sleep Mode ein effektives Mittel, Kosten zu kontrollieren und wenn nötig zu senken. Der Flex Tarif für die 1&1 Dynamic
Cloud Server kostet günstige 0,03 Euro pro Stunde. Das heißt, eine Basis-Konfiguration im Flex Tarif bekommen Sie schon
für 21,60 Euro im Monat. Mit an Bord: die volle Flexibilität, jederzeit bis zu 8 virtuelle Prozessorkerne, bis zu 32 GB Arbeitsspeicher
oder bis zu 800 GB Festplattenspeicherplatz zu buchen, oder den Server vorrübergehend schlafen zu schicken. Der Flex-Tarif ist
ohne Mindestvertragslaufzeit buchbar." OK das hört sich gut an aber was passiert in der Zeit mit der zusätzlichen IP und hat auch
sie keine Mindestlaufzeit ? Vielleicht weiß die Hotline heute mehr

[TRex]

Ich könnte mich irren, aber für deinen Client gibt es eine Verbindung und für die Gegenstelle zwei. Du stellst damit Redundanz her, aber wie stellst du es an, deinen Traffic zu parallelisieren? Immerhin weiß dein Gateway nichts von der Gesamtgröße der Verbindung.

[erzich]

Das soll hier zwar kein blog werden aber ich berichte noch mal:


1. kurz vor einem Anfall von Erbrechen, um es mal ganz untertrieben zu sagen....
2. Eine Sensation, es gibt sogar Zeugen



Nun habe ich einen 1und1 "Dynamic Cloud Server" gemietet plus eine zusätzliche IP, im Prinzip funktioniert
das auch, jedenfalls lassen sie sich pingen und SSH geht auch auf beiden.
Dann openVPN installiert, keys und Zertifilkate erstellt, configs erstellt, Ergebnis ist das die erste Verbindung
nach etwas Arbeit in Ordnung war, inklusive internet gateway Funktion. Diese client und server config habe ich dann
1 zu 1 übernommen, mit Ausnahme der Adressen natürlich, Verbindung zwei funktioniert nicht, und das allein, bei
parallel bin ich noch garnicht, bisher nur Test. Ein Problem bei der Sache scheint die 1und1 firewall zu sein denn auch
hier waren die Einstellungen identisch, Reaktionszeit ist dort aber Willkür (bis zu 15 Minuten....). Bei deaktivierter
oder noch nicht eingerichteter ist es aber das selbe... Jedenfalls könnte kotzen... und habe auch keine
Zeit mehr ab spätestens Übermorgen für ein paar Tage.



Ist schon mal jemand aufgefallen das zB bei SCP die upload Rate von VDSL/DSL für wenige Sekunden sehr viel höher
ist als normal? Meine Idee war einmal ein Programm das die Datei in 1-5MB große Stücke teilt und dann über SCP
Verbindungen versendet, an der Gegenstelle wird alles wieder zusammengesetzt. Das klingt ähnlich wie bittorrent aber
würde immer nur auf einer Verbindung die ständig neu aufgebaut basieren. Vor wenigen Tagen bin ich auf bittorrent sync
gestossen was eigentlich genau das macht was ich will, dazu werden noch mehrere Verbindungen aufgebaut.
Es lief btsync auf einem Rechner mit Kubuntu 12.04, dieser hing per Kabel am openWRT router auf dem multiwan läuft,
jedoch nur ein kabel war angeschlossen (VDSL), der zweite Rechner (win7 btsync) war über wlan mit einer Vodafone
easybox803 die mit einem cisco Unitymedia Modem versogt wir angeschlossen. Ich habe danach mehrmals kontrolliert
ob keine andere Verbindung besteht, nein, ein router nur am Kabelmodem, der andere nur am VDSL. Der erste per LAN
an Unitymedia, der zweite an Vodafone(Telekom) VDSL über wlan. Der Test wurde mehrmals wiederholt mit debian
images, von Anschluss A zu Anschluss B wurde mit dauerhaft über 7MB/s !!!!!!! übertragen.

Rechner 1 <> router openWRT <> router Vodafone VDSL <> INTERNET 7MB up ! <> router Unitymedia <> Rechner 2

nur Internet dazwischen, wie kann das sein? Ist es die Aufteilung in 4MB Stücke plus viele Verbindungen ? ein
Anzeigefehler kann es nicht sein habe die Zeit gemessen, vorher war die Datei 750MB nur auf Rechner 1, nach
erstaunlich kurzer Zeit auch auf Rechner 2

Da wo ich jetzt bin klappt das leider nicht.... obwohl auch bei diesem Anschluss in den ersten Sekunden sehr hohe
Datenraten möglich sind.


Kann da einer was zu sagen, sorry es sind sehr viele Fragen.