NIC Bonding kein Auslgiech

[Peterich]

Folgendes Problem :

3 Netzwerkkarten:
Intel 82579V = eth0
Intel 82571EB = eth1
Intel 82571EB = eth2

etc/network/interfaces :

Code: Alles auswählen

# The loopback network interface
auto lo
iface lo inet loopback

auto lo bond0
iface bond0 inet static
  address 10.8.10.1
  netmask 255.0.0.0
  network 10.0.0.0
  gateway 10.8.10.200
  dns-nameservers 10.8.10.200 8.8.8.8
  slaves eth1 eth2
  bond_mode 802.3ad
  bond-miimon 100
  bond-updelay 200
  bond-downdelay 200


auto eth0
allow-hotplug eth0
iface eth0 inet static
 address 10.8.10.3
 netmask 255.0.0.0
 gateway 10.8.10.200
 dns-nameservers 10.8.10.200 8.8.8.8

iface eth0:1 inet static
        address 10.1.1.1
        netmask 255.0.0.0
        broadcast 10.1.1.255
        network 10.0.0.0

iface eth0:2 inet static
        address 10.1.1.2
        netmask 255.0.0.0
        broadcast 10.1.1.255
        network 10.0.0.0

Debian Jessie 8.3

Wenn ich den Rechner starte läuft der gesamte Traffic von Netzlaufwerken zb. über "eth0" obwohl die netzlaufwerke alle über die IP von "bond0" angesprochen werden. da hilft dann ein "ifdown eth0" "ifup eth0" danach fließt der Traffic über "bond0“


Das zweite Problem bezieht sich auf das "bond0". ich weiß das bei 802.3ad nicht die einzelnen Verbindung von Rechner zu Rechner beschleunigt werden kann sondern nur bei mehrfachem Zugriff.
Trotzdem fließt, wenn ich mit 3 Rechnern drauf zugreife, alles über "eth2".

Code: Alles auswählen

bond0     Link encap:Ethernet  Hardware Adresse 00:15:17:b0:73:80
          inet Adresse:10.8.10.1  Bcast:10.255.255.255  Maske:255.0.0.0
          inet6-Adresse: fe80::215:17ff:feb0:7380/64 Gültigkeitsbereich:Verbindung
          UP BROADCAST RUNNING MASTER MULTICAST  MTU:1500  Metrik:1
          RX packets:325942582 errors:0 dropped:544 overruns:0 frame:0
          TX packets:341485265 errors:0 dropped:0 overruns:0 carrier:0
          Kollisionen:0 Sendewarteschlangenlänge:0
          RX bytes:424787584323 (395.6 GiB)  TX bytes:476183467288 (443.4 GiB)

eth1      Link encap:Ethernet  Hardware Adresse 00:15:17:b0:73:80
          UP BROADCAST RUNNING SLAVE MULTICAST  MTU:1500  Metrik:1
          RX packets:183729 errors:0 dropped:0 overruns:0 frame:0
          TX packets:95184 errors:0 dropped:0 overruns:0 carrier:0
          Kollisionen:0 Sendewarteschlangenlänge:1000
          RX bytes:22489880 (21.4 MiB)  TX bytes:19166736 (18.2 MiB)
          Interrupt:16 Speicher:f7c80000-f7ca0000

eth2      Link encap:Ethernet  Hardware Adresse 00:15:17:b0:73:80
          UP BROADCAST RUNNING SLAVE MULTICAST  MTU:1500  Metrik:1
          RX packets:325750173 errors:0 dropped:415 overruns:0 frame:0
          TX packets:341375068 errors:0 dropped:0 overruns:0 carrier:0
          Kollisionen:0 Sendewarteschlangenlänge:1000
          RX bytes:424764052534 (395.5 GiB)  TX bytes:476150694800 (443.4 GiB)
          Interrupt:17 Speicher:f7c20000-f7c40000

Bei dem Switch handelt es sich um "Dlink DGS-1210-16"
Da ich eher Linux-Neuling bin, komme ich an dieser Stelle nicht mehr weiter...
Für mich wäre es auch okay wenn ich den 2 anderen Rechnern jeweils eine der Netzwerkkarten zuweisen könnte und den restlichen Traffic über die 3te Karte leiten könnte. Ich habe auch diesbezüglich schon recherchiert und bin über Routing gestoßen ,habe aber nicht wirklich für mich etwas brauchbares gefunden.

[r4pt0r]

Der Switch muss 802.11ad unterstützen (auch den gewünschten modus bzw subset der spezifikation) und es muss korrekt eingerichtet sein.

Alle Switches unterhalb von ca 500EUR die ich bisher in den Fingern hatte können nur den einfachen Part von 802.11ad: entweder passiv mit loadbalancing, aber Ausfall des gesamten Links wenn eine Route wegfällt, oder active (LACP), dann aber ohne richtiges Loadbalancing. Dann tritt genau das auf was du beobachtet hast und es wird je Verbindung (MAC <-> MAC oder IP <-> IP, je nach implementierung) nur eine Route genutzt.
Implementierungen die vollständige Bündelung MIT Redundanz bieten hab ich bisher nur als proprietäre implementierungen gesehen - funktionieren also nur zwischen Geräten des selben Herstellers (bzw sogar nur innerhalb der selben Modellserie)

Man kann mit einem kleinen Trick aber beide Routen nutzen ohne dabei auf die redundanz zu verzichten:
Hier im Firmennetz laufen mehrere Cisco SG 300 - die können auch nur active/passive. Server und Backupserver im Nebengebäude sind ebenfalls jeweils über (mindestens) 2x GBit angebunden, die beiden Switches dazwischen sind per 2x GBit Uplink verbunden (802.11ad active/LACP). Damit ich Ausfalltoleranz eines Links behalten und trotzdem beide Routen voll auslasten kann, lasse ich amanda über mehrere SSH-Tunnel verbinden, teilweise auf verschiedene (alias-)Interfaces, um die switches "auszutricksen". Der Gesamtdurchsatz zum Backupserver liegt dabei dann bei ca 1750-1800MBit vs 930-950MBit mit nur einer Route - der Overhead ist also zu vernachlässigen...
GGf sollte man auch mit Jumbo frames testen - das brachte bei mir aber mehr Probleme (iscsi...) als der minimale Performancegewinn gerechtfertigt hätte.

[Peterich]

Gut das mit Mac->Mac was bei mir der fall ist wusste ich das komische ist halt nur das er auch wenn 3 anfragen gleichzeitig kamen das ganze immer nur auf einem Port gelaufen ist.
Da is mir primär nicht um die geschwindigkeit geht habe ich das aber jetzt anders gelöst ich habe den Trunk aufgehoben und bin auf balance-alb umgestiegen

Mit nur maximal 4 clients die gleichzeitig darauf zugreifen funktioniert das Ohne Probleme

getestet habe ich auch balance-rr was auch funktioniert hättet bzw hat und auch mehr geschwindigkeit gebracht hat allerdings in die Falsche richtung

Seltsam ist wirklich nur das vorher von Windows -> Windows Server das ganze mit den Ports funktioniert hat es gab zwar kein wirkliches Load-Balancing das ich von einem Client auf den Server mit 2Gbit arbeiten konnte aber bei mehreren clients war es auch auf mehrer karten verteilt


PS: ich habe gestern noch http://stoertebecks.com/link-aggregatio ... ohne-lacp/ gefunden das werde ich wenn den zweiten rechner mit auf linux und duale netzwerkkarte umstelle mal testen

[r4pt0r]

Dann ist aber eher an der Konfiguration was faul - bei Verbindungen zu unterschiedlichen Clients und wenn der Dienst wirklich am bond horcht, sollten die Verbindungen über alle Links verteilt werden.

Setze das listen interface bzw address der betroffenen Dienste auf bond0 bzw dessen IP (BTW: ist das wirklich gewünscht das komplette Klasse A Netz zu belegen? Mehr als ein/mehrere Klasse C sollte man in LANs eigentlich nur in Ausnahmefällen benötigen/nutzen...)

Aber nochmal die Frage: wurde der Trunk am Switch auch eingerichtet? Solange der nix davon weiß kann das nicht funktionieren, da die MAC des Trunks in der ARP-Tabelle des Switches ständig zwischen den beiden Ports hin und her wechselt oder an einem "festfriert" (beides schon gesehen).


Die Variante mit den VLANs ist ziemlich umständlich - solange man nicht wirklich dringend auf so hohe Bandbreiten angewiesen ist würde ich es bei Trunking belassen, erst recht wenn du dich selbst noch als Neuling bezeichnest. Da holst du dir nur Gremlins die dir ohne das nötige Hintergrundwissen schnell den letzten Nerv rauben.

[Peterich]

Also der Switch war eingerichtet

bei 802.3ad stand bei Port 7,8 auf LACP und in den LACP einstellungen Activity auf Aktiv und Timeout auf Long an den selben Ports hing vorher der Windows Server bei dem Alles funktioniert hat Activity hab ich auch schon auf passiv gestellt und Timeout auf Short alles durchprobiert in sämtlichen varianten
bei balance-rr stand nur bei Port 7,8 auf Trunk ohne LACP

bei LACP hat er aufjefnall umgeschaltet wenn ich eth2 rausgezogen hab dann lief der verkehr auf eth1

Classe A aus dem grund damit wenn man mal jemanden im netz hat der doch denkt er kennt sich ein wenig aus wundert er sich erstmal über die IP alle kennen ja nur 192.168.X.X zwetens dauert das durchsuchen mit handeslüblichen tools so lange das man garnicht Probiert die ip´s der vorhandenen geräte herauszufinden und zur guter letzt kann ich so besser für mich aufteilen 10.1.1.X Wlan geräte 10.10.x.x IP cams zb muss mir das ja nur behalten können

Ja das mit den VLAN´s ist auch wirklich nur mal wenn ich zeit hab zum Testen geplant ist das nicht die bandbreite brauch ich auch nicht wenn ich wirklich mehr bandbreite brauche würde ich mir doch lieber 10Gibt´s zulegen

[dufty2]

/etc/network/interfaces :

Code: Alles auswählen

# The loopback network interface
auto lo
iface lo inet loopback

auto lo bond0
iface bond0 inet static

Mmmh, ich würd's jetzt nicht verschreien, aber evtl. erlaubt "auto" nur einen Parameter, aber Du hast
auto lo bond0
Probiers doch mal mit nur
auto bond0
Vielleicht hilft Dir das bei Deinem ersten Problem.