Gigabit Netzerk auf betagtem PowerEdge System

ManInTheShak · Beitrag von **ManInTheShak** » 26.04.2005 19:44:03

Hallo,

da ich mein Netzwerk jetzt von BNC auf Gigabit TP umgestellt habe frage ich mich nun warum mein betagter Dell PowerEdge das GBit nicht voll ausnutzen kann.
D.h. bei einigen Test mit wget/apache komm ich auf etwas mehr als 100MBit ein Test mit NetIO brachte Werte zwischen 10 udn 14,5 MB/s und voller CPU last auf einer CPU.

Der Server hat folgende Eckdaten

CPU: 2x Pentium II (Klamath) 233 Mhz
Ram: ~400 MB mit ECC
HDD: 2x SCSI 3 QUANTUM ATLAS 10K
NIC: Intel PRO/1000 GT Desktop

Hat von euch jemand Erfahrung mit Gigabit auf ähnlichen Systemem ?
Da ich bis jetzt noch einen Kernel 2.4.21 fahre, macht es da eventuell Sinn einen neueren Kernel bzw. sogar auf 2.6 upzugraden ?
(hatte bisher immer Probleme mit dem IDE-Raid Controller (siimage))

Gruß ManInTheShak

mistersixt · Beitrag von **mistersixt** » 27.04.2005 10:49:00

Ruf mal das Tool "mii-tool" auf, das zeigt Dir an, mit welcher Geschwindkeit Deine Netzwerkkarte mit der Gegenstelle (wahrscheinlich Switch) spricht.

Gruss, mistersixt.

ManInTheShak · Beitrag von **ManInTheShak** » 27.04.2005 12:21:32

mistersixt hat geschrieben:Ruf mal das Tool "mii-tool" auf, das zeigt Dir an, mit welcher Geschwindkeit Deine Netzwerkkarte mit der Gegenstelle (wahrscheinlich Switch) spricht.

Gruss, mistersixt.

Hier die Ausgabe von mii-tool und ethtool, ich vermute das das mii-tool noch nicht für gigabit funktioniert, da das ethtool und dmesg sagen, das sie gbit haben.

Code: Alles auswählen

[root@pippin:~]
$ mii-tool eth0
eth0: negotiated 100baseTx-FD flow-control, link ok
[root@pippin:~]
$ ethtool eth0
Settings for eth0:
        Supported ports: [ TP ]
        Supported link modes:   10baseT/Half 10baseT/Full
                                100baseT/Half 100baseT/Full
                                1000baseT/Full
        Supports auto-negotiation: Yes
        Advertised link modes:  10baseT/Half 10baseT/Full
                                100baseT/Half 100baseT/Full
                                1000baseT/Full
        Advertised auto-negotiation: Yes
        Speed: 1000Mb/s
        Duplex: Full
        Port: Twisted Pair
        PHYAD: 0
        Transceiver: internal
        Auto-negotiation: on
        Supports Wake-on: umbg
        Wake-on: g
        Current message level: 0x00000007 (7)
        Link detected: yes

[root@pippin:~]
$ dmesg | grep eth0
e1000: eth0: e1000_probe: Intel(R) PRO/1000 Network Connection
e1000: eth0: e1000_watchdog: NIC Link is Up 1000 Mbps Full Duplex

Wieß den jemand ob man mit so wenig CPU überhaupt mehr als 100MBit fahren kann ?

Gruß ManInTheShak

/EDIT

P.S. Die andere Seite des Speedtest hab ich mit nem 2500er WinXP System gemacht. Beide Systeme sind mit nem LinkSys (CISCO) GBit-Switch verbunden. Kabel ist Cat7 verlegt und 5e bzw. 6er Anschlussdosen/Patchkabel

deBeck · Beitrag von **deBeck** » 27.04.2005 15:50:25

Die CPUs und wohl vora llem das System/Chipsatz sind für die Aufgabe schon etwas betagt. Probier doch mal den e1000 mit "NAPI" im Kernel zu kompilieren, könnte die CPU-Last etwas drücken - aber ob das im 2.4er schon drinne ist ?
Sonst halt von http://sourceforge.net/projects/e1000/ die aktuelle Version ziehen.

mauser · Beitrag von **mauser** » 27.04.2005 20:13:01

hi,

ich kann genau dasselbe verhalten bei mir beobachten. allerdings zwischen einem e1000 und ner realtek r8169 . die e1000 ist in einem thinkpad und die r8169 sitzt in einem amd 2600+. bei einem schreibzugriff auf raid-1 per scp habe ich auch ~ 15mb/s.
ausgaben der tools sind genau dieselben. mii-tool liefert auch nur 100mbit.
ich benutze allerdings ein cat5 crossover kabel.
kann es am e1000 modul liegen?
mfg
mauser

[edit] von platte zu platte habe ich 50mb/s, daran kann es auch net liegen

deBeck · Beitrag von **deBeck** » 27.04.2005 20:27:03

Nene, MII zeigt bei ihm wenn du mal schaust schon 1000MBit an, ausserdem wird ja auch der Switch die Verbindungesgeschwnidigkeit bestätigen.
Was natürlich auch noch die CPU-Last Verringert und durchsatz gerade auf schwachen Systemen erhöhen kann, ist die MTU hochzusetzen - Stichwort Jumboframes. Allerdings müssen alle Komponeten im Netz diese auch vertragen. Die e1000 können das, ein Linksys-Switch sicherlich auch. Ob die RTL8139 Jumboframes mag...?

mauser · Beitrag von **mauser** » 27.04.2005 20:50:44

Nene, MII zeigt bei ihm wenn du mal schaust schon 1000MBit

$ mii-tool eth0
eth0: negotiated 100baseTx-FD flow-control, link ok

ich denke doch das das 100mbit sind oder nicht ?

deBeck · Beitrag von **deBeck** » 27.04.2005 23:08:07

Ok stimmt - aber darauf ist kein Verlass. Beim meinem Book mit Broadcom-Gbit (tg3-Treiber) spuckt es genau das selbe aus, obwohl die Leitung -laut Switch und Benchmarks- definitiv mit 1000MBit läuft.

Zudem steht da ja auch :

Code: Alles auswählen

e1000: eth0: e1000_watchdog: NIC Link is Up 1000 Mbps Full Duplex

Der Treiber wird es besser wissen, zumal Google sagt, daß e1000 und ethtool nicht zusammen können.

ManInTheShak · Beitrag von **ManInTheShak** » 27.04.2005 23:37:47

So ich hab jetzt noch ein paar Performance Tests mit NetIO gemacht:

Code: Alles auswählen

Treiber 6.0.54 (http://sourceforge.net/projects/e1000/)

Windows Server / Linux Client

TCP/IP connection established. (NAPI)        (NO NAPI)
Packet size  1 KByte:   11933 KByte/s	    12527 KByte/s
Packet size  2 KByte:   13001 KByte/s	    13567 KByte/s
Packet size  4 KByte:   13928 KByte/s	    14049 KByte/s
Packet size  8 KByte:   14430 KByte/s	    14498 KByte/s
Packet size 16 KByte:   14968 KByte/s	    14944 KByte/s
Packet size 32 KByte:   15462 KByte/s	    15366 KByte/s

Windows Client / Linux Server

TCP/IP connection established. (NAPI)        (NO NAPI)
Packet size  1 KByte:   17668 KByte/s	    14624 KByte/s
Packet size  2 KByte:   17407 KByte/s	    15459 KByte/s
Packet size  4 KByte:   20562 KByte/s	    19239 KByte/s
Packet size  8 KByte:   23797 KByte/s	    19196 KByte/s
Packet size 16 KByte:   24402 KByte/s	    17056 KByte/s
Packet size 32 KByte:   21865 KByte/s	    14190 KByte/s

Ergebnis der 6er Treiber von sf.net läuft besser als die Test mit dem 5.x von der Intelseite.
Ich musste auch leider feststellen, dass mein 110€ Linksys SD 2008 leider keine Jumbo Frames unterstützt, was die CPU Nutzung (so wie ich das bisher gelesen habe) verringern würde. (was ich ggf. in den nächsten Tagen mit geeignetem Crosskabel testen werde).

Eventuell versuche ich auch ein Kernelupgrade auf 2.6 wegen dem besseren Tasksheduler der bei SMP Systemen ja allgemein besser sein soll.

Gruß ManInTheShak

mistersixt · Beitrag von **mistersixt** » 28.04.2005 09:37:01

ManInTheShak hat geschrieben:
Eventuell versuche ich auch ein Kernelupgrade auf 2.6 wegen dem besseren Tasksheduler der bei SMP Systemen ja allgemein besser sein soll.

Gruß ManInTheShak

Ja, auf jeden Fall, und dann am besten auch das Tool irqbalance installieren !

Gruss, mistersixt.

ManInTheShak · Beitrag von **ManInTheShak** » 29.04.2005 16:27:47

mistersixt hat geschrieben: Ja, auf jeden Fall, und dann am besten auch das Tool irqbalance installieren !
...

Irqblanace ahb ich schonmal installiert, mit dem Kernelupdate muss ich noch wegen meinem Raidcontroller warten.

Aber hier noch mal der Vollständigkeit halber die Ergebnisse der Tests mit Jumboframes.

Code: Alles auswählen

Crossover + 6.0.54 (http://sourceforge.net/projects/e1000/)
+ irqbalance + NAPI

Windows Server / Linux Client

                      MTU 1500       MTU 9000       MTU 8000
Packet size  1 KByte: 10532 KByte/s  25026 KByte/s  22994 KByte/s
Packet size  2 KByte: 12368 KByte/s  26544 KByte/s  23304 KByte/s
Packet size  4 KByte: 12900 KByte/s  27343 KByte/s  25826 KByte/s
Packet size  8 KByte: 13746 KByte/s  27357 KByte/s  25779 KByte/s
Packet size 16 KByte: 13424 KByte/s  27950 KByte/s  26763 KByte/s
Packet size 32 KByte: 14515 KByte/s  28338 KByte/s  27103 KByte/s

Windows Client / Linux Server

Packet size  1 KByte: 16969 KByte/s  14757 KByte/s  157 KByte/s
Packet size  2 KByte: 17899 KByte/s  16811 KByte/s  2218 KByte/s
Packet size  4 KByte: 21818 KByte/s  19334 KByte/s  18866 KByte/s
Packet size  8 KByte: 23825 KByte/s  26836 KByte/s  26035 KByte/s
Packet size 16 KByte: 26597 KByte/s  27517 KByte/s  34154 KByte/s
Packet size 32 KByte: 24583 KByte/s  30047 KByte/s  39447 KByte/s

Anscheinend ist die guenstigere Gbit-Netzwerkkarte in meinem Win System nicht so gut was die Jumboframes angehen, vermute ich zumindestens, ansonsten kann ich mir die Einbrüche nicht Erklären.

Die CPU-Last wird definitiv durch Jumboframes gedrückt, der Server hatte meist zwischen 80-100% Last auf einer CPU durchs testen.

ManInTheShak

deBeck · Beitrag von **deBeck** » 29.04.2005 16:50:21

Probier auf dem anderen Rechner doch mal eine Linux Live-CD fürs Benchmarken, vieleicht ist der Linux-Treiber für die RTL8139 besser. Allerdings ist eine e1000 ist halt schon was anderes

Interessante Papers dazu :
http://www.suug.ch/sucon/04/slides/pkt_cls.pdf
http://www.tlc-networks.polito.it/melli ... qos_ip.pdf
ftp://download.intel.com/design/network ... /ap450.pdf

deBeck · Beitrag von **deBeck** » 29.04.2005 18:43:11

Da ich ähnliche Systeme hier habe, hab ich netio auch mal laufen lassen :

Windows XP SP2 : Athlon 2,3GHz, VIA KT600, Intel Pro1000MT
Debian Sarge Kernel 2.6.10-mm3 : Athlon 1,2GHz, VIAKT266A, RTL 8169, kein NAPI

Code: Alles auswählen

Windows Client, TCP, MTU 1500 :
Packet size  1k bytes:  26359 KByte/s Tx,  30409 KByte/s Rx.
Packet size  2k bytes:  49387 KByte/s Tx,  30369 KByte/s Rx.
Packet size  4k bytes:  51448 KByte/s Tx,  30059 KByte/s Rx.
Packet size  8k bytes:  50210 KByte/s Tx,  30386 KByte/s Rx.
Packet size 16k bytes:  51814 KByte/s Tx,  30482 KByte/s Rx.
Packet size 32k bytes:  47144 KByte/s Tx,  30782 KByte/s Rx.

Linux Client, TCP, MTU 1500 :
Packet size  1k bytes:  30060 KByte/s Tx,  26665 KByte/s Rx.
Packet size  2k bytes:  30368 KByte/s Tx,  46641 KByte/s Rx.
Packet size  4k bytes:  30392 KByte/s Tx,  48886 KByte/s Rx.
Packet size  8k bytes:  30694 KByte/s Tx,  51142 KByte/s Rx.
Packet size 16k bytes:  30810 KByte/s Tx,  51370 KByte/s Rx.
Packet size 32k bytes:  31108 KByte/s Tx,  51470 KByte/s Rx.

Windows Client, TCP, MTU 4000 :
Packet size  1k bytes:  5930 KByte/s Tx,  32912 KByte/s Rx.
Packet size  2k bytes:  5668 KByte/s Tx,  33198 KByte/s Rx.
Packet size  4k bytes:  53438 KByte/s Tx,  32550 KByte/s Rx.
Packet size  8k bytes:  58094 KByte/s Tx,  33025 KByte/s Rx.
Packet size 16k bytes:  58410 KByte/s Tx,  33370 KByte/s Rx.
Packet size 32k bytes:  58777 KByte/s Tx,  33688 KByte/s Rx.

Linux Client, TCP, MTU 4000 :
Packet size  1k bytes:  33285 KByte/s Tx,  5495 KByte/s Rx.
Packet size  2k bytes:  33323 KByte/s Tx,  5522 KByte/s Rx.
Packet size  4k bytes:  33150 KByte/s Tx,  55945 KByte/s Rx.
Packet size  8k bytes:  33310 KByte/s Tx,  54586 KByte/s Rx.
Packet size 16k bytes:  33080 KByte/s Tx,  58000 KByte/s Rx.
Packet size 32k bytes:  33348 KByte/s Tx,  58035 KByte/s Rx.

deBeck · Beitrag von **deBeck** » 29.04.2005 19:11:39

Boote ich auf dem schnelleren System mit der Intel-Karte Debian mit Kernel 2.6.11-cko2 und NAPI, schaut es noch besser aus und die komischen Leistungseinbrüche bei geringer Paketgröße sind verschwunden :

Code: Alles auswählen

als Client, MTU 4000
Packet size  1k bytes:  52555 KByte/s Tx,  33265 KByte/s Rx.
Packet size  2k bytes:  58768 KByte/s Tx,  33333 KByte/s Rx.
Packet size  4k bytes:  58820 KByte/s Tx,  33335 KByte/s Rx.
Packet size  8k bytes:  58836 KByte/s Tx,  33260 KByte/s Rx.
Packet size 16k bytes:  58557 KByte/s Tx,  33449 KByte/s Rx.
Packet size 32k bytes:  58899 KByte/s Tx,  33374 KByte/s Rx.

als Client, MTU 7000 (ne größere MTU will das System mit der RTL8169 nicht nehmen?)
Packet size  1k bytes:  58813 KByte/s Tx,  31218 KByte/s Rx.
Packet size  2k bytes:  60536 KByte/s Tx,  31102 KByte/s Rx.
Packet size  4k bytes:  57330 KByte/s Tx,  31322 KByte/s Rx.
Packet size  8k bytes:  60740 KByte/s Tx,  31281 KByte/s Rx.
Packet size 16k bytes:  60848 KByte/s Tx,  30577 KByte/s Rx.
Packet size 32k bytes:  60835 KByte/s Tx,  31686 KByte/s Rx.

Die Schwachstelle ist jedoch eindeutig die RTL8169, denn wenn ich mit dem unten in meinen Postings zu lesenden Notebook -mit Broadcom NetXtreme-NIC- benche (kein NAPI), kommen schon recht schöne Werte heraus :

Code: Alles auswählen

Notebook Server, MTU 1500 :
Packet size  1k bytes:  62837 KByte/s Tx,  52534 KByte/s Rx.
Packet size  2k bytes:  57314 KByte/s Tx,  52456 KByte/s Rx.
Packet size  4k bytes:  14581 KByte/s Tx,  30363 KByte/s Rx.
Packet size  8k bytes:  81440 KByte/s Tx,  59443 KByte/s Rx.
Packet size 16k bytes:  81530 KByte/s Tx,  60373 KByte/s Rx.
Packet size 32k bytes:  83165 KByte/s Tx,  60416 KByte/s Rx.

Eine größere MTU wollte mich der tg3 nicht einstellen lassen, es kam immer

Code: Alles auswählen

SIOCSIFMTU: Das Argument ist ungültig

Sollte vieleicht mal den bcm5700-Treiber probieren.

[/code]
Gruß
deBeck

mauser · Beitrag von **mauser** » 29.04.2005 20:35:24

hi,

ich kann bei mir ähliche werte zwischen rtl8169 und e1000 messen.

linux-server + linux-client.

Code: Alles auswählen

Packet size  1k bytes:  32375 KByte/s Tx,  75371 Byte/s Rx.
Packet size  2k bytes:  33144 KByte/s Tx,  57168 KByte/s Rx.
Packet size  4k bytes:  33886 KByte/s Tx,  54977 KByte/s Rx.
Packet size  8k bytes:  33174 KByte/s Tx,  55087 KByte/s Rx.
Packet size 16k bytes:  34765 KByte/s Tx,  55219 KByte/s Rx.
Packet size 32k bytes:  36222 KByte/s Tx,  52761 KByte/s Rx.

frage mich nur warum die karte so schlechte werte liefert..
mfg
mauser

deBeck · Beitrag von **deBeck** » 29.04.2005 22:16:18

Weil sie selbst für den Endkunden nur einen einstelligen Eurobetrag kostet

mauser · Beitrag von **mauser** » 29.04.2005 23:58:59

naja auch eine 10€ gbit karte sollte aber einen datendurchsatz von 1gbit haben

gibts denn tips für andere bezahlbare karten?
mfg
mauser

deBeck · Beitrag von **deBeck** » 30.04.2005 00:10:47

Na die knapp 30€ für die Intel finde ich schon gut angelegt - wenn man die Leistung und Features wirklich braucht. Sonst vieleicht noch Karten mit Broadcom oder Marvell-Chip, wobei die Intel beim reinen Durchsatz allerdings deutlich am schnellsten sein sollen. Ausserdem ist der gute Treiber schon im Kernel drinne und kann NAPI. Nur schade das es offenbar noch von keinem Hersteller PCIe-Kärtchen gibt, schon seltsam.