Schwache Performance im gigabit netz

[mark.j]

habe hier so eben eine intel 1000 MT in meinen debian-server gepackt und bin von der durchsatz rate schon ein wenig enttäuscht. über sambe, sowie über ftp ist bei 22mb/s schluss. das weitere problem ist, dass die dateien bei den 22mb/s anfangs geladen werden, aber nach einigen sekunden geht die rate teilweise auf 4mb/s runter

die hardware ist auch recht aktuell
serverseitig : athlonXP 1700+, 160gb 7200rpm samsung platte, kernel: 2.6.10
client: athlonXP 3000+, 120er 7200rpm samsung platte


ein netio test (ähnlich netperf) auf dem windowsXP-client(onboard gigabit karte) und dem server bringt:

Code: Alles auswählen

S:\Eigene Dateien\_ Applications\Windows\Net-Toolz>netio123 -t server

NETIO - Network Throughput Benchmark, Version 1.23
(C) 1997-2003 Kai Uwe Rommel

TCP connection established.
Packet size  1k bytes:  54086 KByte/s Tx,  317 KByte/s Rx.
Packet size  2k bytes:  58065 KByte/s Tx,  75818 KByte/s Rx.
Packet size  4k bytes:  60562 KByte/s Tx,  75094 KByte/s Rx.
Packet size  8k bytes:  62165 KByte/s Tx,  72882 KByte/s Rx.
Packet size 16k bytes:  63767 KByte/s Tx,  73412 KByte/s Rx.
Packet size 32k bytes:  64665 KByte/s Tx,  75029 KByte/s Rx.
Done.

S:\Eigene Dateien\_ Applications\Windows\Net-Toolz>netio123 -u server

NETIO - Network Throughput Benchmark, Version 1.23
(C) 1997-2003 Kai Uwe Rommel

UDP connection established.
Packet size  1k bytes:  59277 KByte/s (0%) Tx,  71706 KByte/s (11%) Rx.
Packet size  2k bytes:  9621 KByte/s (0%) Tx,  23647 KByte/s (68%) Rx.
Packet size  4k bytes:  19596 KByte/s (0%) Tx,  989 KByte/s (99%) Rx.
Packet size  8k bytes:  39410 KByte/s (0%) Tx,  49598 Byte/s (99%) Rx.
Packet size 16k bytes:  39493 KByte/s (0%) Tx,  149 KByte/s (99%) Rx.
Packet size 32k bytes:  53180 KByte/s (0%) Tx,  12923 Byte/s (99%) Rx.
Done.

hd-parm am server sagt:

Code: Alles auswählen

hdparm -tT /dev/hda1

/dev/hda1:
 Timing cached reads:   1412 MB in  2.00 seconds = 705.75 MB/sec
 Timing buffered disk reads:  148 MB in  3.03 seconds =  48.87 MB/sec

an welcher schraube kann ich noch drehen, damit der durchsatz steigt. 35mb/s müssten doch drin sein

[blackm]

Hatst du dir mal die Systemauslastung auf dem Server angeschaut, wenn du den Test machst?

by, Martin

[mark.j]

geht beim kopieren auf max 30% hoch (sagt top)

was mir bei dem gefummel hier noch aufgefallen ist, dass wenn samba einen großzügigen cache spendiert bekommt und ich nur 10-20% einer 4gb datei kopiere, gleich danach nochmal kopiere so ist die übertragungsrate bei 35mb/s . mehr ist wohl nicht drin, wegen der beschränkten pci-performane im server, aber ich hätte gern immer solche werte.

es ist auch teilweise von der datei abhängig, wie schnell (bzw. langsam) sie kopiert wird. manche dümpeln mit 5mb/s vor sich hin, während andere teilweise auf 25mb/s kommen.
kann man die dateien (ext2 FS) nicht reorganisieren, so dass sie zügiger gelesen werden?

und in wie fern sollte man bei gigabit raten den kernel tunen?
hier meine /etc/sysctl.conf:

Code: Alles auswählen

net.ipv4.tcp_window_scaling=1
net.ipv4.tcp_sack=1
net.ipv4.tcp_fack=1
net.ipv4.tcp_timestamps=0

net.core.rmem_default=524288
net.core.rmem_max=524288

net.core.wmem_default=524288
net.core.wmem_max=524288

net.ipv4.tcp_rmem="4096 87380 262144"
net.ipv4.tcp_wmem="4096 87380 262144"

net.ipv4.route.flush=1
net.ipv4.tcp_ecn=0
fs.file-max = 4096

[deBeck]

Hatte (habe noch....) selbes Problem mit GBit-NICs und AMD-Systemen, hier zu lesen :
http://debianforum.de/forum/viewtopic.p ... light=napi

[mark.j]

interessant. also der neue treiber für die intel bringt viel sagst du , das einzige problem bei dir ist ja nur der energiesparmodus (den ich nicht benutze... der wäre ja aber eigentlich sinnvoll, die idee ist mir noch garnicht gekommen).

bei mir ist es aber nicht soo schlimm, den manche files laufen ja mit 25mb/s, nur eben manche halt nicht

[Albion]

Sind in beiden Systeme mit PCI netzwerkkarten ausgestattet?
Weil da wäre dann das Bussystem das Problem....
Damit erreichst du niemals auch nur annähernd die Perfomance die die Karten leisten können...
Bei OnBoard Karten sieht das anders aus, da die Chipsätze direkt aufs Motherboard gelötet sind...

Bei PCI Karten ist die Grenze glaube ich bei ca. 250mbit

cu & hus
Albion

[meandtheshell]

stimmt nicht - siehe hier http://en.wikipedia.org/wiki/Peripheral ... terconnect
da siehst du das der PCI - Bus sicher nicht das Bottleneck ist !! viel eher die Datenrate die deine Fesplatte schafft - Abhilfe: Raid 0 Array

lg aus Wien

[mark.j]

also die 35mb/s hatte ich als der cache im server (intel 1000mt PCI) gefüllt war, also hatte zu diesem zeitpunkt die platte nix zu tun.

im client sitzt eine gigabit on board, wobei man aber nicht pauschalisieren darf, dass die GB chips immer volle durchsatzraten erreichen, denn die meisten sind auch nur an den PCI bus gekoppelt (wie bei meinem chipsatz. KT880) . erst intel hat einem relativ aktuellen chipsatz den GB LAN chip vom pci bus entkoppelt.

[netzmeister]

Hallo

evtl. mal Fullduplex einstellen ?

Gruß Matthias

[deBeck]

@Matthias AFAIK ist Half-Duplex für GBit-Ethernet nicht spezifiziert, wenn du eine Karte findest die das unterstützt, sag bescheid

Habe auch weiter hin und her getestet, aber über durchschn. 25MB/s und Spitzenleistungen um 29MB/s komme ich weder mit SAMBA noch mit Benchmarks hinaus, auch wenn bei SAMBA verschiedene Platten gleichzeitig benutzt werden. Nur leider habe ich abgesehen vom Notebook kein System mit etwas anderem als einer VIA-Southbridge hier um deren PCI-Bus (der ja schon oft für Unmut gesorgt hat --> willkürliche Interrupt-Verteilung, 686B-Bug...) als Flaschenhals zu brandmarken.

[mark.j]

fullduplex? ist das nicht schon standardmäßig aktiv? wie prüf ich das nach? in der dmesg steht nix drüber

[netzmeister]

Hallo

Code: Alles auswählen

mii-diag ethX

Dort sollte stehen

Code: Alles auswählen

The autonegotiated media type is 1000baseTx-FD

wenn nicht, mal mit

Code: Alles auswählen

mii-tool -F 1000baseTx-FD ethX

Falls Du die Programme noch brauchst..

Code: Alles auswählen

apt-get install mii-diag

Gruß Matthias

[mark.j]

Code: Alles auswählen

 mii-diag eth0
Basic registers of MII PHY #0:  3100 792d 02a8 0380 01e1 cde1 000d 2001.
 The autonegotiated capability is 01e0.
The autonegotiated media type is 100baseTx-FD.
 Basic mode control register 0x3100: Auto-negotiation enabled.
 You have link beat, and everything is working OK.
 Your link partner advertised cde1: Flow-control 100baseTx-FD 100baseTx 10baseT-FD 10baseT, w/ 802.3X flow control.
   End of basic transceiver information.

also er sagt zwar, dass eine 100base verbindung steht, aber das glaube ich kaum, wie hätten sonst die übertragungsraten >10mb/s zu stande kommen sollen?
mir kommt es eher so vor, als sei das programm etwas älter? (obwohl ich erst ein dist-upgrade hinter mir habe)

denn in der hilfe von mii-tool steht auch nix von 1000base:

Code: Alles auswählen

 -F, --force=media           force specified media technology
media: 100baseT4, 100baseTx-FD, 100baseTx-HD, 10baseT-FD, 10baseT-HD,
       (to advertise both HD and FD) 100baseTx, 10baseT