gigabit ist ungleich schnell

[latenite]

Hallo Leute

ich habe ein winyiges Heimnetzwerk und habe leider beim kopiern von Datein auf die unterscheidlichen Maschinen nicht immer die gigabit geschindigkeiten.
Ich kann mir nicht erkl'ren wo der Flaschenhals liegen kann.

hier ein bild das das Dilema beschreibt.



warum ist ein Kopiern vom Desktop auf den fileserver so laaaangsam?

danke

[Tintom]

Ein paar Infos wären nicht schlecht:

• Mit was kopierst du denn ? SMB/NFS/etc ?
• Mountoptionen der einzelnen Maschinen ?
• Welche Hardware ist in den Rechnern verbaut ?
• Stehen Hinweise in den Logs?

[latenite]

ich habe auf dem Desktop unter /mnt/ mountpoints für alles Maschinen:
z.B. /mnt/laptop
/mnt/fileserver

und die Maschinen mounte ich am Desktop PC über sshfs, also so:

sshfs laptopuser@192.168.bla.bla:/ /mnt/laptop
sshfs fielserveruser@192.168.bla.bla:/ /mnt/fileserver

Hardware ist folgende:
laptop:
00:19.0 Ethernet controller: Intel Corporation 82567LM Gigabit Network Connection (rev 03)
fileserver:
04:00.0 Ethernet controller: Intel Corporation 82540EM Gigabit Ethernet Controller (rev 02)
Desktop
04:00.0 Ethernet controller: Realtek Semiconductor Co., Ltd. RTL8111/8168B PCI Express Gigabit Ethernet controller (rev 01)


Welche logs wollt ihr sehen?


danke

[Tintom]

Muss es über ssh sein ? Tut's nicht auch nfs in deinem lokalen Netzwerk?

[latenite]

ja, nee ich nutze sshfs auch um von draussen auf den fileserver zu kommen. Ich habe nfs mal ausprobiert, irgend was (ich weis nicht mehr was) hat mich da angenervt.
Würde schon gern beim ssh bleiben. Gerade weil es ja schon recht gut geht...nur eben nicht in alle "Richtungen"

Danke

[mistersixt]

Im LAN sshfs zu nehmen, ist garantiert nicht sehr performant, immerhin müssen sämtliche zu transferierende Daten auf der einen Seite vom SSH ver- und auf der anderen Seite entschlüsselt werden, das kostet halt CPU-Zeit und darunter leidet dann auch die Transferrate.

NFS und Co. sollten da flotter zu Werke gehen. Mach doch mal zu Testzwecken einen ftp-Transfer, da ist der Overhead am Geringsten und sollte in etwa die echte Transferrate anzeigen, die Dein Netzwerk hergibt.

Gruss, mistersixt.

[latenite]

das war mir bewusst das ssh performance frisst. Ich will es aber verwenden.
Es geht ja auch "schnell genug" aber eben nicht in jede Richtung.
Ich will ja gar nicht das es schneller geht als 1,5 für die beschriebenen 4Gb. Ich will nur das es in jede Richtung geht.
Undich will wissen warum es z.B. vom laptop auf den Desktop so lange dauert?

Danke

[Danielx]

Undich will wissen warum es z.B. vom laptop auf den Desktop so lange dauert?

Dort dauert es doch aber laut deiner Grafik auch nur 1,5 Minuten!

Stimmt denn deine Grafik dahin gehend, dass es vom Desktop zum Fileserver 20 Minuten und umgekehrt nur 1,5 Minuten dauert?

Gruß,
Daniel

[ChoMar]

Also spontan würde ich mal vermuten, der DesktopPC hat die meiste Leistung und der Fileserver die wenigste.

Ich benutze SSHfs und NFS nicht, deswegen weiß ich nicht, wie viel Leistung das braucht. Aber mit Samba kommt ein durchschnittlicher 1,6 Ghz PC mit 1 GB Ram problemlos an seine Leistungsgrenzen, bei GBit. FTP hat bei mir bei Tests auch immer eher schlecht abgeschnitten. Jedenfalls, ich würde Performance-Probleme vermuten. Vieleicht auch bei den verwendeten Netzwerkkarten. Ich mag Realtek, aber sie sollen ja wirklich nicht so die schnellsten sein bzw. der CPU viel Arbeit überlassen. Schreiben/Lesen macht eigentlich immer unterschiede, bei Samba macht es auch noch unterschiede, welcher PC den Transfer initialisiert, ich glaube aber, allein von der Sache her dürfte das bei SSHfs nicht den Unterschied machen.

[Mictlan]

Dazu kann ich nur eins sagen...... die ursache ist SSHFS

schau mal bei einem Kopiervorgang die CPU-Last auf deinem Fileserver an, ich wette mit dir dass sie bei 0 % idle liegt..... und von dem verbrauchten 99 % auf openssh fallen. rechne mal dir deine Transferrate über sshfs aus... bei 4 GB und 20 Minuten sind das 3,3 MB/s .... bei 4 Gb und 1,5 Minuten wären das 44 MB/s ....

nimm im lokalen Netz NFS und wenn du von extern kommst sshfs... oder du nimmst immer nfs und wenn du von extern kommst machst einen vpn tunnel zusätzlich auf.

[latenite]

Stimmt denn deine Grafik dahin gehend, dass es vom Desktop zum Fileserver 20 Minuten und umgekehrt nur 1,5 Minuten dauert?

im bezug darauf: ja
aber ich hatte einen Fehler drin: siehe neue Grafik (sorry dafür)

Also:

schnelle 1,5 Min/4GB vom Fileserver auf den Desktop haben beim Desktop beide cpus mit 40% ausgelastet und den singelcore im Fileserver mit 99%

vom laptop auf dem fileserver dauert es 20min/4BG bei 60% cpu auf dem fileserver und 27% auf dem laptop

ACHTUNG: leider habe ich bei der Grafik einen Fehler -> vom fileserver zum laptop gehts auch schnell () 1,5 min/4GB!!!


also an der cpu last kanns ja irgenwie doch nicht liegen? oder sehe ich das falsch?

danke

[Mictlan]

schnelle 1,5 Min/4GB vom Fileserver auf den Desktop haben beim Desktop beide cpus mit 40% ausgelastet und den singelcore im Fileserver mit 99%

vom laptop auf dem fileserver dauert es 20min/4BG bei 60% cpu auf dem fileserver und 27% auf dem laptop

spricht immer noch dafür dass die CPU der engpass ist.....

also an der cpu last kanns ja irgenwie doch nicht liegen? oder sehe ich das falsch?

doch ich denk schon. bei deiner desktopcpu hast du sicher mehr power (GHz) als auf dem fileserver.

andere idee.... was wenn nicht die cpu der engpass ist sondern dein filesystem bzw festplatte? deine geschwindigkeitsprobleme treten ja nur beim schreiben auf.....

mach mal am fileserver hdparm -tT /dev/sda

[ChoMar]

Jup, die Probleme treten beim Schreiben auf dem Fileserver auf. Das grenzt die Fehlersuche noch nicht wirklich ein...
Verwendet der Fileserver ein SW-RAID 5 oder sowas, wo die CPU beim Schreiben noch die Logik mitmachen muss? Das ist bei meinem NAS ein bischen der Engpass. Aber wie schnell sind die HDDs beim Schreiben? Allgemein scheint schreiben etwas anspüruchsvoller für das System zu sein als Lesen.
Obwohl der Geschwindigkeitseinbruch schon enorm ist. Irgend was "hängt" da. Ich kenn leider SSHfs nicht genug, um da genaueres sagen zu können.

[Mictlan]

so extrem kann die Belastung beim Schreiben nicht sein. mein Softwareraid 5 braucht beim Schreiben ca 200 MHz pro 10 MB/s

[latenite]

Hey danke für's Kopfzerbrechen....

Bin grad nicht zu Hause am Fileserver kann also leider kein hdparm ausführen.
Aber ein Raid in irgendeiner Form habe ich nicht.

Was kann das nur sein???

[Mictlan]

hast scho was herausgefunden? bzw wie sind deine ergebnisse?

[latenite]

leider weiß ich immernoch nicht woran es liegt:

hdparm -tT am fileserver sagt:

Code: Alles auswählen

[05:51:17] [root@fileserver:~] # hdparm -tT /dev/sda

/dev/sda:
 Timing cached reads:   2318 MB in  2.00 seconds = 1158.83 MB/sec
 Timing buffered disk reads:  278 MB in  3.00 seconds =  92.55 MB/sec
[05:51:42] [root@fileserver:~] # hdparm -tT /dev/sd
sda   sda1  sda5  sda6  sda7  sda8  sda9  sdb   sdb1  sdc   sdc1  
[05:51:42] [root@fileserver:~] # hdparm -tT /dev/sdb

/dev/sdb:
 Timing cached reads:   2374 MB in  2.00 seconds = 1186.82 MB/sec
 Timing buffered disk reads:  354 MB in  3.01 seconds = 117.46 MB/sec
[05:52:02] [root@fileserver:~] # hdparm -tT /dev/sdc

/dev/sdc:
 Timing cached reads:   2334 MB in  2.00 seconds = 1167.00 MB/sec
 Timing buffered disk reads:  244 MB in  3.01 seconds =  81.10 MB/sec
[05:52:21] [root@fileserver:~] #

und am laptop:

Code: Alles auswählen

0:501:root@x301 /home/kai [0]# hdparm -tT /dev/sda

/dev/sda:
 Timing cached reads:   2412 MB in  2.00 seconds = 1207.11 MB/sec
 Timing buffered disk reads:  250 MB in  3.02 seconds =  82.86 MB/sec
0:502:root@x301 /home/kai [0]# 

aber was kann ich nun tun?...woran kann das nur liegen?

[KBDCALLS]

Kannst die Realtekkarte ersetzen ? Das könnte der Flaschenhals sein.

[Stratovarius]

Vielleicht liegts auch mit daran:
Intel Corporation 82567LM Gigabit Network Connection - Integrated 96KbB on chip buffer [1]

Intel Corporation 82540EM Gigabit Ethernet Controller - 64KB, on-chip packet buffer [2]

RTL8111/8168B PCI Express Gigabit Ethernet controller - on-chip buffer (48KB) support [3]

Also wirklich vergleichen kannst du eigentlich nur wenn du auch absolut gleiche Bausweise benutzt. Das kann an den Festplatten liegen, Am Mainboard, an den Netzwerkkarten, am Kabel selber (vielleicht auch viele Störsignale ?), oder auch das Zusammenspiel aus allem zusammen.
Das sieht man doch auch bei USB 2.0 Sticks wie unterschiedlich die bei der Schreib- und Lesegeschwindigkeit sind - liegt halt an der Hardware.

Dann ist noch die Frage: Schiebst du die Daten rüber, oder ziehst du sie vom jeweiligen System ? Oder mal so mal so ? Schieben ist meist etwas langsamer als ziehen.


[1] 82567LM
[2] 82540EM
[3] RTL8111

Gruß Strato

[latenite]

Ok ich kann mir gut vorstellen das die verschiedene Hardware einen Unterschied machen kann
ABER nicht im Faktor 10!! Das finde ich klingt unglaubwürdig, gerade WEIL das der Faktor ist von 100Mbit zu 1Gbit?
Ich glaube immernoich das irgendwo ein 100Mbit Flaschenhals besteht....z.b ein Kabel (die habe ich alle kontrolliert ) oder eine Konfiguration einer Karte (mann kann ja z.b ethtools auf 100Mbit runter regeln) .
Aber wo der Falschenhals sein kann????.....keine Idee mehr!!

Danke

[Danielx]

aber ich hatte einen Fehler drin: siehe neue Grafik (sorry dafür)

Ok, damit ist das Problem symmetrisch, da nur das Hochladen zum Fileserver, egal von welchem Rechner, langsam ist.

Kannst du mal mit SCP testen, ob es einen Unterschied macht, wenn sich der Fileserver aktiv die Datei (z.B. vom Desktop) holt, also auf dem Fileserver:

Code: Alles auswählen

scp user@desktop:/meine/Quell/Datei /meine/Ziel/Datei

Bzw. wenn er die Datei (z.B. vom Desktop) hochgeladen bekommt, also auf dem Desktop:

Code: Alles auswählen

scp /meine/Quell/Datei user@fileserver:/meine/Ziel/Datei

Was sagt denn "ethtool eth0" (oder wie dein Interface eben heißt) auf dem Fileserver und z.B. auf dem Desktop?

Gruß,
Daniel