Niedriger Datendurchsatz mit GigaBit Ethernet

[wanne]

Kann definitiv sagen dass ich mehrfach ähnliche Probleme hatte und die beiden Protokolle seither einfach meide.
sshfs ist zwar verschlüsselt (Kann man aber auch abschalten oder auf RC4 setzen.) aber liefert bei mir zuverlässig deutlich mehr Durchsatz.
FTP ist zum konfigurieren teilweise recht unangenehm aber für öffentliche Daten und kompliziertere Setups immer noch mein Favorit. (Mangels alternative.)
Sonst kannst du dir mal die Cluster Dateisysteme angucken. Sind eigentlich für etwas anderes gedacht, lassen sich aber als NFS Ersatz missbrauchen und sind so ziemlich an der Spitze, was Performance angeht.

[pascalts]

Okay, hier kommt vllt tatsächlich der Knackpunkt. Das System ist gelinde gesagt, alt.

• Mainboard: Intel D945GCLF2
• CPU: Atom 330 mit 2x1,6GHz + Hyperthreading
• RAM: 4GB DDR2 667 MHz (ist noch nie halb voll gewesen...)
• SATA 2 (SSD, aber eigentlich nur fürs booten und das System, SWAP)
• Per PCI-Erweiterungskarte für SATA 2 hängt die Datenschleuder dran: Toshiba X300

Ich verstehe aber ehrlich gesagt immer noch nicht, warum ich, wenn ich von SSD zu SSD kopiere, die schneller als die Gbit-Verbindung sind (170MS/s > 1 Gbit/s), nicht die Gbit erreiche, obwohl ich den Gbit per iperf erreiche! CPU langweilt sich bei Sambazugriffen bei ca 20% (EINES Kerns) - RAM stört das auch nicht... Wo ist also der Flaschenhals!?

Laut iotop macht das System vorher und hinterher exakt: nix.

Kein LVM

[NAB]

Japp - war von mir etwas ungünstug formuliert. ich zitiere mal aus dem Ubuntu Wiki:

Stimmt, du hast Recht ... ich hab nur in die man-page geguckt, und da liest es sich so, dass sich "--direct" nur auf "-t" auswirkt und nicht auf "-T". Aber ich hab's grad mal bei mir ausprobiert, und die Kombination aus "-T" und "--direct" liefert miserable Werte, warum auch immer.

Trotzdem sind 87 MB/s rohe Lesegeschwindigkeit nicht gerade berauschend ... aktuelle HDDs kommen auf über 100. Und wenn da noch der Dateisystem-Overhead dazukommt und gar noch andere parallele Zugriffe, dann kann die Geschwindigkeit locker auf 40 MB/s fallen und du stehst mit deinen 67 MB/s noch ganz gut da.

Wobei mir die Werte auch bei mir komisch vorkommen:

Code: Alles auswählen

# hdparm --direct -tT /dev/sda

/dev/sda:
 Timing O_DIRECT cached reads:   380 MB in  2.01 seconds = 189.44 MB/sec
 Timing O_DIRECT disk reads: 296 MB in  3.33 seconds =  88.94 MB/sec
# hdparm --direct -tT /dev/sda1

/dev/sda1:
 Timing O_DIRECT cached reads:   396 MB in  2.01 seconds = 197.00 MB/sec
 Timing O_DIRECT disk reads: 190 MB in  0.38 seconds = 498.48 MB/sec
# hdparm --direct -tT /dev/sda

/dev/sda:
 Timing O_DIRECT cached reads:   386 MB in  2.00 seconds = 192.98 MB/sec
 Timing O_DIRECT disk reads: 340 MB in  3.07 seconds = 110.88 MB/sec

# hdparm -tT /dev/sda

/dev/sda:
 Timing cached reads:   19120 MB in  2.00 seconds = 9566.89 MB/sec
 Timing buffered disk reads: 388 MB in  3.00 seconds = 129.22 MB/sec
# hdparm -tT /dev/sda1

/dev/sda1:
 Timing cached reads:   20308 MB in  2.00 seconds = 10161.80 MB/sec
 Timing buffered disk reads: 190 MB in  0.38 seconds = 505.66 MB/sec
# hdparm -tT /dev/sda

/dev/sda:
 Timing cached reads:   16750 MB in  2.00 seconds = 8380.37 MB/sec
 Timing buffered disk reads: 468 MB in  3.01 seconds = 155.60 MB/sec

Welch ein Durcheinander (direkt nacheinander ausgeführt auf ner SSD)

Du solltest echte Tests auf dem echten Dateisystem durchführen.

Nebenbei ... Atom und Sata3? Hat der überhaupt die nötig schnellen PCIe-Lanes, um das zu versorgen? Ich würd mir den Sata3-Controller und die X300 mal näher angucken. Deine SSD scheint auch eher auf Sata1 zu laufen.

[pascalts]

Okay, wir kommen der Sache näher: Meine (neu gekaufte) SATA Karte ist nicht das, was der Verkäufer angab. Beworben wurde ein SiI 3124 Chipsatz. Laut lspci habe ich aber einen SiI 3114 Chipsatz. Das ist SATA I

Ob der Atom genug PCI Lanes hat weiß ich nicht - da steck ich nicht drin. Was ich aber sagen kann, ist das alles nur per SATA I genutzt wird:

Code: Alles auswählen

 grep -i SATA /var/log/messages | grep 'link up'
Jun 23 17:44:43 datenschleuder kernel: [    1.524068] ata3: SATA link up 1.5 Gbps (SStatus 113 SControl 310)
Jun 23 17:44:43 datenschleuder kernel: [    2.180080] ata5: SATA link up 1.5 Gbps (SStatus 113 SControl 310)
Jun 23 17:44:43 datenschleuder kernel: [    3.228069] ata6: SATA link up 1.5 Gbps (SStatus 113 SControl 310)

Das ist ganz ehrlich frustrierend. Ich werde die Karte reklamieren.

Bleibt noch die SSD. Die taucht hier glaube gar nicht auf... ata3, ata5 und ata6 sind jene, die an der PCI-Karte sind. --- denke ich . kann man nachvollziehen, welches ataX welches /dev/sdX ist?

Unabhängig davon: SATA I sollte 1,2Gbit/s sein. Ich hab Ethernet mit 1GB/s - warum ist SATA I dann der Flaschenhals?

Okay... Jetzt kommt es:

Code: Alles auswählen

 lspci | grep SATA
00:1f.2 IDE interface: Intel Corporation NM10/ICH7 Family SATA Controller [IDE mode] (rev 01)
04:00.0 RAID bus controller: Silicon Image, Inc. SiI 3114 [SATALink/SATARaid] Serial ATA Controller (rev 02)

Das klingt danach, dass meine SSD im IDE-Modus angesprochen wird Im BIOS steht aber SATA oder Legacy und ich hab mich für SATA entschieden... Was da los?

[NAB]

Upps? Ist das noch eine alte PCI-Karte?

PCI macht bei gutem Wetter und Rückenwind brutto so 266MB/s:
https://de.wikipedia.org/wiki/Periphera ... terconnect
Das reicht dann, um einen Sata1-Anschluss zu bedienen. Du hast vier ... mit drei HDDs dran.

Mit der Karte bist du eigentlich gut bedient ... mehr ist da nicht rauszuholen.

Das Problem mit dem ICH7 sehe ich auch zum ersten mal, aber der scheint in der Tat kein AHCI zu können:
https://forum.ubuntuusers.de/topic/ich7 ... r-ignorie/

Ich vermute mal, dass es DEN Flaschenhals nicht gibt, aber insgesamt ist das System nicht gerade auf Hochleistung ausgelegt. Das fängt ja schon bei recht lauen Übertragungsraten der HDDs an.

Ich weiß noch, wie ich mir ne SSD in meinen Atom geschraubt habe, ihn eingeschaltet habe und gebannt auf ungeahnte Geschwindigkeitsräusche gewartet habe ... gewartet habe ich in der Tat, das Ding war kaum schneller als vorher ...

[pascalts]

Also...

Ich habe die wichtige Festplatte, welche hohen Datendurchsatz braucht jetzt an einen der internen SATA (II) Ports geklemmt. Nun erreiche ich ca 200MB/s per hdparm. Das ist ok. Die Datenrate per SAMBA hat sich dadurch auf ca 57MB/s erhöht. Besser also. Macht aber immer noch eine Differenz von ca 68MB/s zu 1Gb/s die für mich unerklärlich ist, da die 1Gb/s ja anliegen (nachgewisener Weise) und die HDD schneller ist (nachgewisener Weise). NFS hat kanpp 70MB/s.

Ich werde das System jetzt so lassen, da meine meisten Datenstreams nur so 20 bis 25 MB/s haben, die Verbindung somit ausreicht. Cool wäre eine Verbesserung trotzdem, da meine (gezippten) Backups so schneller vonstatten gehen würden (Backup: Host baut eine ZIP-Datei und schmeißt diese On-The-Fly per SSH auf den Server).

[NAB]

Greift noch irgendwas parallel auf die HDD zu? Und welches Dateisystem verwendest du denn?

Die Geschwindigkeit von Samba hängt auch von der anderen Seite ab ... der Dateimanager von KDE halbiert mir z.B. die Übertragungsrate auf 50MB/s, während Windows locker 100 hinlegt.

Und du könntest mal versuchen, was über die Verschaltung deines Mainboards herauszubekommen ... wenn ich mich recht entsinne, waren die alten Atoms ausgesprochen knapp an PCIe-Leitungen ... und wenn an einer Leitung USB, Soundkarte, LAN und Sata-Controller hängen, dann könnte es etwas eng werden.

[DeletedUserReAsG]

Wieviel RAM steht denn zur Verfügung, und um welche Datenmengen geht es? Wenn viel RAM und nicht soo viel Daten, könnte man vielleicht was Nettes mit tmpfs als Cache basteln, so dass die Daten erstmal fix rübergeschoben werden, und dann in Ruhe weggeschrieben werden können. Ist natürlich ungeschickt, wenn Strom ausfällt während noch nicht alles weggeschrieben wurde. Aber auch den Punkt kann man ja testen und bei Bedarf den Transfer nochmal anschubsen.

[pascalts]

Also laut iotop nutzt nix die Platte (außer Samba). Alles frei für Samba/NFS.



Habe 4GB RAM... aber da meine Daten meist so 20 bis 30 GB groß (eine Große Datei, nicht viele kleine) sind wird ein tmpf nix bringen, oder?

KDE? Wer nutzt denn schon eine GUI? Nein im Ernst, ich habe auf meinem Datenserver keine grafische Oberfläche installiert. Oder meinst du auf dem "client"? Da rennt ein Arch Linux (jaaaaa, kein Debian, aber man Probiert sich halt aus) mit KDE 5. Aber da die Datenrate unter Windows gleich ist... Kann es daran nicht liegen, denke ich.

Das mit dem Mainboard kann ich machen. Audio brauch ich eh nicht. USB auch nicht. Test folgt.

[reox]

Nun erreiche ich ca 200MB/s per hdparm. Das ist ok. Die Datenrate per SAMBA hat sich dadurch auf ca 57MB/s erhöht. Besser also. Macht aber immer noch eine Differenz von ca 68MB/s zu 1Gb/s die für mich unerklärlich ist

Schneller wirds vermutlich nicht gehen. Siehe zb auch hier: viewtopic.php?f=30&t=159991&start=15

Samba ist ziemlich langsam, im Vergleich dazu kannst du mal probieren dateien direkt mit netcat auszutauschen. Zwischen zwei Thinkpads mit SSD und Gigabit kam ich mal so auf 110MB/s. Also 60MB/s bei Samba halte ich für einen guten wert.
Wenn du es schaffst die smb.conf so zu tweaken, dass es schneller wird: her damit!

[Lord_Carlos]

Warum schaffen dann andere seit jahren 110MB/s mit samba?

[reox]

Warum schaffen dann andere seit jahren 110MB/s mit samba?

Kannst du mal links zu config und Hardware Posten?
Meine platten schaffen das locker nur samba bekommen ich deshalb auch nicht schneller...

[Lord_Carlos]

Warum schaffen dann andere seit jahren 110MB/s mit samba?

Kannst du mal links zu config und Hardware Posten?
Meine platten schaffen das locker nur samba bekommen ich deshalb auch nicht schneller...

Ich habe nichts and er Config geaendert, auser Freigaben hinzugefuegt.
Server ist mein ~6 Jahre alter Rechner.*

Gerade nochmal getestet, bekomme ~93MB/s:


Ich vermute das die Festplatte (Raid 5 mit alten platten) da schlapp macht. Wenn ich die gleich datei nochmal lade geht es flotter:



Frueher, so vor ~4 Jahren ging auch direkt 110 MB/s auf dem gleichen Rechner. Vielleicht macht das Raid langsam schlapp.


Edit:
Ah ja, wenn ich etwas von /dev/shm kopiere geht es von Anfang an durchgehend mit ~113 MB/s
Das Protokoll nutzt also die volle Bandbreite von Gigabit Ethernet aus.


Der server:
OS: Debian stable
CPU: AMD Phenom(tm) 9950 Quad-Core Processor (4x 2.6Ghz)
Ram: 8GB
HDD: 5x 1.5TB zum Raid 5, verschluesselt.

[wanne]

Kumpel von mier schafft das definitiv. Der hat aber glaube ich auch ne weile dran rumgetuned. (Kann mal fragen, was er so gemacht hat.)
Das Ding ist aber eigentlich auch auf 10G ausgelegt. Nur kann der Laptop halt nur 1G.

[reox]

mhh also ich versteh das nicht: Ich hab jetzt ein LVM auf 5 PV's verteilt erstellt, damit bekomme ich 190MB/s lesen und 166MB/s schreiben hin. Über Samba bekomme ich trotzdem nur 45MB/s lesend (Schreibrate grad mal 800kB/s oO). Ich verwende dafür gvfs am client.
Der Samba server kommt auf 50% CPU auslastung beim smbd (AMD Turion(tm) II Neo N54L).
Wenn ich die config auf debian default setze komm ich auf 56MB/s lesend (komisch, sonst wars immer anders herum), der smbd nur noch auf 30% CPU

Im Vergleich dazu mit NFS: 111MB/s lesen und 69MB/s schreiben.

Vielleicht liegts an gvfs, aber schneller als 60MB/s gehts bei mir einfach nicht...

[ThorstenS]

Die Tuningtipps von hier hast du schon beachtet?
https://calomel.org/samba_optimize.html

[reox]

Die Tuningtipps von hier hast du schon beachtet?
https://calomel.org/samba_optimize.html

ja und wieder ausgeschalten. Siehe auch anderen thread den ich da verlinkt hab.

[NAB]

Der Samba server kommt auf 50% CPU auslastung beim smbd (AMD Turion(tm) II Neo N54L).

... was bei einem Zweikerner 100% Kern-Auslastung bedeuten könnte.

[reox]

Der Samba server kommt auf 50% CPU auslastung beim smbd (AMD Turion(tm) II Neo N54L).

... was bei einem Zweikerner 100% Kern-Auslastung bedeuten könnte.

top:

Code: Alles auswählen

top - 22:19:05 up  2:31,  1 user,  load average: 0,56, 0,26, 0,16
Tasks: 173 total,   2 running, 171 sleeping,   0 stopped,   0 zombie
%Cpu(s):  4,4 us, 15,8 sy,  0,0 ni, 75,7 id,  1,9 wa,  0,2 hi,  1,9 si,  0,0 st
KiB Mem:   2025188 total,  1949120 used,    76068 free,    14156 buffers
KiB Swap:  8388604 total,      792 used,  8387812 free.  1771100 cached Mem

  PID USER      PR  NI    VIRT    RES    SHR S  %CPU %MEM     TIME+ COMMAND                                                                 
 1305 reox      20   0  290036   7656   5236 S  22,9  0,4   1:50.01 smbd     
[...]                                                               

Ausgelastet ist das eher nicht.

edit: ok ich hab das gerade mal umgekehrt. Ich hab auf der Workstation einen samba server laufen und am server den client. Da komm ich auf 110MB/s lesen und 30MB/s schreiben... Der smbd hat aber genau 0% CPU... Ist aber auch ein i5-3450.
Also ich hätte nicht gedacht, dass das Bottleneck die CPU ist.
pascalts schreibt ja er hat einen Atom 330, der wäre ja laut http://cpuboss.com/cpus/Intel-Atom-330- ... I-Neo-N54L noch langsamer als meine N54L, was bedeuten würde schneller gehts da auch nicht?

edit2: wobei es könnte auch sein das die CPU nur deshalb so ausgelastet wird, wegen dem software raid? Nur dann sollte ja nicht smbd die load haben sondern der kernel?

[reox]

Hat eigentlich jemand mehr informationen zu dem Thema? Ist die CPU nun tatsächlich der limitierende Faktor bei Samba?
Ich hab nur von ein paar Bugs in gvfs gelesen, das dort die Übertragungsrate unter 5Mbit geht, aber so langsam ist es ja auch nicht und ein mount mit cifs-utils war auch nicht schneller als der mit gvfs.