Hohe SSD-Latenz

[scruffy]

Hallo zusammen,

seit zwei Wochen bin ich stolzer Besitzer einer Samsung-SSD. Leider scheint die Performanz bzgl. der Latenz beinahe genau so, wie bei einer herkömmlichen Festplatte. Palimpsest liefert etwa 150MB/s (ok für mich), aber eine Latenz von etwa 9ms, die sich zusammensetzt aus vielen Messungen von ziemlich genau 5.2ms oder 10.4ms, was bemerkenswert ist. So ziemlich alle anderen berichteten Werte http://www.google.ch/search?hl=de&q=pal ... 4QS7j4C4AQ liegen deutlich unter 1ms. Ich habe das Gefühl, dass irgendeine Komponente ein Vielfaches von 5.2ms Latenz erzeugt, aber ich habe keine Ahnung, welche.
Das einzige, was ich wohl nicht habe, ist einen "echter" SATA 3-Controller (lediglich SATA 2), aber ich habe nirgendwo bislang gelesen, dass das einen Einfluss auf die Latenz haben könnte (nur auf den Durchsatz).

Eine weitere Sache ist, dass ich bei ext4 oft Dateisystemfehler bekomme, wenn ich per Reset neu boote. Das sollte durch Journaling doch eigentlich unterbunden werden, oder?

Laut
http://www.samsung.com/de/consumer/memo ... 7PC256B/WW soll die Platte 80000 iops haben, also eine Latenz von etwa 12.5ns. Mir ist klar, dass das nur unter Laborbedingungen stattfindet, aber meine 5.2ms sind fast einen Faktor 1000 höher.

Schon geprüft:
[*] AHCI vs. IDE: nur Veränderungen im Durchsatz (sequenzielles Lesen)
[*] Verschiedene Rechner und SATA-Versionen: dito
[*] Verschiedene Messtools: ioping vs. palimpsest -- vergleichbare Ergebnisse
[*] Linux 2.6.32 Kernel und 3.2er, auch Realtime-Kernel -- kein Einfluss
[*] Ohne gemountete Partition -- kein Einfluss

Windows habe ich leider nicht zur Hand, deswegen kein OS außer Linux.

Hat einer einen Tipp oder könnte jemand mit SSD und aktuellem Wheezy mal kurz ioping-Werte melden?

Vielen Dank,
Scruffy!

[Saxman]

Hier hast du mal ein paar Tests mit ioping. Ist ein 64 Bit wheezy mit selbstgebautem und gepatchtem 3.2 kernel. Ich würde nicht allzuviel auf die 5 ms geben.

OCZ Vertex 2 SSD

Code: Alles auswählen

$ ioping -c 10 -s 1M ~/test/                                                                                                                                                      
1048576 bytes from /home/ich/test/ (ext4 /dev/mapper/Leela-home): request=1 time=5.0 ms
1048576 bytes from /home/ich/test/ (ext4 /dev/mapper/Leela-home): request=2 time=5.5 ms
1048576 bytes from /home/ich/test/ (ext4 /dev/mapper/Leela-home): request=3 time=5.2 ms
1048576 bytes from /home/ich/test/ (ext4 /dev/mapper/Leela-home): request=4 time=5.6 ms
1048576 bytes from /home/ich/test/ (ext4 /dev/mapper/Leela-home): request=5 time=5.5 ms
1048576 bytes from /home/ich/test/ (ext4 /dev/mapper/Leela-home): request=6 time=5.5 ms
1048576 bytes from /home/ich/test/ (ext4 /dev/mapper/Leela-home): request=7 time=5.5 ms
1048576 bytes from /home/ich/test/ (ext4 /dev/mapper/Leela-home): request=8 time=5.5 ms
1048576 bytes from /home/ich/test/ (ext4 /dev/mapper/Leela-home): request=9 time=5.3 ms
1048576 bytes from /home/ich/test/ (ext4 /dev/mapper/Leela-home): request=10 time=5.5 ms

--- /home/ich/test/ (ext4 /dev/mapper/Leela-home) ioping statistics ---
10 requests completed in 9060.8 ms, 185 iops, 184.7 mb/s
min/avg/max/mdev = 5.0/5.4/5.6/0.2 ms

/tmp als tmpfs

Code: Alles auswählen

$ ioping -c 10 -s 1M /tmp                                                                                                                                                         
1048576 bytes from /tmp (tmpfs tmpfs): request=1 time=1.0 ms
1048576 bytes from /tmp (tmpfs tmpfs): request=2 time=1.0 ms
1048576 bytes from /tmp (tmpfs tmpfs): request=3 time=1.0 ms
1048576 bytes from /tmp (tmpfs tmpfs): request=4 time=1.0 ms
1048576 bytes from /tmp (tmpfs tmpfs): request=5 time=1.1 ms
1048576 bytes from /tmp (tmpfs tmpfs): request=6 time=1.0 ms
1048576 bytes from /tmp (tmpfs tmpfs): request=7 time=1.1 ms
1048576 bytes from /tmp (tmpfs tmpfs): request=8 time=1.1 ms
1048576 bytes from /tmp (tmpfs tmpfs): request=9 time=1.1 ms
1048576 bytes from /tmp (tmpfs tmpfs): request=10 time=1.1 ms

--- /tmp (tmpfs tmpfs) ioping statistics ---
10 requests completed in 9015.3 ms, 948 iops, 947.5 mb/s
min/avg/max/mdev = 1.0/1.1/1.1/0.0 ms

RAID 1 aus 2x WD 1 TB HDD

Code: Alles auswählen

$ ioping -c 10 -s 1M /raid/data/Spielewiese/test/                                                                                                                                 
1048576 bytes from /raid/data/Spielewiese/test/ (ext4 /dev/mapper/marvin--raid-marvin--raid--data): request=1 time=0.5 ms
1048576 bytes from /raid/data/Spielewiese/test/ (ext4 /dev/mapper/marvin--raid-marvin--raid--data): request=2 time=12.8 ms
1048576 bytes from /raid/data/Spielewiese/test/ (ext4 /dev/mapper/marvin--raid-marvin--raid--data): request=3 time=12.9 ms
1048576 bytes from /raid/data/Spielewiese/test/ (ext4 /dev/mapper/marvin--raid-marvin--raid--data): request=4 time=19.6 ms
1048576 bytes from /raid/data/Spielewiese/test/ (ext4 /dev/mapper/marvin--raid-marvin--raid--data): request=5 time=19.7 ms
1048576 bytes from /raid/data/Spielewiese/test/ (ext4 /dev/mapper/marvin--raid-marvin--raid--data): request=6 time=14.6 ms
1048576 bytes from /raid/data/Spielewiese/test/ (ext4 /dev/mapper/marvin--raid-marvin--raid--data): request=7 time=153.4 ms
1048576 bytes from /raid/data/Spielewiese/test/ (ext4 /dev/mapper/marvin--raid-marvin--raid--data): request=8 time=33.9 ms
1048576 bytes from /raid/data/Spielewiese/test/ (ext4 /dev/mapper/marvin--raid-marvin--raid--data): request=9 time=11.7 ms
1048576 bytes from /raid/data/Spielewiese/test/ (ext4 /dev/mapper/marvin--raid-marvin--raid--data): request=10 time=15.4 ms

--- /raid/data/Spielewiese/test/ (ext4 /dev/mapper/marvin--raid-marvin--raid--data) ioping statistics ---
10 requests completed in 9300.8 ms, 34 iops, 34.0 mb/s
min/avg/max/mdev = 0.5/29.4/153.4/42.1 ms

[scruffy]

Hier sind meine Werte

1M-Blöcke lesen

Code: Alles auswählen

ioping -c 10 -s 1M ~
1048576 bytes from /home/user (ext4 /dev/sda7): request=1 time=14.4 ms
1048576 bytes from /home/user (ext4 /dev/sda7): request=2 time=17.0 ms
1048576 bytes from /home/user (ext4 /dev/sda7): request=3 time=20.7 ms
1048576 bytes from /home/user (ext4 /dev/sda7): request=4 time=14.7 ms
1048576 bytes from /home/user (ext4 /dev/sda7): request=5 time=20.9 ms
1048576 bytes from /home/user (ext4 /dev/sda7): request=6 time=22.1 ms
1048576 bytes from /home/user (ext4 /dev/sda7): request=7 time=14.7 ms
1048576 bytes from /home/user (ext4 /dev/sda7): request=8 time=20.4 ms
1048576 bytes from /home/user (ext4 /dev/sda7): request=9 time=16.0 ms
1048576 bytes from /home/user (ext4 /dev/sda7): request=10 time=19.6 ms

--- /home/user (ext4 /dev/sda7) ioping statistics ---
10 requests completed in 9185.5 ms, 55 iops, 55.4 mb/s
min/avg/max/mdev = 14.4/18.0/22.1/2.8 ms

Viele kleine Blöcke

Code: Alles auswählen

ioping -R /dev/sda

--- /dev/sda (device 238.5 Gb) ioping statistics ---
335 requests completed in 3007.2 ms, 113 iops, 0.4 mb/s
min/avg/max/mdev = 0.3/8.9/15.8/3.3 ms

Es kann schon sein, dass ioping nicht so zuverlässig ist, allerdings kann die ssd anscheinend maximal 113 kleine Dateien pro Sekunde lesen (s.o.). Das öffnen von Evolution dauert etwa 20s, das Gnome3-Menü etwa 5-10s. Wie gesagt, kaum schneller als von Platte.

Die Ergebnisse von palimpsest haben nochwas zutage gebracht. Die SSD macht anscheinend mehr iops, wenn tracker gleichzeitig die Platte indiziert. Mit Tracker (man beachte die grüne "Grundlinie"):
http://imageshack.us/f/822/55146424.png/

ohne Tracker:
http://imageshack.us/f/811/73151330.png/

Ich habe auch schon an Energiespareinstellungen gedacht und nichts gefunden. Ach ja, die drei verschiedenen IO-Scheduler machen kaum Unterschied.

[whisper]

Und in den Messages, z.B. dmesg keine Hinweise?
Weil, meine ssd hat etwa 0.5ms ziemlich konstant.
Andererweits, wenn Protokollprobleme wäre sie noch viel schlechter, denke ich.
Kann die Platte evtl ziemlich neu sein und noch einen Firmwarebug haben?

[Saxman]

Die Firmware würde ich mir auch mal genauer anschauen. Ich habe meine SSD schon etwas länger und gerade am Anfang haben es neue Firmwareversionen wirklich gebracht.

[r900]

Ich kenne mich mit SSDs nicht besonders gut aus, aber könnte eine ungünstige Partitionierung nicht auch ein Grund für die schlechte Leistung sein? Und wie ist das mit Parametern bei der Erstellung des Dateisystems und mount-Optionen?

[scruffy]

Zunächst: Die Firmware ist aktuell (vom Januar, sollte also stabil sein) und viele Tests waren Partitionsunabhängig.

Und jetzt das Merkwürdige:

Code: Alles auswählen

ioping -R . & ioping -R . & ioping -R . & ioping -R .
[1] 8607
[2] 8608
[3] 8609

--- . (ext4 /dev/sda7) ioping statistics ---
4761 requests completed in 3000.1 ms, 1815 iops, 7.1 mb/s
min/avg/max/mdev = 0.1/0.6/17.5/1.7 ms

--- . (ext4 /dev/sda7) ioping statistics ---
4748 requests completed in 3000.3 ms, 1818 iops, 7.1 mb/s
min/avg/max/mdev = 0.1/0.6/16.2/1.7 ms

--- . (ext4 /dev/sda7) ioping statistics ---
4760 requests completed in 3000.1 ms, 1821 iops, 7.1 mb/s
min/avg/max/mdev = 0.1/0.5/17.1/1.7 ms

--- . (ext4 /dev/sda7) ioping statistics ---
4722 requests completed in 3006.9 ms, 1790 iops, 7.0 mb/s
min/avg/max/mdev = 0.1/0.6/16.2/1.7 ms
[1]   Fertig                  ioping -R .
[2]-  Fertig                  ioping -R .
[3]+  Fertig                  ioping -R .

Die Leserate geht massiv nach oben, wenn mehrere Prozesse gleichzeitig lesen:
1 ioping: 110 iops => ca. 110 iops
2 iopings: je 124 iops => ca. 250 iops
3 iopings: je 600 iops => ca. 1800 iops
4 iopings: je 1800 iops => ca. 7600 iops
8 iopings: je 2200 iops => ca. 17600 iops
16 iopings: je 1700 iops => ca. 27000 iops (möglicherweise nicht mehr gleichzeitig genug)
Die letzten Werte scheinen mir normal für eine SSD.

Ich tippe immer noch auch irgendeine Energiesparsache. Es hat definitiv nichts mit dem CPU-governor zu tun. PC-Bios ist übrigens auch aktuell. kvm ist übrigens auch nicht aktiv und dmesg liefert nichts auffälliges.

[scruffy]

Samsung hat geschrieben, dass die SSD anscheinend defekt ist. Ich werde noch ein Update schreiben, wenn die Austausch-SSD eintrifft.

Anbei noch ein Benchmark-Bild von einem weiteren PC mit meiner SSD, bei dem ebenfalls nur sehr wenige iops gemessen wurden: http://imageshack.us/a/img441/2446/asss ... sd830h.png

Vielen Dank an alle Tippgeber!
Scruffy

[Onkel Jürgen]

Hi,

nachdem ich deinen Beitrag gelesen hab, wollte ich auch mal wissen was meine SSD für Latenzen hat:

Code: Alles auswählen

ioping -c 10 -s 1M .
1048576 bytes from . (ext4 /dev/disk/by-uuid/68e627c1-94f2-4447-b39f-0a2cff4c796c): request=1 time=5.5 ms
1048576 bytes from . (ext4 /dev/disk/by-uuid/68e627c1-94f2-4447-b39f-0a2cff4c796c): request=2 time=5.0 ms
1048576 bytes from . (ext4 /dev/disk/by-uuid/68e627c1-94f2-4447-b39f-0a2cff4c796c): request=3 time=4.9 ms
1048576 bytes from . (ext4 /dev/disk/by-uuid/68e627c1-94f2-4447-b39f-0a2cff4c796c): request=4 time=4.9 ms
1048576 bytes from . (ext4 /dev/disk/by-uuid/68e627c1-94f2-4447-b39f-0a2cff4c796c): request=5 time=5.0 ms
1048576 bytes from . (ext4 /dev/disk/by-uuid/68e627c1-94f2-4447-b39f-0a2cff4c796c): request=6 time=4.8 ms
1048576 bytes from . (ext4 /dev/disk/by-uuid/68e627c1-94f2-4447-b39f-0a2cff4c796c): request=7 time=4.6 ms
1048576 bytes from . (ext4 /dev/disk/by-uuid/68e627c1-94f2-4447-b39f-0a2cff4c796c): request=8 time=4.9 ms
1048576 bytes from . (ext4 /dev/disk/by-uuid/68e627c1-94f2-4447-b39f-0a2cff4c796c): request=9 time=5.0 ms
1048576 bytes from . (ext4 /dev/disk/by-uuid/68e627c1-94f2-4447-b39f-0a2cff4c796c): request=10 time=4.9 ms

Ich finde das ist ganz ok.

Was ich hier noch nicht gelesen habe, was ich bei mir eingestellt habe, ist zum Beispiel den IO Scheduler auf deadline setzen:

Code: Alles auswählen

echo deadline >/sys/block/sd[a,b,c,....]/queue/scheduler 

Vll hilft das auch noch weiter.

Grüße

[scruffy]

Scheduler etc. habe ich alles versucht, das sind einzwei Prozente. Es geht bei mir eher um einen Faktor 10-100, der die SSD zu langsam ist.

Du liest 1MB-Dateien in 5ms, da spielt der Durchsatz schon eine Rolle (keine Latenzmessung). Versuche mal
ioping -R /dev/sda

Viele Grüße,

[scruffy]

So, die SSD ist jetzt von Samsung "ohne defekt" zurückgekommen. Dank der schlechten Organisation mit der Reparierfirma hat es sehr lang gedauert und war wirklich mühsam. Ich möchte jedem abraten, Samsung-SSDs zu kaufen. Die SSD werde ich zurückgeben, da es statt der versprochenen 80000 IOPs (Kartonaufdruck) eher 110 IOPs sind. Das habe ich übrigens noch mit überprüft, indem ich viele kleine Dateien gelesen habe

Code: Alles auswählen

 time cat /var/lib/dpkg/info/* > /dev/null

und durch deren Anzahl geteilt habe:

Code: Alles auswählen

 wc -l /var/lib/dpkg/info

Das erscheint mir ein sehr realistisches Benchmark und es deutet auch sehr genau auf 110 IOPs hin.

Vielen Dank für Eure Hinweise

[rendegast]

Eine weitere Sache ist, dass ich bei ext4 oft Dateisystemfehler bekomme, wenn ich per Reset neu boote. Das sollte durch Journaling doch eigentlich unterbunden werden, oder?

Die Platte hat einen Cache von 256MB.
Frage ist, ob der im Fall eines Reset noch geleert wird, wie zBsp. bei batteriegepufferten raid-Controllern.

Vielleicht sind die 80.000 iops ja ein theoretischer Wert, falls die Chips am pci-Bus hängen?

[scruffy]

Frage ist, ob der im Fall eines Reset noch geleert wird, wie zBsp. bei batteriegepufferten raid-Controllern.

Das kann gut sein, sollte aber nicht mein Problem sein. Außerdem habe ich das noch nirgendwo gelesen.

Vielleicht sind die 80.000 iops ja ein theoretischer Wert, falls die Chips am pci-Bus hängen?

Natürlich ist das nur ein Nennwert, der Wert einer SSD sollte bei ca. 10.000 liegen, was einer Latenz von 0.1 ms entspricht. Die Samsung-SSD hat eine Latenz von >5ms, was Festplattenlatenz ist.

Ich hatte die SSD gekauft, weil ich mir verringerte Latenz und damit einen schnelleren Systemstart erhofft hatte. Nachdem es fast nicht schneller war, habe ich Benchmarks laufen lassen. Wie beschrieben ist der Durchsatz ok, nur die Latenz ist absolute Grütze -- Unter Windows und Linux auf 3 verschiedenen Rechnern.

[letzter3]

Magst du uns noch mitteilen, welche SDD von Samsung es war?

[scruffy]

klar: Samsung 830er series 256GB, MZ-7PC256. Die Reviews sind alle nicht schlecht, aber meine Benchmark-Ergebnisse entsprechen absolut nicht denen, und Samsung sagt, dass sie ok ist

[owl102]

Ich möchte jedem abraten, Samsung-SSDs zu kaufen.

Dem kann ich mich nur anschließen, wenn auch aus anderen Gründen:

Eine Samsung 820/256GB wird hier von den Samsung-(Windows-)Tools nicht als Samsung SSD erkannt, und ein Firmware-Update geht nur über ein DOS-Tool, was auch so seine Macken hat, falls man es überhaupt zum Laufen bekommt. Der Service ist quasi nicht vorhanden, Anfragen über WWW oder E-Mail werden grundsätzlich nur mit einem "please hold the line...", mit sinnfreien Textbausteinen, oder gar nicht beantwortet.

Über die Geschwindigkeit kann ich nichts sagen, da das Teil in einem ollen & billigen Celeron-Notebook (SATA-1) hängt. Aber selbst unter diesen Bedingungen ist sie über 3x schneller als bei dir:

Code: Alles auswählen

ioping -c 10 -s 1M ~
1048576 bytes from /root (ext4 /dev/sda2): request=1 time=5.5 ms
1048576 bytes from /root (ext4 /dev/sda2): request=2 time=5.9 ms
1048576 bytes from /root (ext4 /dev/sda2): request=3 time=5.6 ms
1048576 bytes from /root (ext4 /dev/sda2): request=4 time=5.9 ms
1048576 bytes from /root (ext4 /dev/sda2): request=5 time=6.0 ms
1048576 bytes from /root (ext4 /dev/sda2): request=6 time=6.0 ms
1048576 bytes from /root (ext4 /dev/sda2): request=7 time=6.0 ms
1048576 bytes from /root (ext4 /dev/sda2): request=8 time=5.7 ms
1048576 bytes from /root (ext4 /dev/sda2): request=9 time=5.9 ms
1048576 bytes from /root (ext4 /dev/sda2): request=10 time=6.0 ms

--- /root ioping statistics ---
10 requests completed in 9061.6 ms, 171 iops, 170.9 mb/s
min/avg/max/mdev = 5.5/5.9/6.0/0.2 ms

[Saxman]

Ich bin gerade über einen Artikel zu Intel SSDs gestolpert. In dem werden die IOPS bei viel kleineren Blockgrößen als hier getestet "garantiert". Der hat mich auf die Idee gebracht das ganze mal mit verschiedenen Blockgrößen durch zu testen. Bei meiner OCZ erreiche ich bei ioping mit 4K Blockgröße, Werte um die 2500 IOPS, bei 1K sind es über 4000 IOPS, bei 512 B sind es schon 60976 IOPS und schlussendlich bei 1B über 75000 IOPS. Der Benchmark mit ioping scheint also von der Blockgröße abzuhängen. Das gleiche Bild zeigt sich im Übrigen auch auf dem RAID und im tmpfs. Der Benchmark ist mir insofern suspekt.

Der Durchsatz geht im übrigen umgekehrt proportional in den Keller bei sinkenden Blockgrößen.

[scruffy]

Ich möchte gerne jetzt nochmal Rückmelden: Anscheinend hat Samsung doch eine Austausch-SSD zurückgeschickt, jedenfalls hat der Test, bevor ich die SSD entgültig zurückgeben wollte, sehr gute Latenz ergeben -- eher 10000 iops statt vorher 100.

Ich kann meine Ergebnisse posten, sobald ich wieder zu hause bin.

[rendegast]

Wegen der vielen IOPS-Werte hier mal was reales:
~ 1GB verschoben (20.000 dir, 70.000 Dateien, 110.000 Links)
zwischen zwei hdd SATA2 ext4 mit gerade mal 2MB/sec, frustrierend.
(Ein bigfile wäre nach vielleicht 20sec fertig gewesen)

~ 1.5GB (170 dir, 35.000 Dateien) mit 4,5MB/s.