Kopieren über USB3 teilweise langsam

[desputin]

Hallo Ihr,

ich habe mehrere USB3.0 und 3.1 Ports an meinem Gigabyte Mainboard. Nun ist es so, daß ich bei verschiedenen externen USB-Platten (2,5 Zoll, rotierend und SSDs) das Problem habe, daß das Kopieren auf die externe Festplatte erstmal mit 100-120 MB anfängt und dann aber einbricht nach ein Paar Minuten, teilweise über längere Zeiten auf 7 MB/Sek oder so. Also extrem langsam. Und daß, obwohl ich meist Filme kopiere, also wenige große Dateien. Das Dateisystem ist immer Ext4.

Könnt Ihr Euch erklären, woran das liegen könnte? Hardware? Software? Würde es was nutzen, die externen FPs in einem anderen Dateisystem zu formatieren? Was ist Eure Einschätzung?

Viele Grüße desputin

[cosinus]

Nimmst du immer ein und dasselbe USB-Kabel? Oder sind das bei jeder Platte immer separate Kabel?
Siehst du was in dmesg wenn die Schreibrate in den Keller geht?

[kalle123]

Würde mich auch interessieren. Sehe das gleiche Problemchen hier z.B. beim kopieren von *.isos auf USB3 Sticks .....

Sehe gerade den Einwurf von cosinus. Div. Kingston USB3 Sticks hier direkt am Mobo USB3 port.

cu KH

[MSfree]

Sehe das gleiche Problemchen hier z.B. beim kopieren von *.isos auf USB3 Sticks .....

Billige USB-Sticks erreichen oft nur Transferraten von 7-8 MB/s beim Schreiben. Ob die mit USB2 oder USB3 angebunden werden, macht keinen Unterschied, die Bremse steckt in den Flaschbausteinen.

Datenraten um 100MB/s erreicht man solange, bis der Hauptspeicher durch den Dateisystemcache des Betriebssystems gefüllt ist, danach muß der Cache auf den lahmen Flashspeicher geschrieben werden.

Bei Festplatten kann das gleiche Problem eintreten, wenn es sich um SMR-Festplatten handelt.

[cosinus]

Bei Festplatten kann das gleiche Problem eintreten, wenn es sich um SMR-Festplatten handelt.

Aber nicht grundsätzlich? Ich hab hier auch eine Backupplatte mit SMR, oder sind besonders über USB angebunden problematisch?

[desputin]

In meinem Fall handelt es sich um eine Western-Digital 2,5-Zoll Standardfestplatte (2TB) und eine SSD 128GB von Samsung, beide in externen Gehäusen.
Ist die Elektronik dieser Gehäuse eventuell zu schlecht? Also es handelt sich definitiv nicht um USB-Sticks.

[cosinus]

In meinem Fall handelt es sich um eine Western-Digital 2,5-Zoll Standardfestplatte (2TB) und eine SSD 128GB von Samsung, beide in externen Gehäusen.

Haben die denn immer ihr eigenes Kabel? Oder hast du nur eins und nimmt immer das?
Und es ist auch egal welchen USB3-Port du nimmst?

[thunder11]

Ich würde mir gnome-disks installieren und mit diesem Tool einen Test ausführen.
Das ist dann doch etwas objektiver als "langsam"
sähe dann so oder ähnlich aus:
(WDC WD10SPZX-22Z10T0 in Transcend StoreJet 25H3-Gehäuse / USB3)



Ginge auch mit:

Code: Alles auswählen

~# dd if=/dev/zero of=/dev/sdc bs=1M count=400 skip=1000 oflag=direct
400+0 Datensätze ein
400+0 Datensätze aus
419430400 Bytes (419 MB, 400 MiB) kopiert, 3,75725 s, 112 MB/s

Die Messungen sind aber sehr unterschiedlich.
Mir scheint das Gnome-Tool irgendwie aussagekräftiger.

[kalle123]

Interessant, dass gnome-disks auch so eine Speedfunktion hat. Wieder was gelernt

Hab bisher bei solchen Tests auf Win Tools zurückgegriffen.

Hier mal ein 16GB Kingston Stick mit ATTO Disk Benchmark und der gleiche Stick mit gnome-disks
gallery/image/4473/medium
gallery/image/4474/medium


Mir geht es auch eigentlich nicht um die Speed und ob ich da jetzt einen 'super duper' USB3 Stck hab und noch ein paar Sekunden raus schinden kann, sondern eher um den Effekt, den ich hier z.Z. beobachte.

Lege mir gerade nen Ventoy Stick an mit div. Isos an und das sind ja üblicherweise fette Dinger in GB Größe. Und Thunar zeigt mit hier in den ersten ~90% des Kopiervorgangs Werte xxx MB/s an und dann geht es bei den letzten % in den Keller.

Und ich denke, in die Richtung zielt auch die Frage des Fragestellers hier ....

Gruß KH

[GregorS]

Wenn einem die (reale, nicht Cache-mäßige) Schreibgeschwindigkeit angezeigt werden soll, kann man mit der sync-Option mounten, dann wird am Anfang erst gar nicht so ultraschnell gecached.

Macht bei heutigen Datenmengen aber so oder so keinen Spaß.

Gruß

Gregor

[thunder11]

Wenn ich mit Thunar kopiere (VM mit 74 GiB) geht das konstant mit 111 MiB/s
über das ganze File,
Die ersten paar Sekunden sind es 190 MiB/s.
Hab mal den Speicherverbrauch beim Kopieren von Thunar beobachtet:
Wenn da ca. 70 MB erreicht sind, geht die Kopiergeschwindigkeit zurück.

[rhHeini]

Wenn ich mit Thunar kopiere (VM mit 74 GiB) geht das konstant mit 111 MiB/s über das ganze File

Toll wenn das so bei Dir geht. Das ist sicher von Festplatte auf Festplatte, oder?

Die beschriebenen Effekte sind voll erklärlich durch das Auffüllen beteiligter Caches. Wenn die voll sind bricht die Schreib/Lesegeschwindigkeit zusammen, SMR-Festplatten machen sich auch noch durch Verzögerungen durch das zylinderweise Neuschreiben von Informationen besonders negativ bemerkbar (beim Lesen fällt das nicht an und damit auch nicht auf). Da diese Caches nicht nur im Betriebssystem liegen sondern auch in der beteiligten Hardware, kann man da niemals eine pauschale Aussage machen. Man muss immer auf die beteiligte HW schauen und den Einzelfall bewerten.

Zu solchen Caches gehören z.B. auch Pufferspeicher auf USB-Sticks und die SLC oder DDR-Caches bei SSDs. Und da gibt es eine ganz weite Bandbreite von Verhaltensweisen. Wirklich gute SSDs schaffen es fast über die ganze SSD eine hohe Schreibgeschwindigkeit aufrecht zu erhalten, es gibt aber viele die schaffen das nur für ein paar MByte oder GByte. Und dann dauerts ...

[thunder11]

Toll wenn das so bei Dir geht. Das ist sicher von Festplatte auf Festplatte, oder?

Nee das ist ne ICY BOX IB-3620U3 über USB3 , die schon diverse Jahre auf dem Buckel hat.
Platte ist ne WD1003FBYX-01Y7B1 1 TB (CMR)



Ich denke mal das ganz entscheidend ist, was da für ein Controller verbaut ist. Offensichtlich hab
ich da - ohne es genau zu wissen - ganz gut zugegriffen

[desputin]

Also ich hab jetzt mal einen Test gemacht. Schreiben-Benchmark in gnome-disks: 400 MB/sek. Schreiben real beim Rüberkopieren von Filmen im Dateimanger: 30-100 MB/Sek. Ich glaube, das Gehäuse ist zu billig (hat nur 10 Euro oder so gekostet). Ich werde mir jetzt mal ein Icybox-externes FP-Gehäuse zulegen.

[cosinus]

Also ich hab jetzt mal einen Test gemacht. Schreiben-Benchmark in gnome-disks: 400 MB/sek. Schreiben real beim Rüberkopieren von Filmen im Dateimanger: 30-100 MB/Sek. Ich glaube, das Gehäuse ist zu billig (hat nur 10 Euro oder so gekostet). Ich werde mir jetzt mal ein Icybox-externes FP-Gehäuse zulegen.

Ja was ist denn nun mit meiner Frage nach dem Kabel??!

[desputin]

Hm, das Kabel kam mit dem USB-3-Gehäuse mit, insofern nehme ich an, daß es ein USB-3-Kabel ist. Aber ich kann noch ein anderes ausprobieren...

[cosinus]

Hm, das Kabel kam mit dem USB-3-Gehäuse mit, insofern nehme ich an, daß es ein USB-3-Kabel ist. Aber ich kann noch ein anderes ausprobieren...

Also ich wollte wissen ob du bei jeder Platte auch jedes Mal ein anderes Kabel benutzt. Es wäre zumindest denkbar gewesen, dass du bei jeder Platte auch immer ein und dasselbe Kabel nutzt und nicht immer ein separates/anderes.

[desputin]

Nein, für beide Festplatten nehm ich jeweils immer das mit dem Gehäuse mitglieferte genutzt. Die Werte waren ürbrigens ähnlich eingebrochen, egal ob ich es am USB-3-Hub oder direkt am USB-Port dran hatte.

[desputin]

Also jetzt hab ich eine icybox mit Original USB-3.0-Kabel und: Es sieht sehr viel besser aus.

Datenraten starten mit 125 MB/Sek. Ab und zu geht die Rate etwas runter, aber dann gleich wieder hoch.

Fazit: Es liegt an der Hardware, also an den zu billigen elektronischen Komponenten im externen Gehäuse für die Festplatten.

[desputin]

Hm, kann mir jemand sagen, was die USB-Spezifikation überhaupt Wert ist, wenn die Datenraten nur etwa real ein Viertel von dem betragen, wie sie eigentlich sein sollten? Also real um 100MB/Sek. kommt mir doch echt langsam vor.....

[hikaru]

100MB/s ist etwa die Transferrate, die man von einer guten 2,5"-HDD erwarten kann. Wenn also eine davon in den Kopierprozess involviert ist (egal ob als Quelle oder Ziel) dann geht es halt nicht schneller.
Von handelsüblichen Desktop-HDDs kann man ca. 150MB/s erwarten.
(Brauchbare) SSDs können natürlich mehr, aber dann wird auch der Hostcontroller interessant. Ich hatte z.B. mal ein Netbook mit USB 3.0, dessen Controller aber nur 60MB/s schaffte.

[niemand]

Hm, kann mir jemand sagen, was die USB-Spezifikation überhaupt Wert ist, wenn die Datenraten nur etwa real ein Viertel von dem betragen, wie sie eigentlich sein sollten? Also real um 100MB/Sek. kommt mir doch echt langsam vor.....

Die Frage ist eher: was soll die USB-Spezifikation bei deinen langsamen Geräten denn ausrichten? Wenn auf der Straße 100km/h erlaubt sind (Spezifikation), dein Moped aber nur 45km/h schafft, dann ist das ja wohl auch nicht der Straße anzulasten?

Hier mal, was mein schnellstes Laufwerk über die USB-Schnittstelle schiebt:

Code: Alles auswählen

/dev/sdc1:
 Timing buffered disk reads: 2308 MB in  3.00 seconds = 768.83 MB/sec

[MSfree]

Wenn auf der Straße 100km/h erlaubt sind (Spezifikation), dein Moped aber nur 45km/h schafft, dann ist das ja wohl auch nicht der Straße anzulasten?

Doch, dann geht die Straße nicht steil genug bergab.
*SCNR*

[desputin]

Hm, kann mir jemand sagen, was die USB-Spezifikation überhaupt Wert ist, wenn die Datenraten nur etwa real ein Viertel von dem betragen, wie sie eigentlich sein sollten? Also real um 100MB/Sek. kommt mir doch echt langsam vor.....

Die Frage ist eher: was soll die USB-Spezifikation bei deinen langsamen Geräten denn ausrichten? Wenn auf der Straße 100km/h erlaubt sind (Spezifikation), dein Moped aber nur 45km/h schafft, dann ist das ja wohl auch nicht der Straße anzulasten?

Hier mal, was mein schnellstes Laufwerk über die USB-Schnittstelle schiebt:

Code: Alles auswählen

/dev/sdc1:
 Timing buffered disk reads: 2308 MB in  3.00 seconds = 768.83 MB/sec

Ist das "real", also copy und Paste im Dateimanager, oder irgendwie über die Konsole mit cp?

[niemand]

Ist das "real", also copy und Paste im Dateimanager, oder irgendwie über die Konsole mit cp?

Das ist die reale Maximalgeschwindigkeit beim sequenziellen Lesen von diesem SSD, ermittelt via hdparm -t und mittels dd gegengeprüft. Wenn man ein Verzeichnis mittels cp oder via Dateimanager kopiert, wird’s naturgemäß langsamer (Dateisystem-Overhead, etc.) – aber da kann die Schnittstelle nichts für. Beim Schreiben wird’s bei SSDs bekanntermaßen ebenfalls langsamer – aber auch das ist nicht der Schnittstelle anzulasten; der ist’s recht egal, in welche Richtung die Daten gehen.