Netzwerkverbindung von dm800se -> debian srv sehr langsam

[RalfP]

Hallo zusammen,

seit Wochen fummel ich an dem Problem und bitte nun um Hilfe:

folgende Konfiguration:
1. Fritzboxen 6360 oder 7390 oder 7170, 192.168.2.1
2. c't-Bausatz Server, OS auf SSD, Datengrab auf HDD, Debian 8.9, fullupgrade, manuell 192.168.2.2, nfs, cifs
3. Dreambox dm800se, Enigma2, merlin3, Image auf Flash, boot von flodder auf SSD, manuell 192.168.2.8, nfs, cifs, openvpn, ...
4. Win10-Laptop, W-LAN manuell 192.168.2.3, cifs und DLNA Freigaben haben kein Problem

Problem: nur eine Datenübertragungsrate aller 6 möglichen Verbindungen ist sehr langsam
Egal, was ich tue, die Datenrate beim Kopieren von der dreambox zum Server ist bei max 750 kByte/s.
Alle anderen sind befriedigend bei ~6-7 MByte/s.
Damit werden Timer-Aufnahmen auf dem Server unmöglich und Verschiebungen zum unerträglichen Geduldspiel.

weitere Infos:
Ich habe alle o.a. Fritzboxen nacheinander durchprobiert, Kabel getauscht, green mode (100 MBit) in den beiden ersten eingeschaltet.
Sogar die Direktverbindung von dreambox und Server - mit zusätzlichem W-LAN-Stick an der dreambox zur Kommunikation mit den beiden vom Laptop aus - bringt keine Änderung.
Dreambox boot aus dem Flash bringt auch keine Änderung.

die %wa Werte beim "vmstat 1" auf der console beim Kopieren bewegen sich sowohl beim server als auch bei der dreambox 40-90.
Wenn ich in die andere Richtung kopiere (srv->dream) erscheinen sie mir normal (0-20).

Lasst mich bitte wissen, welche consolen-Ausgaben ihr benötigt.

Vielen Dank für eure Hilfe!

Gruß
Ralf

[mistersixt]

Nochmal zur Klärung:

Das heisst, egal ob Du via NFS oder CIFS die Daten von der Dreambox auf den Debian-PC "kopierst", kommst Du nicht über die 750 KB/s? Und das ist in beide Richtungen, von und zum Debian-PC? Beide hängen per Kabel an einem Switch (extern oder direkt über die Fritzbox)? Und vom Win10-PC via CIFS zum Debian-PC geht mit besagten 6-7 MB/s?

Gruss, mistersixt.

[BenutzerGa4gooPh]

Lasst mich bitte wissen, welche consolen-Ausgaben ihr benötigt.

Einfachste Konstellation / Anschluss / nur notwendige Geräte verbinden und diese genau beschreiben (kleine ASCII-Skizze!!!), einfachste Konfiguration nur notwendiger Geräte herstellen und genau beschreiben/posten, Fehlerquellen somit selber weitgehend ausschließen.
Konkrete Ausgaben der Systeme mit vorheriger Beschreibung eigener Handlungen (Kommandos zur Initiation der Fehler) posten!

mistersixt hat zu Recht gefragt, was "von vorherein" kommen müsste. Mit dem "kruden" Eingangstext/Threaderöffnung wird kaum Hilfe möglich sein.

[RalfP]

danke euch beiden für eure Mühen, trotz meiner 'kruden' Beschreibung

Das Problem besteht nur bei einer Verbindung und in EINER Richtung, bei beiden Protokollen NFS und CIFS: beim Kopieren von der dreambox zum Server.
Die andere Richtung (Kopieren von Server zur Dreambox) läuft mit ~6 MByte/s.
Ja, korrekt, auf dem Win10-Laptop was von beiden per Samba-Freigabe/CIFS kopieren geht mit ~6-7 MByte/s.
(6 mögliche Verbindungen, server<->dreambox, win<->server, dreambox<->win)

Alle anderen Verbindungen, nur der Vollständigkeit halber und des Fehlerausschlusses wegen erwähnt, sind nicht betroffen.
Ich benötige jedoch den Laptop im Netzwerk, um mit den beiden quengeligen Geräten über SSH zu reden.
Die Dreambox ist eine Linux-basierte Settop-Box, freilich habe ich bereits im zugehören Board nachgefragt, leider ohne schlagenden Erfolg.

Auch habe ich die ganzen Fritzboxen nur deshalb erwähnt, um darzulegen, dass es keinen Unterschied macht.
Die Direktverbindung - also die Minimal-Konfiguration - hatte ich erwähnt, da herrscht das gleiche Problem, also keine Fritzbox dazwischen.
Allerdings muss ich dann einen WLAN-Stick an die Dreambox machen, um mit den beiden kommunizieren zu können.

Schlussfolgerung: egal, welche Hardware-Konfiguration ist wähle, die Datenrate bleibt bei sturen ~750 kByte/s.
Weitere Schlussfolgerung: kein Hardware-Problem --> bleibt nur ein Software-Problem.

Meine Dreambox bietet eine Dual-Boot-Option: einmal aus dem Flash und einmal über Flodder(tm), bei dem eine Kopie des Flashs von der installierten SSD gebootet wird, da der Flash der dreambox arg begrenzt ist.
Da das Problem erst seit Kurzem besteht (wann genau, weiß ich nicht) kann und beide Boot-Optionen das gleiche Ergebnis bringen, bleibt hier nur die Schlussfolgerung: an der dreambox kann es eigentlich nicht liegen. 100% ausschließen kann ich das natürlich nicht.

Ansatz: bei der Problem-Suche beim Debian-Server ansetzen.

Ich weiß nur nicht, wo, weswegen ich eure Hilfe benötige, wo ich anfangen kann zu suchen.

Es sei noch erwähnt: das Kopieren wird immer vom Win-Laptop über SSH mit dem mc ausgeführt. Dabei sehe ich die Datenrate.
Ich habe sonst hier keine Möglichkeit das zu kontrollieren. Aufgefallen ist mir das Problem, als ich viele große Dateien über die UI der Dreambox mittels Fernbedienung auf den Server verschob, was viele Stunden dauerte und ich die Dreambox währenddessen nur mit Mühen weiter nutzen konnte. Auch möchte ich nochmal auf die "Auslastung" beider Systeme während des Kopierens hinweisen (auf der console 'vmstat 1' ausgeführt und laufenden log hohe %wa Werte).
Mit scheint das der richtige Angriffspunkt. Leider kenne ich mich im Linux nur oberflächlich aus.

Danke euch!

[MSfree]

Soweit ich das in Erfahrung bringen konnte, hat die Dreambox einen 300MHz MIPS Prozessor, was nach heutigem Ermessen schlicht und ergreifen popolahm ist.

Dazu versuchst du, mit mc zu kopieren. mc ist zwar ein wirklich gutes Tool, aber die Kopiergeschwindigkeit ist nicht gerade rekordverdächtig, selbst, wenn man mit einem 2.5GHz Core2-Quad von SATA-Platte zu SATA-Platte kopiert. Das geht mit cp einfach sehr viel schneller.

Weitere Alarmglocken läuten bei mir in diesem Zusammenhang, wenn du WLAN und SSH ins Spiel bringst. Vermutlich wirst du da nur einen 54MBit WLAN-Stick nutzen können, mit dem selten mehr als 3MByte/s erreichbar sind. SSH lastet den ohnehin lahmen Prozessor zusäzlich mit Verschlüsselung aus.

Für mich ist klar, das der lahme Prozessor der Dreambox mit den von dir gestellten Anforderungen hoffnungslos überfordert ist und schon bei anspruchslosen Aufgaben wie kopieren über NFS/CIFS/FTP auf 100%ige Auslastung springt, ohne das Netzwerk auch nur annähernd sättigen zu können.

[RalfP]

Soweit ich das in Erfahrung bringen konnte, hat die Dreambox einen 300MHz MIPS Prozessor, was nach heutigem Ermessen schlicht und ergreifen popolahm ist.

das argument "ging schon mal" hast du überlesen?

Und nein, der MIPS 300 ist mitnichten zu langsam dafür.
Ich kann problemlos 10 Aufnahmen in HD gleichzeitig auf (zugegebenermaßen) interner SSD ablegen lassen.
Über Netzwerk sind es immerhin 3, Datenrate je ~10 MBit.. Nur aktuell grad nicht.. das problem ist "gerade erst" entstanden..

--- nicht alles, was hinkt, ist ein vergleich ---

[MSfree]

Und nein, der MIPS 300 ist mitnichten zu langsam dafür.
Ich kann problemlos 10 Aufnahmen in HD gleichzeitig auf (zugegebenermaßen) interner SSD ablegen lassen.

Wobei die 10 Streams per DMA von der Videohardware an der CPU vorbei auf die SSD gelangen.

--- nicht alles, was hinkt, ist ein vergleich ---

eben.

Laß einfach mal top auf der Dreambox in einem zweiten Terminal laufen und beobachte die CPU-Auslastung beim Kopieren.

[RalfP]

Laß einfach mal top auf der Dreambox in einem zweiten Terminal laufen und beobachte die CPU-Auslastung beim Kopieren.

ich schrieb: vmstat 1: die %wa Werte haben hohe Zahlen ~40-90%
Eventuell helfen die logs:
Angestoßen habe ich die Verschiebe-Aktion diesmal über die Fernbedienung der Dreambox, SSH nur für die logs genutzt.

Dreambox log Auszug vmstat 1 während einer verschieben-Aktion:

Code: Alles auswählen

root@dm800se:~# vmstat 1
procs -----------memory---------- ---swap-- -----io---- -system-- ----cpu----
  r  b   swpd   free   buff  cache   si   so    bi    bo   in   cs us sy id wa
 1  0   4292  13540  17412  20296    0    0     0     0  462  372  3  1 96  0
 0  0   4292  13540  17412  20296    0    0     0     0  497  339  3  1 96  0
 0  0   4292  13540  17412  20296    0    0     0     0  435  347  2  1 97  0
 1  0   4292  13600  17412  20296    0    0     0     0  501  357  3  2 96  0
 1  0   4292  13352  17420  20268    0    0     0     0 1557  460 37  6 57  0
 0  0   4292  13328  17420  20224    0    0     0     0  956  420 15  6 79  0
 0  0   4292  13328  17420  20224    0    0     0     0  438  345  3  1 97  0
 0  0   4292  13388  17420  20224    0    0     0     0  489  335  3  1 96  0
 0  0   4292  13388  17420  20224    0    0     0     0  441  349  3  1 96  0
 0  0   4292  13328  17428  20216    0    0     0     0  648  365  6  4 90  0
 0  0   4292  13328  17436  20216    0    0     0     0  429  349  3  0 97  0
 0  0   4292  13328  17436  20224    0    0     0     0  489  357  2  1 97  0
 0  0   4292  13328  17436  20224    0    0     0     0  445  367  2  1 97  0
 //// Start verschieben
 0  1   4292   2404  11036  36340    0    0     0     0 2906  862  3 22 62 13
 0  0   4292   3124  11036  35620    0    0     0     0 1619  378  1  3 89  8
 1  0   4292   3124  11036  35620    0    0     0     0 1005  358  1  1 98  0
 0  0   4292   3124  11036  35620    0    0     0     0 1017  358  1  2 97  0
 0  0   4292   3124  11036  35576    0    0     0     0 1025  356  1  1 98  0
 0  0   4292   3184  11052  35428    0    0     0     0 1174  386  3  3 94  1
 0  0   4292   3184  11052  35340    0    0     0     0 1529  402  2  3 95  0
 0  0   4292   3200  11052  35312    0    0     0     0 1081  401  2  1 97  0
 0  1   4292   2768  11056  35852    0    0     0     0 1829  455  2  6 73 19
 0  0   4292   3068  11056  35544    0    0     0     0  922  338  0  2 95  4
 0  1   4292   2568  11056  35708    0    0     0     0 1578  477  1  5 68 27
 0  0   4292   3108  11056  35216    0    0     0     0  998  364  1  2 59 39
 0  0   4292   3108  11056  35212    0    0     0     0  985  375  1  2 98  0
 0  1   4292   2384  11060  35864    0    0     0     0 1131  417  1  3 88  8
 0  0   4292   3104  11060  35144    0    0     0     0 1749  391  1  3 85 12
 0  0   4292   3224  11060  35128    0    0     0     0  999  356  1  3 97  0
 0  0   4292   3224  11060  35128    0    0     0     0  897  358  0  3 97  0
 0  0   4292   3100  11060  35304    0    0     0     0 1750  431  1  4 69 26
 1  0   4292   3220  11060  35200    0    0     0     0 1041  360  3  3 94  0
 0  0   4292   3340  11060  35196    0    0     0     0 1008  369  3  2 95  0
 0  0   4292   2896  11040  35936    0    0     0     0 1417  447  1  4 81 15
 0  0   4292   2896  11040  35924    0    0     0     0  918  345  1  1 98  0
 0  0   4396   3096  11028  35888    0    0     0     0 1711  435  1  4 77 19
 1  0   4396   3156  11028  35864    0    0     0     0  945  350  2  2 96  0
 0  0   4396   3156  11028  35860    0    0     0     0 1084  357  2  2 97  0
 0  0   4396   3276  11028  35740    0    0     0     0  717  378  3  1 96  0
 0  0   4428   3008   7952  39656    0    0     0     0 2067  604  3 11 74 12
 0  0   4428   3068   7952  39596    0    0     0     0 1153  424  4  2 92  2
 0  1   4428   2252   7648  40524    0    0     0     0 1436  377  2  4 89  5
 0  0   4428   3152   7640  39636    0    0     0     0 1141  378  2  3 84 12
 1  1   4428   2084   7472  39884    0    0     0     0 2822 1022 28 13 52  7
 0  1   4428   2624   7472  39356    0    0     0     0 1164  424  2  3 51 45
 1  1   4428   2220   7472  39716    0    0     0     0 1159  462  2  3 49 46
 1  1   4568   2056   7232  40656    0    0     0     0 1414  494  1  5 52 43
 1  1   4568   2288   7232  40176    0    0     0     0 1126  468  1  4 50 46
 0  0   4628   3068   7232  39448    0    0     0     0 1245  419  7  3 55 35
 2  0   4628   3128   7232  39400    0    0     0     0 1070  397  2  2 96  0
 0  0   4628   3188   7232  39384    0    0     0     0 1127  386  2  2 96  0
 1  1   4656   2428   7232  40064    0    0     0     0 1182  410  1  3 63 34
 0  0   4680   3148   6696  39944    0    0     0     0 1189  394  1  2 61 37
 0  0   4680   3148   6696  39948    0    0     0     0 1090  376  1  2 97  0
 0  1   4680   2120   6292  41504    0    0     0     0 1256  401  0  4 67 30
 0  1   4684   3020   5560  41204    0    0     0     0 1238  408  2  2 45 51
 0  0   4684   3200   5560  41188    0    0     0     0 1176  399  2  3 92  4
 0  1   4684   2736   4872  42432    0    0     0     0 1245  446  1  5 50 44
^C

root@dm800se:~# date
Tue Nov 28 22:04:04 CET 2017

das gleiche parallel beim Server:

Code: Alles auswählen

root@srv:~# vmstat 1
procs -----------memory---------- ---swap-- -----io---- -system-- ------cpu-----
 r  b   swpd   free   buff  cache   si   so    bi    bo   in   cs us sy id wa st
 0  0      0 7177064 195196 476224    0    0     0     0   33   64  0  0 100  0  0
 0  0      0 7177064 195196 476224    0    0     0     0   33   62  0  0 100  0  0
 0  0      0 7177064 195196 476224    0    0     0     0   40   76  0  0 100  0  0
 0  0      0 7177064 195196 476224    0    0     0     0   42   87  0  1 100  0  0
 0  0      0 7177064 195196 476224    0    0     0    32   34   63  0  0 100  0  0
 0  0      0 7177064 195196 476224    0    0     0     0   48   99  0  0 100  0  0
 //// start verschieben
 0  1      0 7177064 195200 476224    0    0     0    24   53   85  0  0 59 41  0
 0  1      0 7177064 195200 476224    0    0     0     0   34   65  0  0 50 50  0
 0  1      0 7176940 195200 476224    0    0     0    36   37   72  0  0 50 50  0
 0  1      0 7176940 195200 476224    0    0     0     0   37   65  0  0 50 50  0
 0  1      0 7176940 195200 476224    0    0     0     0   37   62  0  0 50 50  0
 0  1      0 7176940 195200 476224    0    0     0     0   33   60  0  0 50 50  0
 0  1      0 7176940 195200 476224    0    0     0     0   37   77  0  0 50 50  0
 0  1      0 7176940 195200 476224    0    0     0     0   38   71  0  0 50 50  0
 0  1      0 7176556 195252 476176    0    0     8   216  526  373  0  1 57 43  0
 0  1      0 7173644 195416 477348    0    0   492  1140 1931 1361  2  2 34 63  0
 0  1      0 7168400 195584 482464    0    0     0  1168 1005 1415  4  1 31 65  0
 0  1      0 7167840 195760 482464    0    0     0  1236  981 1385  3  2 32 64  0
 0  1      0 7167908 195932 482480    0    0     4  1204  968 1343  1  2 31 66  0
 0  2      0 7167624 196112 482464    0    0     4  1260  995 1372  2  2 33 64  0
 1  4      0 7167408 196280 482464    0    0     0  1208  933 1383  1  2 33 65  0
 9  0      0 7167356 196448 482512    0    0     0  1244  992 1355  1  2 33 64  0
 0  1      0 7166508 196608 482740    0    0     0  1108  904 1247  2  1 28 69  0
 0  6      0 7165892 196752 482904    0    0     0  1008  825 1150  1  1 30 68  0
 0  4      0 7165800 196888 483216    0    0     0   988  793 1077  2  1 31 66  0
 0  1      0 7165148 197036 484204    0    0     0  1052  853 1188  2  1 31 66  0
 0  4      0 7164280 197180 484828    0    0     0  1036  828 1138  1  2 32 66  0
 0  1      0 7163348 197328 485384    0    0     4  1008  827 1159  2  1 31 65  0
 0  1      0 7162764 197504 486012    0    0     0  1240 1002 1372  1  1 28 70  0
 0  1      0 7161892 197664 486568    0    0     0  1184  916 1222  2  1 26 71  0
 2  1      0 7161144 197836 487204    0    0    28  1012  805 1156  2  1 30 67  0
 0  1      0 7160404 197980 487728    0    0     0  1008  813 1136  2  1 30 68  0
 0  1      0 7159536 198124 488360    0    0     0  1008  810 1144  2  1 32 66  0
 0  1      0 7158728 198284 488928    0    0     0  1148  877 1272  1  1 32 66  0
 0  1      0 7158016 198420 489536    0    0     0  1168  809 1122  2  0 26 72  0
procs -----------memory---------- ---swap-- -----io---- -system-- ------cpu-----
 r  b   swpd   free   buff  cache   si   so    bi    bo   in   cs us sy id wa st
 1  1      0 7157212 198564 490128    0    0     0   964  743 1112  1  0 31 68  0
 0  1      0 7156592 198712 490440    0    0     4  1024  802 1123  1  1 31 67  0
 0  1      0 7155908 198856 490972    0    0     0  1024  809 1141  2  1 32 66  0
 0  1      0 7155072 199028 491564    0    0     4  1208  955 1307  2  2 28 69  0
 0  1      0 7154560 199204 492284    0    0     0  1232  713 1374  1  2 30 67  0
 0  3      0 7154676 199384 493020    0    0     0  1252  537 1400  2  1 35 62  0
 0  3      0 7152528 199560 493896    0    0     0  1256 1624 1390  2  2 35 62  0
 0  7      0 7151504 199728 494628    0    0     0  1208  960 1359  1  0 34 65  0
 0  1      0 7150392 199904 495256    0    0     0  1232  998 1426  2  1 36 62  0
 0  1      0 7149184 200152 495904    0    0   144   732  645  965  2  1 38 60  0
 0  7      0 7148312 200336 496492    0    0     0  1288  985 1358  1  2 32 65  0
 0  1      0 7147664 200504 497156    0    0     0  1212  947 1355  2  1 33 65  0
 0  1      0 7146732 200688 498144    0    0     0  1340 1034 1441  2  2 35 62  0
 0  1      0 7145608 200872 498904    0    0     0  1296  999 1430  2  2 33 64  0
 0  1      0 7144968 201048 499528    0    0     0  1248  980 1380  2  1 33 64  0
 0  1      0 7143604 201228 500484    0    0     0  1272  981 1392  1  1 36 62  0
10  0      0 7142480 201420 501188    0    0    24  1216  958 1367  2  1 33 65  0
 0  5      0 7141188 201608 501984    0    0     4  1268 1035 1412  2  2 32 64  0
 0  1      0 7140560 201776 502596    0    0     0  1200  965 1377  1  1 29 69  0
 0  1      0 7139320 201968 503324    0    0     0  1404 1044 1437  2  1 32 66  0
 0  5      0 7138644 202188 504288    0    0     4  1544 1150 1643  2  2 30 66  0
^C
root@srv:~# date
Di 28. Nov 22:04:11 CET 2017
root@srv:~#

[mistersixt]

Mach doch mal Folgendes: installiere einen ftp-server auf dem Debian-Rechner sofern nicht schon geschehen, proftpd beispielsweise. Dann loggst Du Dich auf der Dreambox ein, wechselst in ein Verzeichnis Deiner verbauten Platte, in der eine 100 bis 500 MB grosse Datei liegt, machst dann ein "ftp debianserver", loggst Dich ein und kopierst mal eine 100 bis 500 MB grosse Datei dort hin. Bleibt es bei den 750 KB/s? Ich will ausschliessen, dass ein ein kaputt konfiguriertes Setting beim CIFS oder NFS ist.

Zweite Idee: Du bootest den Server mal von einer Live-CD[1], steckst eine USB-Platte dran und machst nochmal den gleichen Speed-Test.

Gruss, mistersixt.

[1] https://cdimage.debian.org/debian-cd/cu ... 4-xfce.iso

[bluestar]

Die DM800SE ist für eine eher miese Netzwerkperformance bekannt, frag dazu mal Mr. Google zu der Thematik.

[RalfP]

Ich will ausschliessen, dass ein ein kaputt konfiguriertes Setting beim CIFS oder NFS ist.
Zweite Idee: Du bootest den Server mal von einer Live-CD[1], steckst eine USB-Platte dran und machst nochmal den gleichen Speed-Test.

vielen Dank für die Idee . Das greife ich gern heute abend in einer ruhigen Stunde auf. Ich melde die Ergebnisse...
Ralf

[RalfP]

Die DM800SE ist für eine eher miese Netzwerkperformance bekannt, frag dazu mal Mr. Google zu der Thematik.

Das Argument habe ich schon oft gehört. Ich bin zwar kein Dreambox-Jünger, habe jedoch seit >10 Jahren erst die dm7025, seit 4 Jahren die hier angesprochene dm800se am Laufen.
Das Problem gibt es erst seit Kurzem, keine 4 Jahre.
Des Weiteren passt die Datenrate von und zur dm800se zum Win10-Laptop (W-LAN). Es kann nicht an der Netzwerkhardware der Dreambox liegen, sonst wären alle Verbindungen über eth0 betroffen.

[RalfP]

... und kopierst mal eine 100 bis 500 MB grosse Datei dort hin. Bleibt es bei den 750 KB/s? Ich will ausschliessen, dass ein ein kaputt konfiguriertes Setting beim CIFS oder NFS ist. ...

Hallo mistersixt,

ich bin überrascht: per native ftp liegen die Transferraten in beiden Richtungen am Maximum des 100 MBit möglichen.
Hier die Ausgaben:

Code: Alles auswählen

ftp> get 20170503_2101_-_ARD-ALPHA_-_DAS_GEHEIMNIS_DER_DIGEDAGS_-_KULT-COMIC_AUS_DER_DDR.ts
local: 20170503_2101_-_ARD-ALPHA_-_DAS_GEHEIMNIS_DER_DIGEDAGS_-_KULT-COMIC_AUS_DER_DDR.ts remote: 20170503_2101_-_ARD-ALPHA_-_DAS_GEHEIMNIS_DER_DIGEDAGS_-_KULT-COMIC_AUS_DER_DDR.ts
200 PORT command successful. Consider using PASV.
150 Opening BINARY mode data connection for 20170503_2101_-_ARD-ALPHA_-_DAS_GEHEIMNIS_DER_DIGEDAGS_-_KULT-COMIC_AUS_DER_DDR.ts (1028206592 bytes).
226 Transfer complete.
1028206592 bytes received in 88.98 secs (11.0204 MB/s)
ftp>

ftp> put 20170503_2101_-_ARD-ALPHA_-_DAS_GEHEIMNIS_DER_DIGEDAGS_-_KULT-COMIC_AUS_DER_DDR.ts
local: 20170503_2101_-_ARD-ALPHA_-_DAS_GEHEIMNIS_DER_DIGEDAGS_-_KULT-COMIC_AUS_DER_DDR.ts remote: 20170503_2101_-_ARD-ALPHA_-_DAS_GEHEIMNIS_DER_DIGEDAGS_-_KULT-COMIC_AUS_DER_DDR.ts
200 PORT command successful. Consider using PASV.
150 Ok to send data.
226 Transfer complete.
1028206592 bytes sent in 87.99 secs (11.1447 MB/s)
ftp>

Wenn ich das kopieren mit dem mc mache:
vom server aus: auch max. Transferrate
von der dreambox aus: ~ 7 MByte/s, 100% Prozessoer-Auslastung

Da scheint mir das Problem - wie du vermutest - an einem der Netzwerkprotokolle zu liegen..
Ich nehme gerne deine Hilfe in Anspruch.
Erstmal Samba auf beiden deaktivieren mit NFS nochmal testen, dann andersrum?
Gibt es was einfaches, um während des Transfers die Datenübertragungsraten zu beobachten?

btw: auf dem Server findes der Kernel keinen Treiber für den nic. Das ist aber offensichtlich nicht das Problem?!
edit: hab die Firmware geladen, danach gabs über den mc kein Probelm mehr.. nach einem reboot beider Systeme war die geringe Datenrate wieder da. Eventuell liegts am laufenden Samba. Ich hatte beim obigen FTP-Test NFS und Samba angehalten. Ich probiere morgen weiter..

Ralf

[mistersixt]

Ok, Du bist offensichtich einen grossen Schritt weiter, zumindest stimmt die Netzwerkverbindung ansich, beim ftp gibt es ja quasi fast keinen Overhead, und die 11 MB/s sind ja wirklich am Maximum.

Beim NFS sind die wsize und rsize Werte interessant, sind die zu klein, dann kann es zumindest Performance-Engpässe geben, mach doch mal:

Code: Alles auswählen

cat /proc/mounts | grep nfs

Ich kann mich dran erinnern, dass ich die Werte auf 32768 auf der Dreambox stellen musste, ob gute Performance herauszuholen. Beim Samba kenne ich micht nicht wirklich aus.

Bezüglich der Firmware: oft funktionieren die Linux-Treiber einer NIC auch ohne Firmware, dann aber teilweise mit reduzierter Funktionalität, und ich hatte es auch schon mal, dass die Performance nicht ideal war. Aber da der ftp-Test ja mit voller Bandbreite auch ohne Firmware durchlief, sollte es bei Dir nicht weiter stören (aber schaden kann es dann auch wieder nicht ).

Gruss, mistersixt.

[RalfP]

mach doch mal:

Code: Alles auswählen

cat /proc/mounts | grep nfs

Code: Alles auswählen

root@dm800se:~# cat /proc/mounts | grep nfs
nfsd /proc/fs/nfsd nfsd rw,relatime 0 0
192.168.2.2:/media/4thdd/bilder /media/net/bilder nfs rw,relatime,vers=3,rsize=8192,wsize=8192,namlen=255,hard,nolock,proto=tcp,port=2049,timeo=70,retrans=3,sec=sys,local_lock=all,addr=192.168.2.2 0 0
192.168.2.2:/media/4thdd/video /media/net/SRV nfs rw,relatime,vers=3,rsize=8192,wsize=8192,namlen=255,hard,nolock,proto=tcp,port=2049,timeo=70,retrans=3,sec=sys,local_lock=all,addr=192.168.2.2 0 0
root@dm800se:~#

Allerdings wird das auch schon immer so gewesen sein. Wäre merkwürdig, wenn das erst jetzt ein Problem ist.

Ich kann mich dran erinnern, dass ich die Werte auf 32768 auf der Dreambox stellen musste, ob gute Performance herauszuholen.

Erstellt sind die Freigaben mit dem Netzwerk-Freigabe-Assistenten bei dem ich die size-Werte nicht eintragen/wählen kann. Oder doch?
Ich wühle mal bei Tante Google, wie das bei der Dreambox geht..
Wie auf dem Screenshot zu sehen ist, übernimmt der die Einstellung "async" nicht, die ich zum testen mal hinzutrug.

[RalfP]

habe derweil dieses Script gefunden:
http://www.i-have-a-dreambox.com/wbb2/t ... adid=78543
und damit diese Ergebnisse erzielt:

Code: Alles auswählen

Results for write throughput:
6.100 Mbit/s with tcp,async,wsize=32768
5.592 Mbit/s with udp,async,wsize=8192
5.592 Mbit/s with udp,async,wsize=32768
5.592 Mbit/s with udp,async,wsize=16384
5.592 Mbit/s with tcp,async,wsize=8192
5.592 Mbit/s with tcp,async,wsize=16384
2.917 Mbit/s with udp,async,wsize=4096
2.917 Mbit/s with tcp,async,wsize=4096

Results for read throughput:
67.108 Mbit/s with udp,async,rsize=4096
67.108 Mbit/s with udp,async,rsize=32768
67.108 Mbit/s with udp,async,rsize=16384
67.108 Mbit/s with tcp,async,rsize=4096
 with udp,async,rsize=8192
 with tcp,async,rsize=8192
 with tcp,async,rsize=32768
 with tcp,async,rsize=16384

man sieht die Datenrate Richtung Server deutlich, lesen vom Server ist ok, obgleich nicht ideal..

[RalfP]

Code: Alles auswählen

root@dm800se:~# umount /media/tst
root@dm800se:~# umount /media/net/SRV/
umount: can't umount /media/net/SRV/: Invalid argument
root@dm800se:~# umount /media/net/SRV
umount: can't umount /media/net/SRV: Invalid argument
root@dm800se:~# /etc/init.d/autofs stop
Stopping automounter: done.
root@dm800se:~#
root@dm800se:~# cat /etc/fstab | grep nfs
192.168.2.2:/media/4thdd/video  /media/tst      nfs     _netdev,rw,nolock,tcp,rsize=32768,wsize=32768,timeo=14,soft   0       0
root@dm800se:~#
root@dm800se:~# mount | grep nfs
nfsd on /proc/fs/nfsd type nfsd (rw,relatime)
root@dm800se:~# mount -a
mount: mounting none on /dev/shm failed: No such file or directory
root@dm800se:~# mount | grep nfs
nfsd on /proc/fs/nfsd type nfsd (rw,relatime)
192.168.2.2:/media/4thdd/video on /media/tst type nfs (rw,relatime,vers=3,rsize=8192,wsize=8192,namlen=255,soft,nolock,proto=tcp,port=2049,timeo=14,retrans=3,sec=sys,local_lock=all,addr=192.168.2.2)
root@dm800se:~#

der mag keine Blöcke >8k..

[mistersixt]

Faktor 10 zwischen Lesen und Schreiben ist natürlich ein Brett, sehr seltsam. Wie sieht Deine /etc/exports auf dem NFS-Server aus?

[RalfP]

ich bin weiterhin ratlos.
Hier ein paar Ausgaben:
Ist das normal, dass /dev/sdb1 doppelt gemountet ist?
der mount nach /media/sdb1 steht auch nicht in der fstab..

Code: Alles auswählen

root@srv:~# cat /etc/exports
/media/4thdd/video      192.168.2.0/255.255.255.0(rw,async,no_subtree_check,no_root_squash)
/media/4thdd/music      192.168.2.0/255.255.255.0(rw,async,no_subtree_check,no_root_squash)
/media/4thdd/bilder     192.168.2.0/255.255.255.0(rw,async,no_subtree_check,no_root_squash)
root@srv:~#
root@srv:~# mount | grep /sd
/dev/sda1 on / type ext4 (rw,relatime,errors=remount-ro,data=ordered)
/dev/sdb1 on /media/sdb1 type ext3 (rw,relatime,sync,data=ordered)
/dev/sdb1 on /media/4thdd type ext3 (rw,relatime,sync,data=ordered)
root@srv:~#
root@srv:~# hdparm -i /dev/sd[ab]
/dev/sda:
 Model=Samsung SSD 850 EVO 120GB, FwRev=EMT01B6Q, SerialNo=S21UNSAG
 Config={ Fixed }
 RawCHS=16383/16/63, TrkSize=0, SectSize=0, ECCbytes=0
 BuffType=unknown, BuffSize=unknown, MaxMultSect=1, MultSect=1
 CurCHS=16383/16/63, CurSects=16514064, LBA=yes, LBAsects=234441648
 IORDY=on/off, tPIO={min:120,w/IORDY:120}, tDMA={min:120,rec:120}
 PIO modes:  pio0 pio1 pio2 pio3 pio4
 DMA modes:  mdma0 mdma1 mdma2
 UDMA modes: udma0 udma1 udma2 udma3 udma4 udma5 *udma6
 AdvancedPM=no WriteCache=enabled
 Drive conforms to: unknown:  ATA/ATAPI-2,3,4,5,6,7

/dev/sdb:
 Model=WDC WD40EFRX-68WT0N0, FwRev=82.00A82, SerialNo=WD-WCC4E
 Config={ HardSect NotMFM HdSw>15uSec SpinMotCtl Fixed DTR>5Mbs FmtGapReq }
 RawCHS=16383/16/63, TrkSize=0, SectSize=0, ECCbytes=0
 BuffType=unknown, BuffSize=unknown, MaxMultSect=16, MultSect=16
 CurCHS=16383/16/63, CurSects=16514064, LBA=yes, LBAsects=7814037168
 IORDY=on/off, tPIO={min:120,w/IORDY:120}, tDMA={min:120,rec:120}
 PIO modes:  pio0 pio3 pio4
 DMA modes:  mdma0 mdma1 mdma2
 UDMA modes: udma0 udma1 udma2 udma3 udma4 udma5 *udma6
 AdvancedPM=no WriteCache=enabled
 Drive conforms to: Unspecified:  ATA/ATAPI-1,2,3,4,5,6,7

edit:

Code: Alles auswählen

root@srv:~# cat /etc/fstab
# /etc/fstab: static file system information.
#
# Use 'blkid' to print the universally unique identifier for a
# device; this may be used with UUID= as a more robust way to name devices
# that works even if disks are added and removed. See fstab(5).
#
# <file system> <mount point>   <type>  <options>       <dump>  <pass>
UUID=e6edfe56-e5b7-49b8-b79f-93148e5cabf9 /               ext4    errors=remount-ro 0       1
UUID=e430e4b2-c2cb-4960-a9f7-133aef94caaf none            swap    sw              0       0
UUID=e2bf795a-acaf-47c9-b269-2bb4f2db1e84       /media/4thdd    ext3    defaults        0       0
root@srv:~#
root@srv:~# blkid
/dev/sda1: UUID="e6edfe56-e5b7-49b8-b79f-93148e5cabf9" TYPE="ext4" PARTUUID="e0b2bac8-01"
/dev/sda5: UUID="e430e4b2-c2cb-4960-a9f7-133aef94caaf" TYPE="swap" PARTUUID="e0b2bac8-05"
/dev/sdb1: UUID="e2bf795a-acaf-47c9-b269-2bb4f2db1e84" TYPE="ext3" PARTUUID="c6db8ebf-6f2b-4c7f-be69-b2567975b28e"
root@srv:~#
root@srv:~#

[RalfP]

hab noch bissl gefummelt. Auf beiden Systemen habe ich nfs deaktiviert und je ein cifs mount gemacht.
Ergebnis: Datenrate server -> dreambox >90 MBit, dreambox -> server ~12 Mbit; je vom server und von der dreambox über ssh gestartet und mit iptraf oder iftop beobachtet

ftp funktioniert, cifs und nfs nicht
nun müsste man Gemeinsamkeit finden, die auf nfs und cifs wirken aber auf ftp nicht.
Wo kann ich weiter angreifen? Wer hat Ideen?

dreambox mount

Code: Alles auswählen

root@dm800se:~# mount -t cifs -o user=xxx,password=yyy,auto //192.168.2.2/Videos /media/video
root@dm800se:~# mount | grep cifs
//192.168.2.2/Videos on /media/video type cifs (rw,mand,relatime,sec=ntlm,unc=\192.168.2.2\Videos,username=xxx,uid=0,noforceuid,gid=0,noforcegid,addr=192.168.2.2,unix,posixpaths,serverino,acl,rsize=1048576,wsize=65536,actimeo=1)
root@dm800se:~#

server mount

Code: Alles auswählen

root@srv:/media/test# mount -t cifs -o user=guest //192.168.2.8/Harddisk /media/test
root@srv:~# mount | grep cifs
//192.168.2.8/Harddisk on /media/test type cifs (rw,relatime,vers=1.0,cache=strict,username=guest,domain=WORKGROUP,uid=0,noforceuid,gid=0,noforcegid,addr=192.168.2.8,unix,posixpaths,serverino,acl,rsize=61440,wsize=65536,actimeo=1,user=guest)
root@srv:~#

[RalfP]

Hallo,

tl;dr: gelöst, nicht ausschließlich ein Festplatten-Problem

großen Dank @tec, wir haben das Problem auf die Festplatte eingegrenzt.
Mit dd von der dreambox zum srv und sinkenden Blöcken (100M --> 100 Byte), sah ich, dass die Transferrate einbracht.
Auf der console des srv habe ich mit iftop und iptraf geschaut.

Ich habe eine 4T-Platte von WD drin. Offenbar war die nicht sauber eingerichtet.
Habe eine noch verbaute 2T-Platte angeschlossen, alles von der großen auf die kleine kopiert.
Die große habe ich neu aufgesetzt, cfdisk und mkfs.ext4. Danach war alles ok.
Nun habe ich einen cifs-mount in die fstab geschrieben.
(Warum geht credentials bei der dreambox sowohl auf der console als auch in der fsatb nicht? Beispiel aus dem ubuntuwiki abgeschrieben)

Ungeklärt bleiben:
- warum hatte ich eine hohe Datenrate von der dreambox --> srv mittels ftp und dd?
- warum aber eine rund 10%ige Transferrate mittels cifs und nfs?
- nutzen ftp und dd größere Blöcke? Leider hatte ich die Blockgroßen dabei nicht im iptraf beobachtet.

Gern darf hier gemutmaßt werden.
Nachvollziehen kann ich das nun nicht mehr, da das Problem offensichtlich mit der Neuformatierung der HDD erledigt ist.

Vielen Dank an die Helfer!
Ralf