RAID5 lesen 30MB schreiben 100 MB

[Rubberduck]

Hallo zusammen,

ich habe leider seit einiger Zeit das Problem, das mein RAID5 Debian mit 4 Platten auf QNAP Basis und samba, nur noch 35MB/s Daten liefert, aber
trotzdem kontinuierlich mit meist über 100MB/s schreiben kann.
Dabei ist es egal, ob ich Daten von einem Linux, OSX oder Windows anfrage, zack 35MB/s wie mit einem Regler bestimmt.

RAID und Platten selbst werden überwacht und sind fehlerlos, grundsätzlich gibt es keine Änderung in meiner smb.conf oder sonstigen Konstellation.

Habt ihr eine Idee wonach ich suchen könnte? Hab da garkeinen "Pack-an".

Gruß

[rendegast]

Ist das auch lokal so?

Code: Alles auswählen

pv /dev/zero > /mnt/RAID/PVTEST.datei
(Datei genügend groß oder Cache leeren)
pv /mnt/RAID/PVTEST.datei > /dev/null

(ohne Dateisystem lesen)
pv /dev/RAID > /dev/null

[Rubberduck]

Hi rendegast,

danke für deine Antwort.

Code: Alles auswählen

 pv /dev/zero > /share/Multimedia/PVTest.datei
1009MiB 0:00:08 [ 125MiB/s] [       <=

Bei dem zweiten Aufruf bekomme ich folgende Fehlermeldung

Code: Alles auswählen

 pv /dev/md1 > /dev/nul
write-Aufruf fehlgeschlagen: Auf dem Gerät ist kein Speicherplatz mehr verfügbar

Ich habe ein lvm auf dem RAID sitzen, liegt es daran?
EDIT 1:

Wenn ich von dev/Zero lese bin ich aber bei der beschriebenen Geschwindigkeit

Code: Alles auswählen

pv /dev/zero /dev/nul
16MiB 0:00:11 [  29MiB/s] [                 <=>

[NAB]

Und welches Ergebnis erhältst du, wenn du "null" mit Doppel-L schreibst?

[dufty2]

rendegast hat 3 (i. W. drei) Befehle angegeben, Du hast den 2. geflissentlich übersprungen

Wenn Du schreibst per

Code: Alles auswählen

$ pv /dev/zero > /share/Multimedia/PVTest.datei

solltest Du natürlich das Geschriebene auch wieder lesen
Also

Code: Alles auswählen

$ pv /share/Multimedia/PVTest.datei > /dev/null

[Rubberduck]

oh..ok..sorry also nochmal

Code: Alles auswählen

root@DEB-SRV01:~# pv /dev/zero > /share/Multimedia/PVTest.datei
1,66GiB 0:00:14 [ 115MiB/s] [                      <=>                                                         ]

Code: Alles auswählen

pv /share/Multimedia/PVTest.datei > /dev/null
2,13GiB 0:00:08 [ 257MiB/s]

Das sieht doch so weit ganz gut aus..ich habe das dreimal durchgeführt, mit ähnlichen Ergebnissen.
Ist also nur eine Geschichte zwischen Client und Server.

Eventuell doch eine Einstellung der smb.conf? Aber da habe ich schon so viel drüber gelesen und ausprobiert, ich habe da nie wirklich
Verbesserungen herbeiführen können.
Habt ihr noch eine Idee?
PS. btw. wie bekomme ich hier sinnvoll Bilder eingebunden?

[NAB]

Habt ihr noch eine Idee?

Ja ... du könntest dir mal die nackte Netzwerkgeschwindigkeit zwischen Client und Server angucken:
https://wiki.ubuntuusers.de/iperf/

[Rubberduck]

Natürlich, das könnte ich tun, aber was würde ich sehen, was ich nicht schon von allen Clients gesehen habe?

Ich sehe von Linux (Virtuelle Maschine) , OSX (Laptop Freundin), Windows 10 (Mein Laptop) und Windows 7 (Mein PC) immer die gleichen Ergebnisse.

Von SSD über das Netzwerk schreiben auf RAID 5 ~100MB/s
Von RAID 5 über das Netzwerk lesen zwischen 27 und max. 35 MB/s.


Das war ja nicht immer schon so. Das muss irgendeine Anwendung, Update, Verschlimmbesserung, Rumgefummel oder Eigenverschulden sein.

Als ich das Debian vor drei Monaten neu aufgesetzt habe, war das nicht so..ich hatte immer mind. 100 MB/s in beide Richtungen.
Und ich bin mir ziemlich sicher, das ich das Problem vor ein paar Jahren auch schon mal hatte....und es gibt ja auch tausend Threads zu dem Thema, aber die bin ich gefühlt alle schon durch..

https://bbs.archlinux.org/viewtopic.php?id=173211
http://forums.justlinux.com/showthread. ... -Read-SLOW

[NAB]

aber was würde ich sehen, was ich nicht schon von allen Clients gesehen habe?

Die Netzwerkgeschwindigkeit ohne Samba dazwischen würdest du sehen.

[Rubberduck]

ok, verstanden.

Code: Alles auswählen

root@DEB-SRV01:~# iperf -s
------------------------------------------------------------
Server listening on TCP port 5001
TCP window size: 85.3 KByte (default)
------------------------------------------------------------
[  4] local 10.0.0.252 port 5001 connected with 10.0.100.28 port 35242
[ ID] Interval       Transfer     Bandwidth
[  4]  0.0-10.0 sec  1.08 GBytes   928 Mbits/sec

[  5] local 10.0.0.252 port 5001 connected with 10.0.100.28 port 35243
[  5]  0.0-10.0 sec  1.08 GBytes   927 Mbits/sec
[  4] local 10.0.0.252 port 5001 connected with 10.0.100.28 port 35244
[  4]  0.0-10.0 sec  1.09 GBytes   932 Mbits/sec
[  5] local 10.0.0.252 port 5001 connected with 10.0.100.28 port 35245
[  5]  0.0-10.0 sec  1.09 GBytes   934 Mbits/sec

hm erstaunt mich jetzt doch sehr... nach Adam Riese und Eva Zwerg war da doch mal was in meiner Fachinformatiker Ausbildung...geteilt durch 8 wäre etwas um die 110 MB/s

also doch samba?
Übrigens gute Idee mit dem iperf, danke dafür

[NAB]

Joa, das ist richtig so. 1 GBit sind so 125 MByte ... durch den Protokolloverhead kommen dann so 100 MByte Nutzlast dabei raus. Bisher sieht's so aus, als sei weder das Raid noch das Netzwerk das Nadelöhr.

also doch samba?

Weiß nicht! Vielleicht fällt jemandem noch ne Schraube ein, an der man drehen könnte. Sonst beschweren sich sie Leute eher über zu niedrige Schreibgeschwindigkeiten. Die Lesegeschwindigkeit liegt eher am Cache in den Clients, aber die wirst du ja nicht alle auf einmal verstellt haben *wunder*

[rendegast]

Eventuell doch eine Einstellung der smb.conf?

Die manpage smb.conf geht in die Richtung,
und ich meine das auch an anderer Stelle schon gelesen zu haben,
daß die "klassischen" Tweaks wie SO_SNDBUF, SO_RCVBUF usw. mittlerweile (samba 4.x) eher kontraproduktiv sind.

[Rubberduck]

ja, ich habe das aber auch alles probiert. Ohne Erfolg.
Mich wundert einfach, dass das irgendwann da war und nicht von Anfang an so ist... echt komisch.

[NAB]

Du könntest natürlich mal anfangen, alles Überflüssige aus deiner smb.conf, die hier keiner außer dir kennt, auszukommentieren und sie auf's Notwendigste zu beschränken.

[Rubberduck]

ok ..

Code: Alles auswählen

[global]
	workgroup = ARBEITSGRUPPE
	netbios name = DEB-SRV01
	server string = DEB-SRV01.fritz.box
	domain logons = No
	domain master = No
	security = user
	passdb backend = tdbsam
	obey pam restrictions = yes
	unix password sync = yes
	passwd program = /usr/bin/passwd %u
	passwd chat = *Enter\snew\s*\spassword:* %n\n *Retype\snew\s*\spassword:* %n\n *password\supdated\ssuccessfully* .
	dns proxy = no

# Logging #
	log file = /var/log/samba/log.%m
	max log size = 1000
	
       
# Rubberduck
# set printing off
# http://lists.debian.org/debian-user/2011/12/msg01065.html

        load printers = no
        printing = bsd
        printcap name = /dev/null
        disable spoolss = yes


# [Performance tweaks]
# Leider keine Verbesserung bei mir...
#--- TCP-Delay verringern ---
#socket options = TCP_NODELAY SO_RCVBUF=8192 SO_SNDBUF=8192

#--- in /etc/security/limits.conf SET "* - nofile 16384" at the end ---



[share]
	comment = Free for All
	path = /share/Multimedia	
	valid users = admin
	read list = admin
	write list = admin
	force user = root
	force group = root	
	writeable = yes
	create mask = 0774
	directory mask = 0775
	inherit permissions = yes

	vfs object = recycle
        recycle:repository = .recycle
        recycle:keeptree = yes
        recycle:exclude = *.tmp, *~, *.bak
        recycle:versions = yes
        recycle:touch = yes
        recycle:touch_mtime = yes
        recycle:exclude = *.tib,*.mkv,*.avi,*.VOB,*.IFO,*.BUP,*.mp4
	#recycle:exclude_dir = 
	recycle:maxsize = 3221225472




[backup]
	comment = BACKUP Dont touch
	path = /backup
        read list = admin
        writeable = no
	readonly = yes

Ich werde sie also gleich auf ein Mindestmaß reduzieren und nochmal testen und posten.

[Rubberduck]

Also...das ist meine aktuelle smb.conf ..minimalistischer geht es wohl kaum..

Code: Alles auswählen

[global]
        workgroup = ARBEITSGRUPPE
        netbios name = DEB-SRV01

[share]

        path=/share/Multimedia
        comment= Testtestundnochmaltest

Keine Veränderung

[reox]

Samba is langsam...
http://debianforum.de/forum/viewtopic.p ... a#p1009883

Mehr war dann bei mir auch nicht drin. Ich hab übrigens auch ein RAID5.

[Rubberduck]

Das kann einfach nicht sein...kann einfach nicht...

ich weiß noch ganz genau wie ich vor ein paar Monaten mit 'nem Kumpel zusammen hier saß und über sein Thecus spaßeshalber gelästert habe und ihm zeigte, wie ich
über 100 MB/s lesen und schreiben konnte...immer..

Ich wette, setzte ich das Debian neu und jungfräulich auf, ist es wieder genau so..

Ich werde es einfach mit nem anderen USB Stick und Debian drauf testen und rückmelden..

Gruß

[Rubberduck]

Spitze, der Artikel von dir hat meine SCHREIBleistung noch verbessert, liegt jetzt permanent bei 108MB/s bei einer 4GB Iso Datei.

Lesen leider immer noch Schlag 35MB/s...tsss

[NAB]

Ich weiß, es ist unwahrscheinlich, dass es an den Clients liegt ... aber was hältst du davon, mal von einem zweiten Linux aus ein paar Lese-Experimente zu machen?

Mit smbclient kannst du an der "buffer size" rumspielen und etliche andere Details des Protokolls setzen, und mit mount.cifs kannst du die "rsize" setzen und die "CIFSMaxBufSize".

Wenn du dabei höhere Lesegeschwindigkeiten erzielst, muss dass ja noch nicht heißen, dass alle Clients falsch eingestellt sind ... aber du kriegst vielleicht ein paar Hinweise, an welcher Schraube du drehen musst.

[Rubberduck]

ok, kann ich probieren.
Ich les mich grad mal was in smbclient ein.. und teste..

[reox]

Also ich hab jetzt extra nochmal bei meinem NAS geschaut:
von /dev/zero auf RAID5 schreiben: ca 30MB/s
von RAID5 nach /dev/null schreiben: >200MB/s (wird vermutlich schneller sein, hab bei beiden nur ca 3GB geschrieben)

Über SMB komm ich dann auf:
Lesen vom Share ca 45MB/s
Schreiben aufs Share ca 30MB/s

Den reinen Netzwerkspeed hab ich auch mal gecheckt, der liegt in beide Richtungen bei 111MB/s (Client: nc -l -p 9999 > /dev/null, Server pv /dev/zero | nc ip 9999)
Also von der Plattengeschwindigkeit beim lesen bin ich auch weit weit entfernt...

Wenn du was findest um die Leserate zu verbessern, wäre ich auch sehr glücklich darüber

Nur nochmal fürs protokoll, das hier sind die optionen die ich alle drin hab:

Code: Alles auswählen

socket options = TCP_NODELAY IPTOS_LOWDELAY SO_RCVBUF=131072 SO_SNDBUF=131072

min receivefile size = 16384
use sendfile = true
aio read size = 16384
aio write size = 16384

# Alles ab hier hat auch nicht mehr gebracht und ist afaik sogar eh der default...
strict allocate = Yes
read raw = Yes
write raw = Yes
strict locking = No
use sendfile = true

getwd cache = yes
oplocks = yes
max xmit = 32768
dead time = 15
large readwrite = yes

Edit: Dieser Thread klingt ganz interessant: http://ubuntuforums.org/showthread.php?t=2041791
Die meinen, dass diese ganzen Buffer Sachen es sogar langsamer machen.
Mit diesen Settings hier komm ich auf max 60MB/s:

Code: Alles auswählen

[global]
        server string = %h server
        map to guest = Bad User
        obey pam restrictions = Yes
        pam password change = Yes
        passwd program = /usr/bin/passwd %u
        passwd chat = *Enter\snew\s*\spassword:* %n\n *Retype\snew\s*\spassword:* %n\n *password\supdated\ssuccessfully* .
        unix password sync = Yes
        syslog = 0
        log file = /var/log/samba/log.%m
        max log size = 1000
        large readwrite = No
        server max protocol = SMB2
        disable netbios = Yes
        max xmit = 12288
        deadtime = 15
        socket options = TCP_NODELAY IPTOS_LOWDELAY
        disable spoolss = Yes
        preferred master = Yes
        domain master = Yes
        dns proxy = No
        usershare allow guests = Yes
        panic action = /usr/share/samba/panic-action %d
        idmap config * : backend = tdb
        strict locking = No

In anderen Foren wird dann noch der Einfluss von div. sysctl settings besprochen aber egal was ich da ausprobiere, die Read Rate bleibt die selbe...

Ui noch ein edit:
Mit der config von oben hab ich zwar Read bei 60MB/s aber write bei 13MB/s! Also dann doch wieder zurück zu dieser config:

Code: Alles auswählen

[global]
        server string = %h server
        map to guest = Bad User
        obey pam restrictions = Yes
        pam password change = Yes
        passwd program = /usr/bin/passwd %u
        passwd chat = *Enter\snew\s*\spassword:* %n\n *Retype\snew\s*\spassword:* %n\n *password\supdated\ssuccessfully* .
        unix password sync = Yes
        syslog = 0
        log file = /var/log/samba/log.%m
        max log size = 1000
        min receivefile size = 16384
        max xmit = 32768
        deadtime = 15
        socket options = TCP_NODELAY IPTOS_LOWDELAY SO_RCVBUF=131072 SO_SNDBUF=131072
        dns proxy = No
        usershare allow guests = Yes
        panic action = /usr/share/samba/panic-action %d
        idmap config * : backend = tdb
        aio read size = 16384
        aio write size = 16384
        strict allocate = Yes
        use sendfile = Yes
        strict locking = No

Also ich weiß jetzt nix mehr wie man es noch schneller bekommt