Dateien >2GB im Netzwerk übertragen

[HardHat]

Hi,

ich habe einen Server auf dem Woody läuft. Ich habe da vor einigen Wochen mal den neuesten 2.4er Kernel installiert (selbst compiliert). Neulich ist mir aufgefallen, dass beim Übertragen einer Datei, die größer als 2 GB ist, die Übertragung genau bei 2 GB mit einer Fehlermeldung abbricht. Die Meldung ist irgendwie in der Art "Gegenseite hat die Verbindung unerwartet beendet". Die Datei soll von meinem Client (Sarge) zum Server geschickt werden.

Zuerst dachte ich, das liegt vielleicht am Samba Paket. Also das gleiche mit ftp versucht und den gleichen Fehler erhalten. Also nicht der Samba Server.

Dann dachte ich, das liegt vielleicht am Dateisystem (ext3). Also lokal eine so große Datei erzeugt und lokal vom einen ins andere Verzeichnis kopiert. Das ging problemlos. Also nicht das Dateisystem.

Was bleibt noch? Woran könnte das liegen. Kann es sein, dass ich versehentlich bei der Konfiguration des neuen Kernel etwas verschlimmbessert habe?

Hardhat

[knecht]

Das einzige Dateisystem das eine Filebegrenzung von 2GB hat ist denke ich vFAT.

[tafkad]

Wenn mich nicht alles täucht(ist aber schon lang her) liegt es am 2.4er Kernel. Glaub das hatte ich bei einer USB Festplatten diskusion hier mitbekommen. Kann aber auch sein das ich mich jetzt täuche.

[HardHat]

Ihr habt beide ein bischen Recht. Das vfat Dateisystem (aka FAT32) hat eine designbedingte maximale Dateigröße von 4 GB. Im 2.4er Linuxkernel ist die Größe jedoch treiberbedingt sogar auf 2 GB begrenzt. Aber: Ich benutzte gar kein vfat. Ich habe ext3 als Dateisystem und wie ich schon oben geschrieben habe, kann ich lokal auch beliebig große Dateien erzeugen. Nur wenn ich eine große Datei per smb oder ftp auf den Rechner übertragen will, werden exakt 2147483648 bytes in die Datei geschrieben, dann bricht die Verbindung mit einer Fehlermeldung ab. Es muss also irgendwie am Netzwerk liegen.

Hat vielleicht noch jemand einen Tipp wie ich das Problem beheben kann?

[gms]

Zuerst dachte ich, das liegt vielleicht am Samba Paket. Also das gleiche mit ftp versucht und den gleichen Fehler erhalten. Also nicht der Samba Server.

Es könnte auch sein, daß beide einen Bug haben, warum schließt du das aus ?
In Samba gab es sicherlich einmal eine 2GB Grenze (ich hatte selber mal dieses Problem), ob die mit deiner Version (oder überhaupt) schon behoben ist, kann ich dir leider nicht sagen.
In der Firma habe ich allerdings ein Samba Share auf einer XFS Partition, dort kann ich morgen einen Test laufen lassen

[gms]

Leider habe ich eine schlechte Nachricht:

ich habe mich von einem RH ES R3 auf einen Debian Sarge Rechner mit Samba 3.0.10-1 verbunden und versucht eine 3 GB Datei zu erstellen.
Ergebnis war eine Fehlermeldung "Maximale Dateigröße überschritten". Die produzierte Datei ist exakt 2GB groß. Dieses Samba Share liegt auf einer XFS Partition

[HardHat]

Na.. irgendwie ist das doch auch eine gute Nachricht: Der Grund für den Fehler ist gefunden: es ist gar kein Fehler sondern ein fehlendes Feature. Dann brauche ich mir ja keine Sorgen zu machen, dass was kaputt ist.

[gms]

ich habe allerdings jetzt beim googeln gefunden, daß das nicht am Samba Server sondern am smbfs Kernel Modul liegt. Ich werde noch von einem anderen Samba Client mit 2.6.10 er Kernel testen. (Das kann ich aber erst am Montag)

[HardHat]

Interessant! Ein Kernel upgrade werde ich deshalb wohl nicht machen. Aber vermutlich ist die Größenbeschränkung dann ja im ftp Server (übrigens vsftp) genauso ein "fehlendes Feature" wie in Samba oder eben im smbfs Modul. So oft kommt es ja nicht vor, dass man so große Dateien überträgt und vielleicht suche ich mir dann einfach einen ftp Server mit dem das klappt und benutze den bei Bedarf.

[gms]

hm, alle gängigen 64 bit FTP Server
Nein tut mir leid mit FTP Server habe ich nichts am Hut

[edit]
noch zur Info:
Ich habe jetzt doch noch einen Weg gefunden, wie ich remote das Verhalten des 2.6.10 er smbfs Kernelmoduls testen kann. Ergebnis leider entäuschend, gleicher Fehler.
[/edit]

[HardHat]

Ich hab's schon fast befürchtet, denn: Wenn ich mir die Liste der geladenen Module auf dem Woody Server mit 2.4er Kernel und meinem Sarge Client mit Kernel 2.6.10 angucke, dann ist das Modul interessanterweise auf dem Client geladen aber auf dem Server nicht. Wird also wohl nur benötigt, wenn man irgendwas mit

Code: Alles auswählen

mount -t smbfs ...

lädt. Naja und da der Sarge Kernel wie gesagt schon 2.6.10 ist...

Vielleicht sollte ich dem Samba Team mal ein Feature-Request zukommen lassen.

[LittleBoy]

Hm, ist smbfs nicht veraltet und es sollte stattdessen cifs eingesetzt werden? smbfs stammt doch noch aus alten Win9X Zeiten - da waren Datein bis 2GB eh das höchste der Gefühle.

[gms]

Hm, ist smbfs nicht veraltet und es sollte stattdessen cifs eingesetzt werden? smbfs stammt doch noch aus alten Win9X Zeiten - da waren Datein bis 2GB eh das höchste der Gefühle.

Also mit der Windows Version hat das nicht viel zu tun. CIFS löst nicht das SMB Protokoll ab, sondern ist eine Unix spezifische Erweiterung.
Keine Ahnung wie CIFS derzeit implementiert ist, aber früher war das nur ein Patch für Samba und das smbfs Kernel Modul. Daher ist es nicht gerade unwahrscheinlich, daß CIFS die gleichen Limits hat. Bitte um Berichtigung falls ich hier falsch liegen sollte.

[LittleBoy]

Du liegst falsch: SMB = DOS, Win9X, CIFS = Win2K, WinXP siehe auch hier - oder auch in der Kernel config nachzulesen.

CIFS ist eine Erweiterung von SMB - da im Linux-Kernel aber beides existiert stehen die Chancen gut, dass es mit CIFS klappt.

[gms]

Das 2 GB Limit ist kein Limit des SMB Protokolls und CIFS ist daher auch keine Erweiterung die dieses Limit behebt. Dieses Limit gibt es nur im fehlerhaften smbfs Modul. Du wirst mir daher recht geben, daß das sehr wenig bis gar nichts mit DOS, Win9x, Win2K, WinXP zu tun hat.

Die einzige Frage die überbleibt, ist die, ob das CIFS Modul das gleiche Limit hat oder nicht

[Snoopy]

hi

nun ich würde nicht zwingend auf linux-fehler tippen

genau das besprochene problem hatte ich auch bzw. habe es ... nur es ist mir mittlerweile egal

ich wollte ein dvd-image von linux nach windows 2000 übertragen
egal welche richtung ich genomme habe, es war nie die richtige grösse

- per ftp-client von windows2000 auf linux zugegriffen
- per ftp-client von linux auf windows2000 zugegriffen
immer dasselbe...die falsche grösse

das lustige war, linux hat die komplette datei übertragen, soll heissen, dass im ftp-client zb die korrekte grösse hochgezählt wurde und auch korrekt nach der übertragung angezeigt wurde
allerdings einmal auf "f5" bzw "aktualisieren" gedrückt, verwandelte sich die knapp 4,6gb datei auf dem windows2000 in eine 2gb datei

gegentest von linux auf linux per ftp klappte einwandfrei, dort war die korrekte grösse auch später vohanden

und die übertragung über ftp sollte meines wissens nach herzlich wenig mit smb-protokoll oder smbfs-modul zu tun haben

wie gesagt, ich brauche diese grosse übetragung nicht mehr, das war nur bei einem test erforderlich...deswegen habe ich diesem thema nicht weiter nachgejagt

[wartburgritter]

Ich bin gestern genau auf dieses Problem gestossen. Abbruch bei erreichen der Dateigrösse von 2,1 GByte mit der Fehlermeldung Maximale Dateigrösse erreicht.

Nach langem Suchen habe ich diesen thread hier gefunden. Nur leider keine Lösung. Da ich das ganze innerhalb eines tar-befehls mache und tar die datei nicht in einzelne stücke splitten kann (meine erkenntnis nach lesen man-page von tar) finde ich keine andere lösung alse die 2 GByte grenze zu überschreiten.

Kann jemand bestätigen, dass es mit cifs funktioniert?

Ich habe knoppix 4.02 verwendet. Die share war auf win2000 und winXP.

[wartburgritter]

Hab selber noch mal gesucht und folgende Links gefunden. Mit der Mount-option "-o lfs" soll es funktionieren. Werde das mal testen und dann Ergebnisse posten.

http://lists.debian.org/debian-user-ger ... 01660.html

http://mail.asta.uni-potsdam.de/piperma ... 03056.html

[wartburgritter]

Hab gerade mit der option "-o lfs" eine Datei von 11 GByte auf meiner share erstellt. Sieht so aus als kann der Thread als gelöste markiert werden.



Weiss grad gar nicht wie das geht?