csv file spltten

[BrianFFM]

ich habe einen csv file der viel zu groß ist. da gibt es doch sicher eine möglichkeit aus einem uB 10 zu machen oder ??

liebe Grüße, Brian

[hikaru]

Schau dir mal die Manpage zu split an!

[severin]

viel zu groß für was? Wenn Du das Ding nicht auf bestimmte Datenträger kriegst, würde ich es einfach zippen. csv ist ascii, da müsste ein Faktor 10 locker drin sein

[trompetenkaefer]

Den Einsatz von split und das anschließende zusammenfügen der Dateien auf dem Zielsystem hab ich in meinem Blog schon mal beschrieben:

http://trompetenkaefer.wordpress.com/20 ... aufteilen/

[hikaru]

viel zu groß für was? Wenn Du das Ding nicht auf bestimmte Datenträger kriegst, würde ich es einfach zippen. csv ist ascii, da müsste ein Faktor 10 locker drin sein

Ich ging jetzt eher davon aus, dass es Probleme bei der Verarbeitung gibt. Ich erinnere mich an ein Projekt in dem ich CSV-Dumps aus einer DB parsen musste um sie in eine PostgreSQL-DB zu importieren. Wenn die Dumps mehrere GB groß waren, war es performanter die CSV-Datei zu splitten um sie in Einzelteilen durch den Parser zu schicken, da das Ganze auf der DB-Server-Maschine laufen musste und bei zu großen Dateien zu sehr auf die Geschwindigkeit der PostgreSQL-DB drückte.