Zeilenweise aus gepackter Datei lesen

[rannseier]

Hallo zusammen,

Ich bearbeite immer wieder mal größere Textdateien mit 200-350.000 Zeilen. Aus Platzgründen sind diese normalerweise mit gzip gepackt. Für einfache Dinge kann ich die mit zcat xyz.gz | grep xyz durchforsten.

In der Bash lese ich die Dateien bisher (nach dem entpacken) so aus:

Code: Alles auswählen

while read LINE

In Perl so:

Code: Alles auswählen

open("cdrfile", "<$cdr_dateiname") 

while(<cdrfile>)
 {
  push(@Zeilen,$_);
  $zeilen_counter++;
 }
close("cdrfile");

Wie kann ich das am einfachsten umbauen um direkt aus den gepackten Dateien zu lesen ohne die restliche Logik umzubauen?

[tobo]

Man kann direkt zgrep, zmore oder zless auf die gepackte Datei anwenden. Viele Programmoptionen darin sind den z-losen Progammversionen identisch oder ähnlich.
Ansonsten, das mit einer Pipe vorgeschaltete zcat funktioniert natürlich nicht nur für grep, sondern auch für ein `while read line'.

[uname]

Der Editor Vim kann wohl auch direkt .gz-Dateien lesen. Ich bin mir aber nicht sicher, ob das performant ist.

[MSfree]

Der Editor Vim kann wohl auch direkt .gz-Dateien lesen.

Und auch andere Kompressionsformen wie .xz oder .zip wenn die entsprechenden Unpack-Programme installiert sind.

Ich bin mir aber nicht sicher, ob das performant ist.

Ab einer bestimmten Größe sicher nicht mehr. Letztlich muß der komplette Inhalt der entkomprimierten Datei ins RAM. Die sinnvoll nutzbare Grenze hängt von der CPU-Geschwindigkeit, der HDD/SSD/NVMe-Geschwindigkeit und der Menge des freien Arbeitsspeichers ab.

Wenn man die komprimierten Daten jedch nur lesend durchsuchen will, ist vim keine gute Idee. Komprimierte Daten lassen sich ziemlich effizient linear durcharbeiten, das benötigt verhältnismässig wenig Hauptspeicher, die Arbeitsgeschwindigkeit ist nur eine Frage, wie schnell die CPU die Daten entkomprimieren kann.

[hikaru]

Der Editor Vim kann wohl auch direkt .gz-Dateien lesen. Ich bin mir aber nicht sicher, ob das performant ist.

Nein.
Gepackt oder nicht, wenn du versuchst, 2GB-große Textdateien in vim zu öffnen, dann schaust du besser vorher nach wie viel Kaffee im Haus ist.

[tobo]

Du rechnest mit über 5500 Zeichen pro Zeile?

[hikaru]

Ich berichte von meiner Erfahrung mit vim und "größeren Textdateien".

[MSfree]

Ich berichte von meiner Erfahrung mit vim und "größeren Textdateien".

2GB Text geht im vim noch ganz gut, öffnen und schreiben dauern hier auf einem i3-10100 um die 20s. Eine auf 2GB komprimierte Textdatei entpackt sich aber durchaus auf bis zu 20GB und das wird dann richtig laaaaaaaaaahm.

[uname]

Naja 350000 Zeilen sind ja nicht wirklich viel. Bei z. B. 100 Zeichen pro Zeile wären es in ASCII etwa 35 MB unkomprimiert. Wie lang ist denn eine Zeile im Durchschnitt.

[rannseier]

Max 1000 Bytes lt. wc -L