aktuelle aber auch ewige logfile

[deb]

Hi.

Ich erzeuge pro Minunte (mit einem simplen BASH-Script) auf meinem Server einen Monitor-Eintrag in meiner LOG-File.

Da diese Datei mit der Zeit recht großen werden könnte, dachte ich mir Kompression einzusetzen.

Logrotation bzw. täglich eine neue LOG-File zu komprimieren möchte für vermieden.
( Einige Scripte verarbeiten die Daten bereits )

Ist es möglich, dass man die ganze Datei jetzt einmal zu einer gz/bz2-Datei komprimiert und neue Log-Einträge komprimiert anhängt?
Oder sind die beiden Kompressions-Verfahren einfach nicht für solche Zwecke einsetzbar?

Gruß

[seep]

Du wirst wohl nicht darum herumkommen, das Archiv vor dem Hinzufügen neuer Einträge zu entpacken und anschließen wieder zu packen. Sprich "gunzip alt.log.gz; cat neu.log >> alt.log; gzip alt.log".

Es macht natürlich nicht viel Sinn, dies minütlich zu tun, insbesondere wenn das Logfile wirklich groß werden sollte und parallel noch andere Scripts darauf zugreifen sollen, aber das hast Du ja sicherlich schon selbst erkannt, sonst würdest Du nicht fragen.

[Joghurt]

Wie wär's damit?
http://svn.python.org/projects/external ... gzappend.c

[deb]

Wie wär's damit?
http://svn.python.org/projects/external ... gzappend.c

Hmmm.
Joghurt ist besser Google

Auf den ersten Blick scheint es das zu sein, was ich gesucht habe. thxs.

Nun muss mich selber damit weiter auseinandersetzen....

Frohe Ostern
Gruß

[Joghurt]

Joghurt ist besser Google

Mitnichten! Er kann nur mit Google umgehen

1. Treffer beim googlen nach "append to gzip"

[seep]

@deb: Wenn Du Dich damit auseinandergesetzt hast, kannst Du uns kurz schreiben, ob - und vor allen Dingen - wie performant es funktioniert hat? Würde mich stark interessieren!

Ich lese in den Sourcen folgenden kleinen aber gewichtigen Halbsatz:

gzappend first decompresses the gzip file internally

Mich interessiert also, was der Einsatz von gzappend gegenüber dem von mir oben genannten Weg "dekomprimieren, anhängen, komprimieren" zeitmäßig bringt. Ich weiß nicht, wie das GZIP-Format aufgebaut ist, aber wenn die zlib erst komplett entpacken muß, dann dürfte sich die Ersparnis im Millisekunden-Bereich bewegen.

[Joghurt]

Mich interessiert also, was der Einsatz von gzappend gegenüber dem von mir oben genannten Weg "dekomprimieren, anhängen, komprimieren" zeitmäßig bringt.

Der Komprimierungsschritt fällt weg. Entkomprimieren muss man, um das Wörterbuch aufzubauen, mit dem man dann weiterkomprimieren kann.