Logdatei mit sed/awk einfärben

[MartinV]

Ich habe sehr lange Logausgaben, die ich farblich verändern will, um Fehler schneller zu finden.
Eine funktionierende Lösung habe ich:

Code: Alles auswählen

tail  -F $Logfile | awk '/==>/ {print "\033[4m" $0 "\033[0m"; next} 1 {print}' | \
                            sed -e /ERROR/s//$(printf "\033[41;1m&\033[0m")/g \
                               -e /Error/s//$(printf "\033[41;1m&\033[0m")/g \
                               -e /Failed/s//$(printf "\033[41;1m&\033[0m")/g \
                               -e /x11docker:/s//$(printf "\033[32;1m&\033[0m")/ 

awk unterstreicht alle Zeilen, die mit ==> anfangen.
sed färbt die Wörter ERROR, Error und Failure rot.
Das Wort x11docker: wird grün gefärbt. (Eigentlich sollte es nur grün sein, wenn es am Zeilenanfang steht, aber ich will meine Wünsche nicht zu weit treiben)

Ich würde das gern optimieren.
Vor allem denke ich, daß nur entweder awk oder sed zum Einsatz kommen sollten, nicht beide.

Könnt Ihr mich beraten? Ich bin nicht allzu firm mit sed und awk, und bastel mir meist aus Websuchergebnissen irgendwas zusammen, bis es geht . Von Optimierung oder Performance bin ich da noch weit weg.

[Liffi]

Vielleicht kannst du das auch mit lnav realisieren. Wenn es denn auch ein anderes tool sein darf. Da könntest du deine eigene Syntax Datei hinterlegen, die genau das Verhalten realisiert und dir noch mehr Komfort bietet.

[detix]

python-pygments könnte was für dich sein.

[maltris]

colorize könnte das sein, was du suchst. Gibts auf GitHub [1] und für buster und sid auch als Paket.



[1] https://github.com/raszi/colorize

[MartinV]

Danke für Eure Tips!

Ich hätte dazu schreiben sollen, ich will nur mit Bordmitteln arbeiten, die ich auf jedem Linux antreffen kann. Also keine Tools, die ich zusätzlich installieren muß.
sed und awk sind imho immer gegeben.
Die Logfileausgabe ist Teil eines Skriptes, das mit möglichst wenig Abhängigkeiten auf möglichst vielen verschiedenen Systemen laufen soll.

Mir geht es mehr darum, das vorhandene sed/awk zu optimieren.
Optimieren in dem Sinne, daß nur entweder sed oder awk verwendet wird (nicht beide), und insgesamt so performant wie möglich, um CPU-Last und Ausgabeverzögerung so klein wie möglich zu halten.

[MartinV]

Ich bin der Sache etwas näher gekommen, die Ausgabe ist jetzt spürbar performanter:

Code: Alles auswählen

 sed -e /ERROR/s//$(printf "\033[41;1m&\033[0m")/g \
     -e /Error/s//$(printf "\033[41;1m&\033[0m")/g \
     -e /Failed/s//$(printf "\033[41;1m&\033[0m")/g \
     -e /'^==>'/s//$(printf "\033[4m&")/ \
     -e /'<=='/s//$(printf "&\033[0m")/ \
     -e /^x11docker:/s//$(printf "\033[32;1m&\033[0m")/

Die unterstrichenen Zeilen macht jetzt auch sed, awk ist raus. Die Zeilen beginnen mit ==> und enden mit <==. Verbesserungsbedarf: Anstatt beide Stichwörter zu suchen und jeweils einen Farbcode zu setzen, wäre es besser, nur nach ==> am Zeilenanfang zu suchen und daraufhin den Farbcode für die ganze Zeile zu setzen. Wie geht das?

x11docker: wird nur noch am Zeilenanfang gefärbt dank ^

Die dreifache Abfrage für ERROR Error Failed ist noch hampelig. Alle drei werden in rot eingefärbt. Geht das auch mit nur einer Abfrage?

Kann man printf ganz weglassen und das anders lösen?

[MartinV]

Noch etwas besser:

Code: Alles auswählen

Escape=$(printf '\033')
tail -F $Logfile | sed "s/ERROR/${Escape}[41mERROR${Escape}[0m/g; \
     s/Error/${Escape}[41mError${Escape}[0m/g; \
     s/Failed/${Escape}[41mFailed${Escape}[0m/g; \
     s/^==>/${Escape}[4m==>/; \
     s/<==/<==${Escape}[0m/; \
     s/^x11docker:/${Escape}[32mx11docker:${Escape}[0m/" 

[Cae]

Code: Alles auswählen

Escape="$(printf '\033')"
tail -F $Logfile | sed "
	s/\(ERROR\|Error\|Failed\)/${Escape}[41m\1${Escape}[0m/g;
	s/^==>.*/${Escape}[4m\0${Escape}[0m/;
	s/^x11docker:/${Escape}[32m\0${Escape}[0m/
"

\0 im replacement-Teil der substitute-Anweisung expandiert zur kompletten Zeile, das nutze ich bei den letzten beiden Faellen aus. \1 expandiert zum ersten Match eines Subausdrucks bzw. \x zum x-ten. RegEx-Subausdruecke sind in Klammern, im sed sind sie zu escapen. Die escapte Pipe | trennt Auswahlmoeglichkeiten voneinander.

Gruss Cae

[Cae]

Ah und fuer das printf gibt's auch die offentsichtliche Loesung, den Escape-Code direkt in den sed-Code hineinzuschreiben. Ebenfalls in der sed-genehmen Syntax, und zwar hexadezimaler Schreibweise anstatt oktal:

Code: Alles auswählen

$ printf '\033 \x1b\n' | cat -A
^[ ^[$

Gruss Cae

[MartinV]

Vielen Dank, Cae!

[Meillo]

Zur Ergaenzung: sed(1) ist auf jedem Unix anzutreffen, awk(1) nicht zwangslaeufig (bei der Minimalinstallation von Debian muss es AFAIR erst noch dazu installiert werden). Auch POSIX fordert ein sed(1), sieht awk(1) aber als optionale Erweiterung.

Nicht dass es euch interessieren wuerde, aber oktal/hex-Escapes sind nicht Teil von POSIX, ebenso Alternationen und was sonst noch ueber BREs hinaus geht. GNU sed kann das natuerlich alles, evtl. muss man dazu `-r' angeben.

Btw: Da [ kein valides Identifierzeichen in der Shell ist, kann man sich die geschweiften Klammern bei ${Escape} sparen. Ich wuerde die Variable nur $e nennen, was dann zu sowas wie $e[41m fuehrt ... IMO ist das weniger Noise und mehr Signal ... aber da scheiden sich fuer gewoehnlich die Geister.