Logs durcheinander vergleichen wieder vereinnen

Du suchst ein Programm für einen bestimmten Zweck?
Antworten
questy
Beiträge: 2
Registriert: 21.06.2015 11:46:35

Logs durcheinander vergleichen wieder vereinnen

Beitrag von questy » 26.06.2015 02:48:22

Hallo.

Ich hab hier einige Logdateien auf zwei machienen die ich etwas vereinen möchte.

Also vielen kleine Dateien auf zwei Machinen zusammenführen. wenn Inhalte der einen im anderen Dateien fehlen.

Gibt es da Möglichkeiten sowas leicht zu vergleichen und zu adden?

Oder muss ich mir damit erstmal ein Script bauen, dass alle Dateien Zeile für Zeile durchgehen und immer wieder in der gleichnahmigen Datei auf den anderen Rechner suche und bei bedarf adde.

pferdefreund
Beiträge: 3799
Registriert: 26.02.2009 14:35:56

Re: Logs durcheinander vergleichen wieder vereinnen

Beitrag von pferdefreund » 26.06.2015 07:27:14

Für sowas bietet sich eher eine Datenbank an, wo man die Dateien reinläd. Anschließend ein Insert in eine Sammeltabelle, wo dann alle drin sind und mit distinct die doppelten entsorgen. Kennst du dich im SQL aus ? da würde sich dann Postgresql anbieten um sowas aufzubereiten.
Tabelle1 - Logs der 1. Maschine
Tabelle2 - Logs der 2. Maschine
Tabelle3 - alle
View1 ueber tabelle1 und tabelle2 ala select * from tabelle1 union select * from tabelle2...
Tabelle3 fuellen mit insert into tabelle3 select distinct * from view1
truncate tabelle1
truncate tabelle2
und du hast alles aus beiden Maschinen und nix doppelt. Die Truncate, damit am nächsten Tag nicht wieder das alte Zeug
in der Sammeltabelle landet. Geht dann per psql auch per Script und sollte insgesamt performanter sein wie ein Script - insbesonere
wenns von der Datenmenge mehr ist.

r4pt0r
Beiträge: 1237
Registriert: 30.04.2007 13:32:44
Lizenz eigener Beiträge: MIT Lizenz

Re: Logs durcheinander vergleichen wieder vereinnen

Beitrag von r4pt0r » 26.06.2015 15:10:40

Datenbank ist etwas overkill - da reicht ja ggf schon eine Übertragung via scp und cat am "Sammelserver". Das sind dann ein paar einzeiler in den crontabs und ggf logrotate wenn mans damit verbinden will...

Colttt
Beiträge: 3012
Registriert: 16.10.2008 23:25:34
Wohnort: Brandenburg
Kontaktdaten:

Re: Logs durcheinander vergleichen wieder vereinnen

Beitrag von Colttt » 26.06.2015 17:34:50

Evtl ist es schon sinnvoll einen logserver auf zu setzen?
Debian-Nutzer :D

ZABBIX Certified Specialist

r4pt0r
Beiträge: 1237
Registriert: 30.04.2007 13:32:44
Lizenz eigener Beiträge: MIT Lizenz

Re: Logs durcheinander vergleichen wieder vereinnen

Beitrag von r4pt0r » 26.06.2015 17:46:14

Colttt hat geschrieben:Evtl ist es schon sinnvoll einen logserver auf zu setzen?
Für 2 Maschinen? Da wär mir der Aufwand wirklich zu groß... Zusammengeführte Logs lassen sich wunderbar mit einem kleinen awk-script bauen das Zeilenweise aus beiden Logs einliest, die Zeiten vergleicht und den jeweils älteren Eintrag ausgibt und die nächste Zeile nachlädt. Kann man auch 2-Spaltig ausgeben lassen, dann hat mein beide Rechner synchron nebeneinander (unsynchron nebeneinander ginge ja schon mit screen, 2 fenster und 2x less :wink: )

Wenn ich mir aber den ersten Post nochmal durchlese sollen hier Logeinträge in die Logdatei der anderen Maschine geschrieben werden!? Ich kann mir keinen Fall vorstellen wo sowas sinnvoll oder gewollt sein könnte - eine Logdatei soll schließlich nur das wiedergeben was wirklich auf diesem Rechner passiert ist!?

Antworten