Logserver - erfahrung

[Colttt]

hallo in die Runde..

im aktuellen linux-magazin wird über den Log-server Splunk gesprochen, von meiner letzten Schulung weiss ich das das teil mega teuer ist.. ich wollte jetzt mal fragen was nutzt ihr vor allem auch bei grossen Log-Volumen?
und warum sollte man dann nicht [urlhttp://www.rsyslog.com/doc/rsyslog_pgsql.html]rsyslog+datenbank[/url] nehmen? dafür gibts doch auch tools um das auszuwerten.. mir fällt ja dort noch ein logstash, graylog2 und octopussy.. aber wo/wie speichern die die daten? ich seh da irgendwie keine Datenbank hinter..

[Natureshadow]

Hi,

rsyslog ist kaputt. Besonders mit MySQL bricht es dir manche Dienste.

http://www.naturalnik.de/wordpress/2012 ... osen-logs/

-nik

[Colttt]

Ok was ist mit psql? Tritt der fehler dann auch auf?

Nutzt sonst jmd ein logserver?

[Natureshadow]

Ok was ist mit psql? Tritt der fehler dann auch auf?

Ja, ich denke, das ist ein generelles Problem mit rsyslog. Allerdings ist bei Postgres (falls du das mit psql meinst, keine Ahnung, was psql sein soll) die Wahrscheinlichkeit geringer, dass der rumzickt .

[novalix]

In dem Artikel wird hervor gehoben, dass Splunk einen Suchalgorithmus verwendet, der mittels des Map-Reduce-Verfahrens umgesetzt wird.
Map-Reduce ist nicht per se unbedingt schneller als andere Verfahren. Der eminente Vorteil liegt in der funktionalen Geschlossenheit. Der Code läuft garantiert frei von Seiteneffekten, was die Möglichkeiten der parallelen Ausführung enorm erhöht. Die Berechnungen können so auf mehreren Cores oder sogar auf physikalisch getrennten CPU gleichzeitig stattfinden.
Wenn Du wirklich Big-Data zu berechnen hast, können sich die Lizenzkosten eventuell armotisieren.

Der rsyslogd-Bug, den @natureshadow ins Spiel gebracht hat, ist in Grenzfällen mehr als ärgerlich. Allerdings muß man auch sehen, dass die eigentliche Ursache des Freeze eine instabile bzw. kaputte Verbindung zum Datenbankserver ist. Wenn man dann noch Debugmeldungen des slapd zu verarbeiten hat, geht es dem Puffer Ratz-Fatz an den Kragen.

Groetjes, niels

[Natureshadow]

Der rsyslogd-Bug, den @natureshadow ins Spiel gebracht hat, ist in Grenzfällen mehr als ärgerlich. Allerdings muß man auch sehen, dass die eigentliche Ursache des Freeze eine instabile bzw. kaputte Verbindung zum Datenbankserver ist. Wenn man dann noch Debugmeldungen des slapd zu verarbeiten hat, geht es dem Puffer Ratz-Fatz an den Kragen.

Nein, die Verbindung darf flaky sein. Syslog soll per Design Meldungen verwerfen, wenn mindestens ein Backend geschrieben werden kann. Das heißt, wenn /var/log/syslog geschrieben wurde, darf das MySQL-Backend nicht ewig warten.

[novalix]

Der Bug ist ein Bug, ja. Trotzdem müssen bestimmte Umstände eintreten, damit er zum tragen kommt.
Das rsyslogd nicht sofort Logeinträge für das DB-Backend verwirft, sobald Konnektivitätsprobleme vorhanden sind, ist völlig OK. Leider weiss er offensichtlich nicht, wann es zuviel des guten wird. Der slapd quatscht dir im Debugmodus innerhalb kürzester Zeit eine Schweinhälfte an die Backe.

Groetjes, niels

[Colttt]

ok,

aber hier sollte jetzt nicht der Bug diskutiert werden sondern eher ob jmd was nutzt ala Octopusyy graylog etc..