syslog-ng to mysql mit speed

[Pischti]

hi,
ich möchte das log zentralisieren und alle logs in eine mysql-datenbank ablegen.
dazu hab ich den sylog-ng verwendet, die meisten server, iptables u.s.w. schon zum syslog statt dateil.log schreiben lassen - und im syslog alles schon in bestimmten log-rubriken aufgeteilt. klappt bisher auch alles super. zur zeit schreibt der syslog noch alles in dateien. jetzt möchte ich das ganze in mysql reinschreiben.

ansatz: syslog-ng kann in eine fifo reinschreiben oder direct ein script / binary aufrufen.

meine frage jetzt dahin: was nehme ich für ein script, um die ganze sache möglichst perfomant zu halten ?
- bash mit pipe zum mysql-client
- ein awk-script
- perl
- c
- oder, oder, oder ?

letzten endes muss es ja doch irgenwie über den mysql.sock gehen ...

[blackm]

Hi,

also egal welche Sprache du nimmst, grosse Performance Unterschiede wirst du nicht merken da ja nicht viel Code ausgefuehrt wird.
Die einfachste Loesung waere sicherlich per pipe an mysql-client...
Um den Socket musst du dir dann auch keine Gedanken machen, darum kuemmert sich der client - bei perl ist das auch der Fall und es sollte mich wundern wenn es bei C nicht so ist.

Achso...was versprichst du dir den von der zentralen Speicherung in mysql? Zentral speichern kann man das auch mit syslogd, der kann es auch an einen anderen Server weiterleiten...

by, Martin

[Pischti]

den syslog-ng nehme ich, weil der mehr kann als der alte syslogd, z.b. ein filtern mit regex in der logmeldung und ein filter in filter-konzept.
ausserdem hab ich mich mal beim alten syslogd belesen - da wurde schon seit 4 jahren nix mehr dran gemacht. wie gesagt: primär die neuen features ...

das zantrale log:
bisher musste man sich durch mehre textfiles durchforsten um besondere auffäligkeiten zu entdecken. mit einem zentralen log in ner db lässt sich das ganze einfach besser kontrollieren und auswerten.
ich meine dabei nicht meinen private rechner, der nur so bisl was macht - sondern einen im netzhängenden rechner (eigene ip).
auswerten will ich z.b.
- statusmeldungen der dienste (apache, samba, ftp, mysql usw,)
- login, su und alles was mit autz zu tun hat
- ip-tables meldungen über angriffe u.ä.

kurzum alles, was mir sagt, ob beim server alles i.o ist - oder irgendwas aus dem ruder läuft ....

[blackm]

Das filtern der logmeldungen mach ich bei mir mit logcheck.

Was bei syslog-ng in Verbindung mit mysql noch interessant waere: mysql log ueber syslog-ng nach mysql schreiben

by, Martin

[monotek]

ich hab das schonmal für nen mini projekt in der schule machen müssen.
wenn du dir keine arbeit machen willst, kannst du gerne meine lösung haben...
http://monotek.ath.cx/download/syslog.rar
die php auswertung is allerdings sehr simpel gehalten.
vielleicht findet sich ja noch jemand ders besser kann...

[Pischti]

@monotek:
kann es sein, dass das thema "in der schule" bei mir war ? freu
in der doc (word-document) stand noch mp drin ....
ich tippe mal auf pfeiffer || haileiter ....

_____________________________
gruss pischti (der dozent falk b.-c.)
debian testing

[monotek]

nee. bisch :-)
von dem is auch eins der scripte...

[adjustMan]

ich hab das schonmal für nen mini projekt in der schule machen müssen.
wenn du dir keine arbeit machen willst, kannst du gerne meine lösung haben...

Tolle Sache. Danke. Was ist denn mit der "Weiterentwicklung/Zukünftige Features"? Schon was in Sicht. Ich bekomme i.M. von Logcheck Alert Meldungen (benutze z.Zt. noch das "alte" Syslog) und würde sowas gern wieder haben.

[monotek]

also ich mach daran nix mehr...