Ein Loganalyzer für alle Logs

[h725]

Hi,

ich sitze schon seit Tagen an meinem Server und habe verschiedene Loganalyzer ausprobiert.
Bis jetzt habe ich leider noch keinen gefunden, der alle Logs aufeinmal auswerten und grafisch darstellen kann.

Deshalb wende ich mich nun an euch und wollte mal fragen, ob ihr einen Loganalyzer für Debian kennt, der alle Logs lesen und übersichtlich darstellen kann?
Muss nicht für das Web gemacht sein, aber wäre schon nicht schlecht

Danke im Voraus,
Rob

[DeletedUserReAsG]

Du solltest schreiben, für welche Logs. Denn einen für alle Logs kann es nicht geben. Wohl aber welche für die gebräuchlichsten Formen, und wahrscheinlich auch modulare Programme, bei denen man die Auswertungen für etwa Customlogs selbst definieren kann.

[Cae]

Ich finde ja logcheck ganz nett. Der ist so graphisch, dass er sogar Text kann . Mal ernsthaft, es wird keinen Sinn ergeben, die Besucher eines Webservers (typischer Fall fuer webalizer) mit S.M.A.R.T.-Daten der Festplatten zu vergleichen (koennte man z.B. mit munin machen). Da wird es keine sinnvolle Korrelation geben.

Gruss Cae

[h725]

Ich würde gerne die Dienste im Überblick haben, z. B. Samba, ssh, proftpd, etc.


Mir geht es eigentlich darum, dass mir die Zugriffe mit IP, Datum, Dienst und dem Username angezeigt werden! Und dies will ich alles in einem loganalyzer haben, damit ich besten Überblick habe.

[Colttt]

interessant wäre schon zu wissen was für programme du schon ausprobiert hast.

ich würde dir raten mal ein blick auf graylog2[1] zu werfen.. damit solltest du eigentlich so ziemlich alle logs mit abdecken

[1]http://graylog2.org/

[h725]

Erstmal danke für den Tipp, aber irgendwie will graylog nicht laufen.
Mal ne andere Frage. Wie können Administratoren von kleinen Servern, z. B. betreiben eines vserver, erkennen das sie gehackt wurden? Ich glaube nicht, dass die jeden Tag alle logs durch schauen! Kann mir einer sagen wie die das feststellen und welche Tools zur Überwachung man nehmen kann?

[DeletedUserReAsG]

Mal ne andere Frage. Wie können Administratoren von kleinen Servern, z. B. betreiben eines vserver, erkennen das sie gehackt wurden? Ich glaube nicht, dass die jeden Tag alle logs durch schauen! Kann mir einer sagen wie die das feststellen und welche Tools zur Überwachung man nehmen kann?

Warum nicht alle durchschauen? Mittels z.B. grep -v in einem Script alles, was als normal gewertet wird, rausfiltern, und was rausfällt, genauer anschauen.

Das Problem an der Geschichte ist halt, dass ich, angenommen, ich wäre böse (bin ich ja bekanntlich nicht) und würde anderer Leute Server aufmachen, zunächst dafür sorgen würde, dass die Logs wieder sauber sind, und auch in den Prozess- und Socketlisten nichts steht, was auf meinen Besuch hinweist. Wenn’s also darum geht, zu schauen, ob die Kiste aufgemacht worden ist, wäre ein IDS ein möglicher Weg. Logs sind eher dafür da, Fehlfunktionen zu erkennen und zu beheben.

[h725]

Ahh Ok, ich habe gerade etwas gegooglt und habe snort IDS in Verbindung mit snorby gefunden! Ich werde mir das nachher mal anschauen.
Gibt es noch andere kostenlose IDS' für debian?

[reba]

tripwire
Aber sinnvoll ist es nur, das IDS gleich nach der Installation des Basis-Systems zu installieren und einzurichten.
Nur dann kannst du relativ sicher sein, das noch nichts ungewolltes auf deinem System passiert.

[h725]

Danke!

Mein System wird sowieso neu gemacht.

[Colttt]

Was geht denn bei graylog2 nicht und nach welcher Anleitung bist du vorgegangen? Ich hatte es mal getestet und es lief dort auf Anhieb..

Des weiteren kannst du es ja so einstellen das du sobald sich jmd einloggt eine mail bekommst

[h725]

Der graylog2 wurde als gestartet angezeigt. Sobald ich über die Webadresse mit dem Port 9000 drauf zugreifen wollte, wurde mir gesagt, dass keine Instanz von graylog2 läuft.
Ich habe darauf den Server neugestartet und es kam immer ein Fail-Fehler.
Da ich den Server neugemacht habe, kann ich leider nicht mehr auf die alten Logs zugreifen.

Ich habe diese Anleitung benutzt:
https://gist.github.com/hggh/7492598

Gibt es da was bessere, weil ich diese Anleitung etwas spartanisch finde.

[Colttt]

ich hab diese anleitung genommen gehabt:
http://cristinallamas.wordpress.com/201 ... in-debian/

[h725]

Sieht wirklich gut aus. Die probiere ich mal morgen aus.
Ausserdem finde ich da ein paar Sachen die mir bei Snort und Snorby weiterhelfen. Danke.

[h725]

Ich habe mich gerade an die graylog2-Anleitung gesetzt und leider funktioniert die Installation von mongodb nicht. Folgender Fehler kommt:

Code: Alles auswählen

root@Rob-Debian:~# apt-get install mongodb-10gen
Paketlisten werden gelesen... Fertig
Abhängigkeitsbaum wird aufgebaut.
Statusinformationen werden eingelesen.... Fertig
Die folgenden NEUEN Pakete werden installiert:
  mongodb-10gen
0 aktualisiert, 1 neu installiert, 0 zu entfernen und 0 nicht aktualisiert.
Es müssen 88,1 MB an Archiven heruntergeladen werden.
Nach dieser Operation werden 225 MB Plattenplatz zusätzlich benutzt.
Holen: 1 http://downloads-distro.mongodb.org/repo/ubuntu-upstart/ dist/10gen mongodb-10gen amd64 2.4.10 [88,1 MB]
Es wurden 88,1 MB in 37 s geholt (2.330 kB/s).
Vormals nicht ausgewähltes Paket mongodb-10gen wird gewählt.
(Lese Datenbank ... 26362 Dateien und Verzeichnisse sind derzeit installiert.)
Entpacken von mongodb-10gen (aus .../mongodb-10gen_2.4.10_amd64.deb) ...
Trigger für man-db werden verarbeitet ...
mongodb-10gen (2.4.10) wird eingerichtet ...
Lege Systembenutzer »mongodb« (UID 106) an ...
Lege neuen Benutzer »mongodb« (UID 106) mit Gruppe »nogroup« an ...
Erstelle Home-Verzeichnis »/home/mongodb« nicht.
Lege Gruppe »mongodb« (GID 108) an ...
Fertig.
Füge Benutzer »mongodb« der Gruppe »mongodb« hinzu ...
Benutzer mongodb wird zur Gruppe mongodb hinzugefügt.
Fertig.
invoke-rc.d: unknown initscript, /etc/init.d/mongodb not found.
dpkg: Fehler beim Bearbeiten von mongodb-10gen (--configure):
 Unterprozess installiertes post-installation-Skript gab den Fehlerwert 100 zurück
Fehler traten auf beim Bearbeiten von:
 mongodb-10gen
E: Sub-process /usr/bin/dpkg returned an error code (1)

Sobald ich die ältere Version installiere kommt folgender Fehler:

Code: Alles auswählen

root@Rob-Debian:~# apt-get install mongodb-10gen=2.2.3
Paketlisten werden gelesen... Fertig
Abhängigkeitsbaum wird aufgebaut.
Statusinformationen werden eingelesen.... Fertig
Die folgenden Pakete werden durch eine ÄLTERE VERSION ERSETZT (Downgrade):
  mongodb-10gen
0 aktualisiert, 0 neu installiert, 1 durch eine ältere Version ersetzt, 0 zu entfernen und 0 nicht aktualisiert.
1 nicht vollständig installiert oder entfernt.
Es müssen 51,9 MB an Archiven heruntergeladen werden.
Nach dieser Operation werden 98,0 MB Plattenplatz freigegeben.
Möchten Sie fortfahren [J/n]? j
Holen: 1 http://downloads-distro.mongodb.org/repo/ubuntu-upstart/ dist/10gen mon                                                                             godb-10gen amd64 2.2.3 [51,9 MB]
Es wurden 51,9 MB in 21 s geholt (2.454 kB/s).
dpkg: Warnung: Version 2.4.10 des Paketes mongodb-10gen wird durch ältere Version 2.2.3 ersetzt
(Lese Datenbank ... 26397 Dateien und Verzeichnisse sind derzeit installiert.)
Vorbereitung zum Ersetzen von mongodb-10gen 2.4.10 (durch .../mongodb-10gen_2.2.                                                                             3_amd64.deb) ...
arg: upgrade
invoke-rc.d: unknown initscript, /etc/init.d/mongodb not found.
dpkg: Fehler beim Bearbeiten von /var/cache/apt/archives/mongodb-10gen_2.2.3_amd                                                                             64.deb (--unpack):
 Unterprozess installiertes pre-removal-Skript gab den Fehlerwert 100 zurück
invoke-rc.d: unknown initscript, /etc/init.d/mongodb not found.
dpkg: Fehler beim Aufräumen:
 Unterprozess installiertes post-installation-Skript gab den Fehlerwert 100 zurück
Fehler traten auf beim Bearbeiten von:
 /var/cache/apt/archives/mongodb-10gen_2.2.3_amd64.deb
E: Sub-process /usr/bin/dpkg returned an error code (1)

Kann mir einer sagen, wie ich das beheben kann?

[Colttt]

Beide Versionen mit --purge de installieren und dann die Version direkt von Debian nehmen.

[h725]

Beide Versionen mit --purge de installieren und dann die Version direkt von Debian nehmen.

Hatte ich schon versucht. Folgendes passiert dann:

Code: Alles auswählen

root@Rob-Debian:~# apt-get remove --purge mongodb-10gen
Paketlisten werden gelesen... Fertig
Abhängigkeitsbaum wird aufgebaut.
Statusinformationen werden eingelesen.... Fertig
Die folgenden Pakete werden ENTFERNT:
  mongodb-10gen*
0 aktualisiert, 0 neu installiert, 1 zu entfernen und 0 nicht aktualisiert.
1 nicht vollständig installiert oder entfernt.
Nach dieser Operation werden 225 MB Plattenplatz freigegeben.
Möchten Sie fortfahren [J/n]? j
dpkg: Fehler beim Bearbeiten von mongodb-10gen (--purge):
 Paket ist in einem sehr schlechten inkonsistenten Zustand - Sie sollten
 es erneut installieren, bevor Sie es zu entfernen versuchen.
Fehler traten auf beim Bearbeiten von:
 mongodb-10gen
E: Sub-process /usr/bin/dpkg returned an error code (1)

Gleiches passiert bei dem Befehl:

Code: Alles auswählen

apt-get remove --purge mongodb-10gen=2.2.3

/Edit:
Habe ein Lösung gefunden:

Code: Alles auswählen

rm /var/lib/dpkg/info/mongodb-10gen.prerm
dpkg --remove --force-remove-reinstreq mongodb-10gen
dpkg --purge --force-remove-reinstreq mongodb-10gen

[h725]

OK, Mongodb ist nun installiert. Leider ist die Version im Debian-Repository eine sehr alte, die nach dieser Anleitung eine neuere braucht.
Deshalb habe ich das Repository von 10gen hinzugefügt.

Jetzt ist meine Frage, wie bekomme ich die Version 2.2.3 installiert? Im Debian-Repository ist die Version 2.0.6 drin.

/Edit:
Ich habe Mongodb über diese Anleitung mit der Version 2.6.1 installieren können

[h725]

Jetzt weiss ich wirklich nicht weiter. Elasticsearch läuft, den Prozess kann ich finden mit:

Code: Alles auswählen

ps ax | grep elastic

Aber, sobald ich graylog2 starte wird der Start abgebrochen und mir gesagt, dass graylog2 sich nicht mit elasticsearch verbindet,
Hier ein Auszug aus der graylog2-Log:

Code: Alles auswählen

[2014-06-02 22:01:17,842][INFO ][node                     ] [Lilandra Neramani] {0.20.4}[12171]: stopping ...
[2014-06-02 22:01:17,869][INFO ][node                     ] [Lilandra Neramani] {0.20.4}[12171]: stopped
[2014-06-02 22:01:17,869][INFO ][node                     ] [Lilandra Neramani] {0.20.4}[12171]: closing ...
[2014-06-02 22:01:17,880][INFO ][node                     ] [Lilandra Neramani] {0.20.4}[12171]: closed
[2014-06-02 22:01:19,507][INFO ][node                     ] [Thumb, Tom] {0.20.4}[12834]: initializing ...
[2014-06-02 22:01:19,514][INFO ][plugins                  ] [Thumb, Tom] loaded [], sites []
[2014-06-02 22:01:22,596][INFO ][node                     ] [Thumb, Tom] {0.20.4}[12834]: initialized
[2014-06-02 22:01:22,597][INFO ][node                     ] [Thumb, Tom] {0.20.4}[12834]: starting ...
[2014-06-02 22:01:22,707][INFO ][transport                ] [Thumb, Tom] bound_address {inet[/0:0:0:0:0:0:0:0:9300]}, publish_address {inet[/192.168.178.50:$
[2014-06-02 22:01:25,738][INFO ][cluster.service          ] [Thumb, Tom] new_master [Thumb, Tom][Qn7q53fdS_eLjnX904CzYQ][inet[/192.168.178.50:9300]], reason$
[2014-06-02 22:01:25,832][INFO ][discovery                ] [Thumb, Tom] graylog2/Qn7q53fdS_eLjnX904CzYQ
[2014-06-02 22:01:25,881][INFO ][http                     ] [Thumb, Tom] bound_address {inet[/0:0:0:0:0:0:0:0:9200]}, publish_address {inet[/192.168.178.50:$
[2014-06-02 22:01:25,882][INFO ][node                     ] [Thumb, Tom] {0.20.4}[12834]: started
[2014-06-02 22:01:25,966][INFO ][gateway                  ] [Thumb, Tom] recovered [0] indices into cluster_state

Ich hoffe ihr könnt mir da weiterhelfen.

/edit:

Hier noch der Auszug aus dem Start von graylog2:

Code: Alles auswählen

2014-06-02 22:18:01,280 INFO : org.elasticsearch.node - [graylog2-server] started

2014-06-02 22:18:01,302 DEBUG: org.elasticsearch.discovery.zen - [graylog2-server] filtered ping responses: (filter_client[true], filter_data[false])
        --> target [[Murmur II][h7s5xD-BROer-HoT0d648A][inet[/192.168.178.50:9300]]], master [[Murmur II][h7s5xD-BROer-HoT0d648A][inet[/192.168.178.50:9300]]]

2014-06-02 22:18:01,322 DEBUG: org.elasticsearch.transport.netty - [graylog2-server] connected to node [[Murmur II][h7s5xD-BROer-HoT0d648A][inet[/192.168.178.50:9300]]]

2014-06-02 22:18:01,382 WARN : org.elasticsearch.transport.netty - [graylog2-server] Message not fully read (request) for [2] and action [discovery/zen/join/validate], resetting

2014-06-02 22:18:01,434 INFO : org.elasticsearch.discovery.zen - [graylog2-server] failed to send join request to master [[Murmur II][h7s5xD-BROer-HoT0d648A][inet[/192.168.178.50:9300]]], reason [org.elasticsearch.transport.RemoteTransportException: [Murmur II][inet[/192.168.178.50:9300]][discovery/zen/join]; org.elasticsearch.transport.RemoteTransportException: [graylog2-server][inet[/192.168.178.50:9350]][discovery/zen/join/validate]; java.io.IOException: Expected handle header, got [22]]

2014-06-02 22:18:04,435 DEBUG: org.elasticsearch.discovery.zen - [graylog2-server] filtered ping responses: (filter_client[true], filter_data[false])
        --> target [[Murmur II][h7s5xD-BROer-HoT0d648A][inet[/192.168.178.50:9300]]], master [[Murmur II][h7s5xD-BROer-HoT0d648A][inet[/192.168.178.50:9300]]]

2014-06-02 22:18:04,441 WARN : org.elasticsearch.transport.netty - [graylog2-server] Message not fully read (request) for [5] and action [discovery/zen/join/validate], resetting

2014-06-02 22:18:04,453 INFO : org.elasticsearch.discovery.zen - [graylog2-server] failed to send join request to master [[Murmur II][h7s5xD-BROer-HoT0d648A][inet[/192.168.178.50:9300]]], reason [org.elasticsearch.transport.RemoteTransportException: [Murmur II][inet[/192.168.178.50:9300]][discovery/zen/join]; org.elasticsearch.transport.RemoteTransportException: [graylog2-server][inet[/192.168.178.50:9350]][discovery/zen/join/validate]; java.io.IOException: Expected handle header, got [22]]

2014-06-02 22:18:06,288 ERROR: org.graylog2.Main -

[Colttt]

Config error.. Das war damals irgendwie etwas tricky, also am besten genau beachten was da steht..

[h725]

Danke für eure Hilfe, aber ich gebe auf. Irgendwie werde ich mit graylog nicht warm.

[Colttt]

Wie jetzt schon?! Ich kann ja mal am WE meine confugs prüfen/ Posten. Evtl bist du ja auch im debianforum-chat, dann können wir es ja step-by-step zusammen machen?!