Bash Script erstellen

[Meillo]

Das es sicher hier auch andere Wege gibt die zum Erfolg führen, ist mir klar. Darum ging es doch aber nicht, ich habe gebastelt, es funktioniert manuell und den Fehler wollte ich hier mit euch gemeinsam suchen.

Das ist auch eine gute Idee so.

Uns faellt es manchmal schwer, uns in Scripte einzulesen, teilweise sehr anders sind als wir sie schreiben wuerden oder ueberhaupt wie wir das Problem angehen wuerden. Wenn es dann noch ein Problem ist, dass wir nicht selber bei uns nachstellen und testen koennen, wird es noch schwieriger zu helfen. Dass wir uns hier doch recht schwer tun, zu helfen, liegt einfach an der Situation. Dabei bist du freundlich, willst dazulernen und reagierst schnell, was schonmal eine tolle Ausgangsbasis ist. Vielleicht musst du hier eher Geduld mit uns haben als wir mit dir.


... vielleicht findet jemand hier mal die Zeit und Lust eine Version des Scripts zu schreiben in der Art wie man es selber machen wuerde, als Vergleich. Das koennte die Diskussion zusaetzlich befruchten.

Interessant wird's eh am Ende, wenn das Problem geloest ist und wir uns anschauen koennen, wo das Problem lag, welcher Art es war, und uns dann ueberlegen koennen, wie man diese Art von Problem zukuenftig vermeidet.


Also, nur weiter hier. Der Thread ist wertvoll.

[rodeoric]

Das es sicher hier auch andere Wege gibt die zum Erfolg führen, ist mir klar. Darum ging es doch aber nicht, ich habe gebastelt, es funktioniert manuell und den Fehler wollte ich hier mit euch gemeinsam suchen.

Das ist auch eine gute Idee so.

Uns faellt es manchmal schwer, uns in Scripte einzulesen, teilweise sehr anders sind als wir sie schreiben wuerden oder ueberhaupt wie wir das Problem angehen wuerden. Wenn es dann noch ein Problem ist, dass wir nicht selber bei uns nachstellen und testen koennen, wird es noch schwieriger zu helfen. Dass wir uns hier doch recht schwer tun, zu helfen, liegt einfach an der Situation. Dabei bist du freundlich, willst dazulernen und reagierst schnell, was schonmal eine tolle Ausgangsbasis ist. Vielleicht musst du hier eher Geduld mit uns haben als wir mit dir.


... vielleicht findet jemand hier mal die Zeit und Lust eine Version des Scripts zu schreiben in der Art wie man es selber machen wuerde, als Vergleich. Das koennte die Diskussion zusaetzlich befruchten.

Interessant wird's eh am Ende, wenn das Problem geloest ist und wir uns anschauen koennen, wo das Problem lag, welcher Art es war, und uns dann ueberlegen koennen, wie man diese Art von Problem zukuenftig vermeidet.


Also, nur weiter hier. Der Thread ist wertvoll.

Hallo Meillo,

vielen Dank auch hier wieder für die netten Worte.

Es sieht aktuell sehr gut aus, es lag wohl tatsächlich an den direkten Verzeichnispfaden die ich wohl übersehen habe und den Fehler "wget..." habe ich auch gefunden, die IP wurde nämlich in's root Verzeichnis geschoben und dann kann der nächste Befehl diese logischerweise auch nicht mehr lesen

Ich lasse es nun nochmal durchlaufen und berichte.

Ich bin happy wenn es läuft, manchmal sieht man halt den Wald vor lauter Bäumen nicht

Lg

[MSfree]

Verstehe zwar nicht ganz was Du damit meinst aber es ruft die gespeicherte Datei auf und legt diese in einer neuen Datei ab.

Sorry, mein Post war zwischen Mittagessen und Weihnachtsgans etwas dahingeschludert.

Ich wollte sagen, daß du eine Datei mit wget holst, mit cat eine Kopie anlegst und dann das Original mit rm löschst. Das kann man auch einfacher haben, indem man die Datei mit mv umbenennt.

Zu guter letzt willst du den alten Zustand in /etc/fail2ban/home_ip_old.txt sichern, was ausserhalb des ifs stattfinden sollte.

Ja, das ist Quasi das Dokument in dem die aktuelle IP so zu sagen drinnen liegt, beim nächsten Run sollte er eigentlich die neue mit dem Dokument der alten abgleichen, sind diese identisch muss er weder etwas in jail.local hineinschreiben und auch den "service fail2ban restart" nicht ausführen, wozu auch wenn es keine Änderung gab.

So hatte ich deine Idee auch verstanden. Allerdings sollte man die old-Datei in jedem Fall erzeugen und nicht nur, wenn das Skript in das if verzeigt. Sonst gibt es das old ggfls. nicht

[rodeoric]

Verstehe zwar nicht ganz was Du damit meinst aber es ruft die gespeicherte Datei auf und legt diese in einer neuen Datei ab.

Sorry, mein Post war zwischen Mittagessen und Weihnachtsgans etwas dahingeschludert.

Ich wollte sagen, daß du eine Datei mit wget holst, mit cat eine Kopie anlegst und dann das Original mit rm löschst. Das kann man auch einfacher haben, indem man die Datei mit mv umbenennt.

Zu guter letzt willst du den alten Zustand in /etc/fail2ban/home_ip_old.txt sichern, was ausserhalb des ifs stattfinden sollte.

Ja, das ist Quasi das Dokument in dem die aktuelle IP so zu sagen drinnen liegt, beim nächsten Run sollte er eigentlich die neue mit dem Dokument der alten abgleichen, sind diese identisch muss er weder etwas in jail.local hineinschreiben und auch den "service fail2ban restart" nicht ausführen, wozu auch wenn es keine Änderung gab.

So hatte ich deine Idee auch verstanden. Allerdings sollte man die old-Datei in jedem Fall erzeugen und nicht nur, wenn das Skript in das if verzeigt. Sonst gibt es das old ggfls. nicht

Hallöle,

kein Problem.

Es läuft nun wie es soll

Code: Alles auswählen

#!/bin/bash
rm -r /etc/fail2ban/home_ip.txt
wget https://eine-domain.de/homeIP.txt
mv /root/homeIP.txt /etc/fail2ban/home_ip.txt

IPn=`cat /etc/fail2ban/home_ip.txt`
IPo=`cat /etc/fail2ban/home_ip_old.txt`
IPfix="127.0.0.1\ 127.0.0.0\/8\ 10.0.0.0\/8\ 172.16.0.0\/12\ 192.168.0.0\/16\  "
CONFIG_FILE=/etc/fail2ban/jail.local
if [ "$IPn" != "$IPo" ]
then
sed -i "s/\(ignoreip *= *\).*/\1$IPfix$IPn/" $CONFIG_FILE
echo $IPn > /etc/fail2ban/home_ip_old.txt
/etc/init.d/fail2ban restart

echo "Neue IP gewhitelisted: $IPn Fail2ban neu gestartet"
fi

Crontab sieht wie folgt aus und sollte nun aller 12 Stunden starten:

Code: Alles auswählen

* 12 * * * bash /etc/fail2ban/fail2ban-ip-whitelisting.sh

Nun besteht noch immer die Möglichkeit zu kürzen oder das ganze mit einem weiteren Script zu kombinieren das automatisch die gebannten Adressen in die Blacklist aufnimmt.

Ich danke schon mal bis hier her, das hat wunderbar geklappt mit eurer Hilfe.

Lg

[Meillo]

Ein explizites `cd' in ein definiertes Verzeichnis am Anfang waere gut. (Auf den ersten Blick scheint `cd /root' korrekt zu sein.) Derzeit gehst du naemlich nur davon aus, dass sowohl deine manuellen Aufrufe als auch Cron das Script schon aus dem richtigen Verzeichnis aufrufen werden. Besser du stellst das sicher.

[Meillo]

Crontab sieht wie folgt aus und sollte nun aller 12 Stunden starten:

Code: Alles auswählen

* 12 * * * bash /etc/fail2ban/fail2ban-ip-whitelisting.sh

So laeuft der Job von 12:00 bis 12:59 jede Minute und sonst nicht.

Du willst wohl eher sowas:

Code: Alles auswählen

0 12,24 * * * ...

D.h. um 12:00 und um 24:00.



Btw: Da dein Script ein Shebang hat ist das `bash' im Cronjob-Aufruf nicht noetig ... und sorgt bei zukuenftigen Umbauten des Scripts moeglicherweise fuer Fehler oder Irritationen.

[Meillo]

Hier eine Ueberarbeitung des Scripts in Richtung der Art, wie ich es schreiben wuerde:

Code: Alles auswählen

#!/bin/bash

new=/etc/fail2ban/home_ip.txt
old=/etc/fail2ban/home_ip_old.txt

config_file=/etc/fail2ban/jail.local
IPfix="127.0.0.1\ 127.0.0.0\/8\ 10.0.0.0\/8\ 172.16.0.0\/12\ 192.168.0.0\/16\  "

wget -O "$new" https://eine-domain.de/homeIP.txt

if cmp -s "$new" "$old"; then
	exit
fi

mv "$new" "$old"

sed -i "s/\(ignoreip *= *\).*/\1$IPfix`cat $new`/" "$config_file"
/etc/init.d/fail2ban restart
echo "Neue IP gewhitelisted: `cat $new` Fail2ban neu gestartet"

Den sed-Befehl habe ich nicht umgebaut, weil ich die genaue Syntax von $config_file nicht kenne. (Ich wuerde versuchen IPfix drin zu lassen und nur den Rest der Zeile zu aendern ... oder mal schauen, ob die Config sowas wie `+=' unterstuetzt, damit ich es in zwei Zeilen aufteilen kann ... oder eine separate Datei unter /etc/fail2ban anlegen, mit dem Ziel, dass manuelle Werte und automatisch geaenderte Werte klar voneinander getrennt sind.)

Die Dateien wuerde ich persoenlich anders nennen, weil Dateiendungen auf Unix egal sind. Old waere bei mir eher "$new.backup", oder ich wuerde gleich ein Logfile anlegen:

Code: Alles auswählen

echo `date` `cat "$new"` >>/var/log/home_ip.log

Die Ausgabe am Ende wuerde ich nur drin lassen, wenn ich die bei jeder Aenderung per Mail bekommen will. Das kann Sinn machen, wenn es selten ist oder ich die Info brauche, sonst wuerde ich sie her rausnehmen.


Soviel von mir an dieser Stelle mal an Input.

[rodeoric]

Hier eine Ueberarbeitung des Scripts in Richtung der Art, wie ich es schreiben wuerde:

Code: Alles auswählen

#!/bin/bash

new=/etc/fail2ban/home_ip.txt
old=/etc/fail2ban/home_ip_old.txt

config_file=/etc/fail2ban/jail.local
IPfix="127.0.0.1\ 127.0.0.0\/8\ 10.0.0.0\/8\ 172.16.0.0\/12\ 192.168.0.0\/16\  "

wget -O "$new" https://eine-domain.de/homeIP.txt

if cmp -s "$new" "$old"; then
	exit
fi

mv "$new" "$old"

sed -i "s/\(ignoreip *= *\).*/\1$IPfix`cat $new`/" "$config_file"
/etc/init.d/fail2ban restart
echo "Neue IP gewhitelisted: `cat $new` Fail2ban neu gestartet"

Den sed-Befehl habe ich nicht umgebaut, weil ich die genaue Syntax von $config_file nicht kenne. (Ich wuerde versuchen IPfix drin zu lassen und nur den Rest der Zeile zu aendern ... oder mal schauen, ob die Config sowas wie `+=' unterstuetzt, damit ich es in zwei Zeilen aufteilen kann ... oder eine separate Datei unter /etc/fail2ban anlegen, mit dem Ziel, dass manuelle Werte und automatisch geaenderte Werte klar voneinander getrennt sind.)

Die Dateien wuerde ich persoenlich anders nennen, weil Dateiendungen auf Unix egal sind. Old waere bei mir eher "$new.backup", oder ich wuerde gleich ein Logfile anlegen:

Code: Alles auswählen

echo `date` `cat "$new"` >>/var/log/home_ip.log

Die Ausgabe am Ende wuerde ich nur drin lassen, wenn ich die bei jeder Aenderung per Mail bekommen will. Das kann Sinn machen, wenn es selten ist oder ich die Info brauche, sonst wuerde ich sie her rausnehmen.


Soviel von mir an dieser Stelle mal an Input.

Hallo,

vielen lieben Dank für die Überarbeitung, das muss ich aber in Ruhe machen, ich bin schon froh das es jetzt überhaupt läuft

Ein explizites `cd' in ein definiertes Verzeichnis am Anfang waere gut. (Auf den ersten Blick scheint `cd /root' korrekt zu sein.) Derzeit gehst du naemlich nur davon aus, dass sowohl deine manuellen Aufrufe als auch Cron das Script schon aus dem richtigen Verzeichnis aufrufen werden. Besser du stellst das sicher.

Was meinst Du damit genau ?
Sollte der Command dann wie folgt aussehen oder hab ich da etwas falsch verstanden ? Kann man das dann überall so machen wo ein Verzeichnis angegeben wird oder gibt es commands die das dann falsch interpretieren könnten ?

Code: Alles auswählen

mv cd /root/homeIP.txt /etc/fail2ban/home_ip.txt 

D.h. um 12:00 und um 24:00.

Ich wollte eigentlich das mein Script nur um 12:00 Uhr Mittags ausgeführt wird, das reicht voll und ganz. Wie müsste der Command dann aussehen ?
Denn wenn ich

Code: Alles auswählen

* 12,24 * * * bash /etc/fail2ban/fail2ban-ip-whitelisting.sh

schreibe dann sagt er mit "Bad Hour, Errors in Crontab".

Btw: Da dein Script ein Shebang hat ist das `bash' im Cronjob-Aufruf nicht noetig ... und sorgt bei zukuenftigen Umbauten des Scripts moeglicherweise fuer Fehler oder Irritationen.

Hab ich mal rausgenommen, das ist wohl durch das etliche mal hin und herprobieren stehen geblieben

echo `date` `cat "$new"` >>/var/log/home_ip.log

Die finde ich aktuell nicht in meinem Script. Vielleicht wieder der Wald und die Bäume

Lg
rodeoric

[Meillo]

ich bin schon froh das es jetzt überhaupt läuft

Kann ich mir vorstellen.

Ein explizites `cd' in ein definiertes Verzeichnis am Anfang waere gut. (Auf den ersten Blick scheint `cd /root' korrekt zu sein.) Derzeit gehst du naemlich nur davon aus, dass sowohl deine manuellen Aufrufe als auch Cron das Script schon aus dem richtigen Verzeichnis aufrufen werden. Besser du stellst das sicher.

Was meinst Du damit genau ?

Ich meine, dass manche deiner Dateioperationen im aktuellen Verzeichnis arbeiten, z.B. legt wget die heruntergeladene Datei dorthin. Spaeter machst du dann den mv von /root ... was bedeutet, dass sich wget in /root befunden haben muss. Diese Information ist aber nirgends explizit abgelegt oder gesichert. Es ist mehr zufaellig so, dass alles zusammen passt. Was ich mir vorstelle ist diese Zeile irgendwo am Anfang des Scripts:

Code: Alles auswählen

cd /root

Damit ist explizit festgelegt in welchem Arbeitsverzeichnis das Script laeuft ... egal aus welchem es ausgerufen wird oder wie die konkrete Cron-Implementierung sich diesbezueglich verhaelt.

Code: Alles auswählen

mv cd /root/homeIP.txt /etc/fail2ban/home_ip.txt 

Das geht so nicht. (Dieser Befehl wuerde die Datei `cd' im aktuellen Verzeichnis und die Datei `/root/homeIP.txt' beide in das Zielverzeichnis `/etc/fail2ban/home_ip.txt' verschieben. Da das Zielverzeichnis aber kein Verzeichnis ist, sondern eine Datei, wird der Befehl fehlschlagen. Zudem kaeme eine Fehlermeldung, dass im aktuellen Arbeitsverzeichnis keine Datei `cd' zu finden ist.) Du brauchst zwei Befehle, einmal `cd' und einmal `mv' ... wobei das cd fuer diesen mv-Befehl nicht noetig ist, weil er ja nur absolute Pfade enthaelt. Der wget-Befehl ist derjenige, der die heruntergeladene Datei ins aktuelle Verzeichnis legt.

D.h. um 12:00 und um 24:00.

Ich wollte eigentlich das mein Script nur um 12:00 Uhr Mittags ausgeführt wird, das reicht voll und ganz. Wie müsste der Command dann aussehen ?

Code: Alles auswählen

0 12 * * * ...

Denn wenn ich

Code: Alles auswählen

* 12,24 * * * bash /etc/fail2ban/fail2ban-ip-whitelisting.sh

schreibe dann sagt er mit "Bad Hour, Errors in Crontab".

Oh, es muss ``12,0'' heissen.

echo `date` `cat "$new"` >>/var/log/home_ip.log

Die finde ich aktuell nicht in meinem Script. Vielleicht wieder der Wald und die Bäume

Du kannst es nicht finden. Wenn du meinen Post (bei Tageslicht) nochmal in Ruhe liest, wirst du sehen, dass das eine Idee ist, wie *ich* ein Logging fuer die vorherigen IP-Adressen einrichten wuerde ... statt der Old-Datei und mit Historie.

[Meillo]

Hier nochmal eine Ueberarbeitung:

Code: Alles auswählen

#!/bin/bash

myip=/etc/fail2ban/home_ip.txt
log=/var/log/home_ip.log
config_file=/etc/fail2ban/jail.local
IPfix="127.0.0.1\ 127.0.0.0\/8\ 10.0.0.0\/8\ 172.16.0.0\/12\ 192.168.0.0\/16\  "

ip=`wget -O - https://eine-domain.de/homeIP.txt`

if [ "$ip" = `cat "$myip"` ]; then
	exit
fi

echo "$ip" >"$myip"
echo "`date +%F\ %H:%M:%S` $ip" >>"$log"
sed -i "s/\(ignoreip *= *\).*/\1$IPfix$ip/" "$config_file"
/etc/init.d/fail2ban restart

echo "Neue IP gewhitelisted: $ip; Fail2ban neu gestartet"

Ich habe die Old-Datei entfernt. Die aktuelle, neue IP-Adresse halte ich fuer die Verarbeitung in der Variable, statt sie gleich in die Datei zu schreiben.

Zudem gibt es jetzt das Log.

Das Script wird zunehmend uebersichtlicher, wie ich finde. (Das ist ein gutes Zeichen.)


Jetzt koennte man noch das Config-Update verbessern ... vermutlich am besten mit einer separaten, generierten Config-Datei, die man in die Hauptconfig included. Ich kenne mich aber mit fail2ban nicht aus, um zu wissen, wie das dort laeuft. Vielleicht kann da jemand anderes weiterhelfen?

[rodeoric]

Hallo,

auch hier nochmal vielen Dank. Nur dazu brauch ich Ruhe und das wird jetzt knapp zwischen den Jahren.

Vielleicht schaust nochmal kurz über den Crontab drüber, den hätte ich gern um 12 Uhr Mittags einmal gestartet, dann wäre es erstmal so das es läuft und alles weitere nach und nach wenn Zeit ist.

Lg
rodeoric

[Meillo]

auch hier nochmal vielen Dank. Nur dazu brauch ich Ruhe und das wird jetzt knapp zwischen den Jahren.

Klar, kein Problem.

Vielleicht schaust nochmal kurz über den Crontab drüber, den hätte ich gern um 12 Uhr Mittags einmal gestartet,

Habe ich oben schon getan.

Hier nochmal:

Code: Alles auswählen

0 12 * * * ...

(Lies: Minute 0, Stunde 12, jeden Tag, jeden Monat, jeden Wochentag.)

dann wäre es erstmal so das es läuft und alles weitere nach und nach wenn Zeit ist.

Nur kein Stress!

[rodeoric]

Nun bin ich aber verwirrt

* 12 * * * bash /etc/fail2ban/fail2ban-ip-whitelisting.sh

So laeuft der Job von 12:00 bis 12:59 jede Minute und sonst nicht.

Ich möchte ja nicht das er minütlich ausgeführt wird sondern eigentlich nur einmal um 12 Uhr Mittag

Das war ja mein bisheriger aus einem älteren Kommentar, ich sehe da keinen Unterschied.

* 12 * * * bash /etc/fail2ban/fail2ban-ip-whitelisting.sh

Vielleicht reden wir da gerade aneinander vorbei, aber ich verstehe von 12:00 Uhr - 12:59 Uhr das er dann wirklich um die 59 mal ausgeführt wird, ist das so korrekt ?

Ich wünsche dennoch allen hier einen guten Rutsch ins neue Jahr.

Lg
rodeoric

[Meillo]

Das erste Zeichen muss eine Null und kein Stern sein.

[rodeoric]

Das erste Zeichen muss eine Null und kein Stern sein.

Danke,

das ging aus dem Beitrag irgendwie nicht hervor. Nun ist es aber klar und angepasst.

Dankeschön.

Lg