[gelöst] debian bash script multiple grep in all *.crt.pem

[joe2017]

Hallo zusammen,

ich versuche gerade mittels bash script Inhalte vieler *.pem Dateien in eine Datei zusammenzufassen.
Ich komme jedoch nicht ganz klar damit.

Ich versuche aus den Zertifikaten den Namen, Befor und After herauszuziehen und in eine Zeile zu schreiben.
Ich habe schon folgendes versucht...

Code: Alles auswählen

cat /path/*.crt.pem | grep -e Subject: -e Befor -e After > /tmp/test.txt

Soweit so gut. Hiermit bekomme ich zwar die Informationen in eine Datei, aber nicht wirklich so wie ich das möchte.

Code: Alles auswählen

cat /path/file.crt.pem | grep -e After | awk '{usage=($7 "" $6)} END {print usage}'

Damit bekomme ich die Information After wie gewünscht ausgegeben. Jedoch nicht die zwei weiteren Informationen. Und auch nicht von allen Dateien

Ich weiß jedoch nicht wie ich die beiden Abfragen verbinden kann?
Am liebsten wäre mir eine Ausgabe wie folgt:
<CN name>, <Befor>, <After>

Ich könnte höchstens alles in Variablen schreiben, aber wie arbeite ich anschließend alle vorhandenen Dateien ab?

Code: Alles auswählen

After=$(cat /path/file.crt.pem | grep -e After | awk '{usage=($7 "" $6)} END {print usage}')
Befor=$(cat /path/file.crt.pem | grep -e Befor | awk '{usage=($7 "" $6)} END {print usage}')
usw..
echo "$After $Befor" > /tmp/test.txt

[heisenberg]

Deine PEM-Dateien sind wohl schon vorverarbeitet, weil in einer normalen PEM kein Klartext drinsteht.

Das hier geht auf die Rohzertifikate:

certinfo

Code: Alles auswählen

#!/usr/bin/perl
#
use Crypt::OpenSSL::X509;
 
my $cert = Crypt::OpenSSL::X509->new_from_file($ARGV[0]);

print   $ARGV[0]
        .";".   (($cert->subject()=~/CN=(.*)/)[0])
        .";".   $cert->notBefore()
        .";".   $cert->notAfter(). "\n";

Installation/Aufruf:

Code: Alles auswählen

apt-get install libcrypt-openssl-x509-perl
./certinfo www.kernel.org.pem 

# Ausgabe:
www.kernel.org.pem;kernel.org;Sep 27 00:00:00 2019 GMT;Sep 27 23:59:59 2020 GMT

[joe2017]

Ich mach die Abfrage direkt am CA Server.
In meinem Certs Verzeichnis kann ich mit cat direkt in die pem Files schauen.

[heisenberg]

In meinem Certs Verzeichnis kann ich mit cat direkt in die pem Files schauen.

Bei mir sieht ein PEM-File idR so aus(als bis auf die Anfangs- und Endemarker kein lesbarer Text):

Code: Alles auswählen

-----BEGIN CERTIFICATE-----
MIIGszCCBZugAwIBAgIQRF7gFMlJ3UO909a39zv1mzANBgkqhkiG9w0BAQsFADBf
...
gtFRKmvMIUIESh60F91+2AeUfCa/tBfOM+PDpsNNaZ+iHHaicAIw
-----END CERTIFICATE-----

[eggy]

Poste mal was in Deinen Dateien steht, entsprechend anonymisiert, aber so dass Struktur und Keywords erhalten bleiben.

[joe2017]

ich habe jetzt eine Möglichkeit gefunden.

Code: Alles auswählen

Files=/path/*.crt.pem
for f in $Files
do
	After=$(cat $f | grep -e After | awk '{usage=($7 "" $6)} END {print usage}')
	Befor=$(cat $f | grep -e Befor | awk '{usage=($6 "" $5)} END {print usage}')
	usw..
	echo "$After $Befor" > /tmp/test.txt
done

Jedoch benötige ich noch eine kurze Info. Wenn die Länge einer Zeile abweichend ist, kann ich mit awk nicht arbeiten.
Ich müsste also die ausgegebene Zeile durchsuchen und alles was nach CN= bis zum nächsten Leerzeichen kommt in die Veriable schreiben. Oder geht das auch mit awk?

[joe2017]

Code: Alles auswählen

-----BEGIN CERTIFICATE-----
MIIGszCCBZugAwIBAgIQRF7gFMlJ3UO909a39zv1mzANBgkqhkiG9w0BAQsFADBf
...
gtFRKmvMIUIESh60F91+2AeUfCa/tBfOM+PDpsNNaZ+iHHaicAIw
-----END CERTIFICATE-----

Meine Zertifikate sehen ebenfalls so aus. Jedoch stehen vor dem Certifikat noch einige Informationen...

[tobo]

Das was du oben angegeben hast könnte man schon mal dahingehend verbessern, dass man es so schreibt:

Code: Alles auswählen

for f in /path/*.crt.pem
do
	After=$(cat "$f" | grep -e After | awk '{usage=($7 "" $6)} END {print usage}')    
	Befor=$(cat "$f" | grep -e Befor | awk '{usage=($6 "" $5)} END {print usage}')
	usw..
	echo "$After $Befor" >> /tmp/test.txt
done

[wanne]

Meine Zertifikate sehen ebenfalls so aus. Jedoch stehen vor dem Certifikat noch einige Informationen...

Das ist lediglich ein Kommentar, den der Ersteller da eingefügt hat. Der kann jedes mal anders aussehen und vor allem wenn es dumm läuft schlicht gar nichts mit dem Inhalt zu tun haben. Ich würde davon abraten den zu parsen.
So machst du das richtig, und lässt dir anzeigen was der wirkliche Inhalt des Zertifikates ist:

Code: Alles auswählen

openssl x509 -in /path/file.crt.pem -noout -subject -dates

Eventuell sillst du noch Subject Alternative Names haben:

Code: Alles auswählen

openssl x509 -in \*_news_google_com.crt -noout -subject -dates -ext subjectAltName

[joe2017]

Hallo wanne,

da hast du natürlich Recht! Auch wenn die Zertifikate von mir erstellt werden, ist dein Weg ganz sicher der bessere. VIELEN DANK
Jetzt hab ich soweit auch alles mit awk und sed hinbekommen und habe meine Veriablen für die Weiterverarbeitung befüllt.

Jedoch hab ich noch ein kleines Problem mit dem "for f in $FILES".
Das bearbeitet in einer "do" Schleife alle FILES in dem Verzeichnis (FILES=/path/to/*.crt.pem).
Gibt es für diese Schleife auch noch ein Auschlussverfahren? Z.b. Verarbeite alle Files außer die Filenamen mit dem Wort xyz und abc?

[eggy]

useless use of cat:
cat datei |grep irgendwas
grep irgendwas datei

useless use of grep:
grep irgendwas datei | awk '{print $0}'
awk '/irgendwas/{print $0;}' datei

In Deinen Fall lässt sich sogar das ganze Konstrukt auf nen awk-Einzeiler einstampen, awk kann nämlich auch mehrere Blöcke und mehrere Eingabedateien.
awk '/After/{a=$7 $6} /Befor/{b=$6 $5)} END{print a " " b}' *.pem
oder so ähnlich, ohne Testdaten macht das keinen Spass
willst Du die Dateien überpringen die nen bestimtem Muster folgen, gibts dafür FILENAME, würde dann zum Beispiel in etwas so aussehen
awk 'FILENAME=="sonicht"{nextfile} FILENAME=="auchnicht.txt"{nextfile} /After/{a=$7 $6} /Befor/{b=$6 $5)} END{print a " " b}' *.pem
das könnt man dann via || noch weiter verkürzen oder gleich entsprechende RegEx für die Dateinamen benutzen

[wanne]

Gibt es für diese Schleife auch noch ein Auschlussverfahren? Z.b. Verarbeite alle Files außer die Filenamen mit dem Wort xyz und abc?

Du kannst dein Globbing anpassen.
Oder halt ein If einbauen:

Code: Alles auswählen

for f in /path/*.crt.pem
  do if ! echo "$f" | grep -E (xyz|abc)
    then prog "$f"
  fi
done

[joe2017]

Ich wollte euch mal mein Ergebnis posten.

Vielleicht hat mal jemand eine ähnliche Anforderung.

Code: Alles auswählen

FILES=/path/to/*.crt.pem
for f in $FILES
do
  if [[ $f != *"chain"* ]]; then
      SUBJE=$(openssl x509 -in $f -noout -subject | sed 's/^.*OU = //' | sed -e 's/\..*$//')
      ALGOR=$(openssl x509 -in $f -noout -text | grep -m1 "Signature Algo" | sed 's/^.*Algorithm: //')
      BEGIN=$(echo "$(openssl x509 -in $f -noout -startdate | sed 's/^.*=//' | awk '{print $2 " " $1 " " $4}')" | awk '{print "date -d\""$1FS$2FS$3"\" +%Y-%m-%d"}' | bash)
      AFTER=$(echo "$(openssl x509 -in $f -noout -enddate | sed 's/^.*=//' | awk '{print $2 " " $1 " " $4}')" | awk '{print "date -d\""$1FS$2FS$3"\" +%Y-%m-%d"}' | bash)
      DIFF=$((($(date -d"$AFTER" +%s)-$(date +%s))/60/60/24))
      MYDATE=$(date +%Y%m%d-%H%M)
      echo "$SUBJE, $ALGOR, $BEGIN, $AFTER, $DIFF, $MYDATE" >> /path/file.txt
  fi
done

[wanne]

Ich wollte euch mal mein Ergebnis posten.

Vielleicht hat mal jemand eine ähnliche Anforderung.

Danke das ist nett.