String bereinigen

[rannseier]

Hallo zusammen,

In einem Bashscript habe ich verschiedene Strings, die bereinigt werden müssen.

Letztendlichen sollen nur übrig bleiben:
- Großbuchstaben A-Z
- Kleinbuchstaben a-z
- Ziffern 0-9
- Umlaute ÄÜÖäüöß (Idealerweise ersetzt durch Ae, Ue, Oe, ae, ue, oe, ss)
- Punkt .
- Bindestrich -
- Unterstrich _
- Raute #
- Komma ,

Alle andere soll durch ein Unterstrich ersetzt werden.

Beispiel:
unsauber="blä§$"
sauber=xyz($unsauber)
echo $sauber
blae__

Wie macht man das am ungeschicktesten?

[tobo]

So vielleicht:

Code: Alles auswählen

sed 's/Ü/Ue/g;s/Ä/Ae/g;s/Ö/Oe/g;s/ü/ue/g;s/ä/ae/g;s/ö/oe/g;s/ß/ss/g;s/[^A-Za-z0-9._#,-]/_/g'

Womöglich gibt's aber noch ungeschicktere Versuche...

EDIT:
Angewendet dann z.B. mit einer der drei Varianten:

Code: Alles auswählen

sauber=$(echo "$unsauber" | sed '...')
sauber=$(sed '...' <<<"$unsauber")
sauber=$(sed '...' <(echo "$unsauber"))

[JTH]

So vielleicht:

Code: Alles auswählen

sed 's/Ü/Ue/g;s/Ä/Ae/g;s/Ö/Oe/g;s/ü/ue/g;s/ä/ae/g;s/ö/oe/g;s/ß/ss/g;s/[^A-Za-z0-9._#,-]/_/g'

Womöglich gibt's aber noch ungeschicktere Versuche...

Was großartig anderes fällt mir da spontan auch nicht ein. Man könnt es höchstens ein klein wenig abkürzen, indem man erst ein „e“ hinter allen Umlauten ergänzt und dann y/…/…/ benutzt:

Code: Alles auswählen

sed -E 's/([äöü])/\1e/gi;y/ÄÖÜäöü/AOUaou/;s/ß/ss/g;s/[^A-Za-z0-9._#,-]/_/g' <<<"$dirty_str"

Und wenn man das große ß – das ẞ – auch beachten möchte

Code: Alles auswählen

sed -E 's/([äöü])/\1e/gi;s/([ẞß])/\1s/g;y/ÄÖÜäöüẞß/AOUaouSs/;s/[^A-Za-z0-9._#,-]/_/g' <<<"$dirty_str"

[tobo]

Und wenn man das große ß – das ẞ – auch beachten möchte

Da hatte ich sogar kurz dran gedacht - konnte mich allerdings nicht daran erinnern, wie ich es erzeugen kann...

[JTH]

Das wusst ich auch nicht, Copy & Paste aus der Wikipedia hat geholfen

Nachtrag: Ah, da ist sogar beschrieben, wie man das Zeichen eingeben kann. Das klappt hier:

Bei neueren Versionen der deutschen Standardtastenbelegung von X11, die von den meisten Linux-Distributionen und anderen unixoiden Systemen genutzt wird, ist die Feststelltaste (⇩) zu aktivieren und danach wird auf die ß-Taste gedrückt.

[rannseier]

Soviele Sonderzeichen wie ein großes ß brauch ich gar nicht. Führt eh nur bei unterschiedlichen Betriebssystemen zu Problemen.

Was ich aber noch vergessen hatte war ein Leerzeichen. Wie bekomme ich das da noch rein?

[JTH]

Was ich aber noch vergessen hatte war ein Leerzeichen. Wie bekomme ich das da noch rein?

Soll auch durch den Unterstrich ersetzt werden? Edit: Das soll erhalten bleiben? Dann kannst du’s einfach in der Character-Liste [^A-Za-z0-9._#,-] am Ende ergänzen:

Code: Alles auswählen

sed -E 's/([äöü])/\1e/gi;y/ÄÖÜäöü/AOUaou/;s/ß/ss/g;s/[^ A-Za-z0-9._#,-]/_/g'

Das einzelne Minus/der Bindestrich muss dort allerdings als letztes drin stehen.

[rannseier]

Nein, dass Leerzeichen soll erhalten bleiben.

[JTH]

Öhm, tja, hast du denn die vorherige Variante überhaupt mal ausprobiert? Was hier zum Beispiel (beachte die Leerzeichen) herauskommt?

Code: Alles auswählen

sed -E 's/([äöü])/\1e/gi;y/ÄÖÜäöü/AOUaou/;s/ß/ss/g;s/[^A-Za-z0-9._#,-]/_/g' <<<"Diäs ißt 1nä pöse, pöße #Züchenkettä...!"

[hikaru]

Bei neueren Versionen der deutschen Standardtastenbelegung von X11, die von den meisten Linux-Distributionen und anderen unixoiden Systemen genutzt wird, ist die Feststelltaste (⇩) zu aktivieren und danach wird auf die ß-Taste gedrückt.

Alternativ ist "ẞ" die Viertbelegung von "s".

Beim Ersetzen von ẞ, bzw. eigentlich generell großen Umlauten müsste man aber eigentlich kontextsensitiv vorgehen, denn gerade ẞ dürfte in erster Linie in Majuskelschriften benutzt werden, was zu unerwarteten Ergebnissen führt, wenn man den Kontext ignoriert:

Code: Alles auswählen

sed -E 's/([äöü])/\1e/gi;s/([ẞß])/\1s/g;y/ÄÖÜäöüẞß/AOUaouSs/;s/[^A-Za-z0-9._#,-]/_/g' <<<"ICH VERSPRACH MEINEN ELTERN, DAẞ WIR IN MAẞEN TRÄNKEN."
ICH_VERSPRACH_MEINEN_ELTERN,_DASs_WIR_IN_MASsEN_TRAeNKEN.

[JTH]

Öhm, tja, hast du denn die vorherige Variante überhaupt mal ausprobiert? Was hier zum Beispiel (beachte die Leerzeichen) herauskommt?

Äh, man ignoriere meinen vorigen Post

Nein, das Leerzeichen soll erhalten bleiben.

Jo, das musste ergänzt werden. In der Form, wie ichs oben getan hab. Nur meine Beschreibung war Unfug.

Code: Alles auswählen

sed -E 's/([äöü])/\1e/gi;y/ÄÖÜäöü/AOUaou/;s/ß/ss/g;s/[^ A-Za-z0-9._#,-]/_/g'

Damit bleibt das Leerzeichen natürlich erhalten und wird gerade nicht durch den Unterstrich ersetzt..

Beim Ersetzen von ẞ, bzw. eigentlich generell großen Umlauten müsste man aber eigentlich kontextsensitiv vorgehen, […]

Stimmt, da hast du recht. Das würd die Aufgabenstellung aber ja deutlich erweitern.

[MegaV0lt]

Ich würde so was in der Art ohne externe Programme versuchen:

Code: Alles auswählen

echo "${unsauber//[^a-zA-Z0-9]/_}"
bl___

Umlaute müssten vorher ersetzt werden

[schorsch_76]

Willkommen in der Unicodehölle

Leider ist es so das unter UTF-8 ein Codepoint mehr als ein Byte haben kann und auch die Konvertierungen tolower()/toupper() nicht immer reversiebel sind. Das macht es schwer bei deinen "Unsaubereren" Strings den Teil zu erkennen welcher wirklich gewünscht ist.

[1] http://icu-project.org/docs/papers/icu_ ... _iuc26.ppt
[2] https://de.wikipedia.org/wiki/Unicode
[3] https://de.wikipedia.org/wiki/Codepoint
[4] http://icu-project.org/docs/papers/icu_ ... _iuc19.ppt

[Meillo]

Ich sehe das nicht so schlimm: Es wird ein Versuch unternommen, Umlaute in Ersatzdarstellungen zu konvertieren und danach wirft man alles weg, was nicht einem kleinen ASCII-Subset entspricht. Das ist doch robust, wenn man nur zuverlaessige nicht aber perfekte Resultate braucht.