unbekannte (leere/weiße) zeichen anzeigen und entfernen

[michaa7]

Welches tool / welcher editor ist so userfreundlich, bei weißen leerzeichen, zeilenumbrüchen, wagenrückläufen, zeilenanfängen, zeilenende, und was weiß ich noch alles möglich ist, hilfestellung zu geben WAS man überhaupt entfernen muß. Ich weiß nicht wie ich das herausfinden kann.

Ich habe hier ein dokument.html, welches ich editieren muß. Tatsächlich sind etwa 150 zeilen genutzt (d.h. es steht dort etwas lesbares darinnen), dennoch besteht das dokument aus ca 50.000 zeilen ( diese zeilen bestehen, bis auf extrem wenige zeilenanfänge mit folgendem code, nicht aus leerzeichen, der cursor bleibt immer am zeilenanfang).
Nur habe keinen plan, was ich (mit kate) überhaupt entfernen muß, damit das überhaupt mal vernünftig scrollbar wird. (sprich: damit alle komplett leeren zeilen verschwinden) Das hier hochgelobte (und auch wirklich brauchbare) geany bietet leider auch nichts, womit der nichtfachman überhaupt erst mal sehen könnte, woraus das weiße/leere nichts vor dem man sitz den besteht.

Welches programm bietet entsprechende hilfe?

[H4kk3r]

Versuche es doch mal mit anderen Editoren: Emacs + vi. Die Kodierung solltest du auch beachten.

Code: Alles auswählen

man file

[garibaldi]

http://www.debianforum.de/forum/viewtop ... 432#423432
SCNR

Gruß, garibaldi

[fuzzy]

Hallo michaa7,

mit vim und z.B. dieser ~/.vimrc

Code: Alles auswählen

fuzzy@sarge:~$ cat ~/.vimrc

  syn on
  set tabstop=4
  set ls=2
" set printoptions=syntax:n,number:y
" set printfont=courier:h8
  set backspace=indent,eol,start
  set listchars=tab:»·,trail:·,eol:$,precedes:«,extends:»
" set list

  set noautoindent
  set nocompatible
  set noexpandtab
" TABs zu Leerzeichen,
" :set expandtab
" :retab

  set ruler
  set showcmd
  set showmode
  set title
  set report=0

nach Eingabe von vim /pfad/zum/dokument.html und
:set list
kannst Du Dir die Leerzeichen " .......... ", Tabs "»···»···»···»···»···»···»···" und Zeilenendugen " $ " ansehen.
:set nolist
blendet das wieder aus.

...klar emacs hat dafür bestimmt auch eine Option, aber ich kann zu diesem "All you need is GNU Emacs"-Lied nicht so einstimmen

Nachdem man weiss wo die ungewünschten Zeichen sind, könnte auch "tr" oder "sed" helfen.

Gruß fuzzy

[michaa7]

ok, die antworten sind ja nett gemeint, aber ich habe da große zweifel, ob mich das weiterbringt ( von der tatsache abgesehen, dass ich natürlich unter userfreundlich ehr grafhische editoren verstehe). Ich würde es mir antuen vi oder vim auszuprobieren, wenn mich nicht fuzzys beispiel grundsätzlich zweifeln lassen würde:
Leerzeichen sind es nicht, sonst würde der cursor in quanta oder kate nicht von zeilen anfung zu zeilen anfang springen, aus dem gleichen grund sind das wohl auch keine tabs. Und in kate habe ich beriets nach "$" gesucht, konnte nichts finden.

Mich regt vor allem auf auf kein progger offensichtlich die notwendigkeit sieht, dem user auf wunsch unsichtbare zeichen schlichtweg anzuzeigen. Ich kann überhaupt nicht nachvollziehen, dass das nicht das selbstverständlichste für ALLE existierenden editoren ist. Ich könnte mich jetzt in rage schreiben. Dies NICHT anzuzeigen ist einfach der blanke unsinn.
Gibt es graphisch HEX editoren, die dabei hilfreich wären? Das kann doch nicht soooooooooooo ein akt sein, himmel nochmal

//Edit, nochmal anders gefragt:
Wonach muß ich (z.b) mit kate suchen, falls die datei auf einem windows pc erstellt wurde und dem nach eine windows zeilenschaltung codiert hat. In diesem fall würde ich mir doch nen wolf suchen falls ich "/$/$" (kate nomenklatur für zwei aufeinanderfolgende zeilenschaltungen,) suche.

[gms]

Gibt es graphisch HEX editoren, die dabei hilfreich wären? Das kann doch nicht soooooooooooo ein akt sein, himmel nochmal

ja HEX Editoren können auch "unsichtbare" Zeichen darstellen und graphische Hexeditoren gibt es auch, z.B ghex2

Gruß
gms

[fuzzy]

Gibt es graphisch HEX editoren, die dabei hilfreich wären? Das kann doch nicht soooooooooooo ein akt sein, himmel nochmal

...also das soll jetzt nicht nerven, aber vim bzw. gvim sollte das anzeigen können...
Mit gvim kommst Du auch per Maus an die gewünschte Stelle.

http://www.infodrom.north.de/~matthi/Ed ... index.html
-> 10. 'ga' Befehl zeigt den Ascii-Wert , Hex- und Octal-Wert von dem unter dem Cursor befindlichen Text

...oder habe ich das Problem nicht komplett verstanden?

Gruß fuzzy

[gms]

habe noch einen Nachtrag, weil ich deine "Rage" nicht ganz nachvollziehen konnte

Ich habe mir dieses "Dokument" erzeugt

Code: Alles auswählen

gms@gms1:~$ perl -e 'for($i=1; $i<32; $i++) { print chr($i),"\n"; }' >x.txt
gms@gms1:~$ perl -e 'for($i=129; $i<256; $i++) { print chr($i),"\n"; }' >>x.txt

und dann mit "gedit" geöffnet
Die einzigen Zeichen die "unsichtbar" waren, sind 09,0A und 0D, die anderen Zeichen wurden entweder in ihrer üblichen Art dargestellt, oder als kleines Kästchen mit dem ASCII Code drinnen.

Gruß
gms

[michaa7]

Danke gms, vllt hast du auch noch auf die eben (zu spät) gestellte frage ( EDIT oben) ne antwort?

/Edit, nochmal anders gefragt:
Wonach muß ich (z.b) mit kate suchen, falls die datei auf einem windows pc erstellt wurde und dem nach eine windows zeilenschaltung codiert hat. In diesem fall würde ich mir doch nen wolf suchen falls ich "/$/$" (kate nomenklatur für zwei aufeinanderfolgende zeilenschaltungen,) suche.

Aber ghex2 werde ich mal testen

[gms]

Dos/Windows Dateien haben 0D und 0A als Zeilenende, Unix Dateien haben nur 0A als Zeilenende. Du mußt also alle 0D Zeichen entfernen. Dafür gibt es aber auch ein Tool mit der Bezeichnung "dos2unix".
Dieses macht aber im Prinzip auch nichts anderes als ein "tr -d "\r" < datei.msdos > datei.unix"

Gruß
gms

[fuzzy]

...das würde doch auch "file DATEI" anzeigen.... in dieser Richtung verstehe ich den Tipp von H4kk3r.

bzw.
http://www.michael-prokop.at/computer/l ... l#dos2unix

Gruß fuzzy

[michaa7]

g2hex werde ich wohl nochmal verschieben, das müßt man ja selbst kompilieren, gvim bring mich ja schon etwas weiter. "ga" zeigt mir dabei an, dass die zeichen, um, die es geht "NUL" zeichen sind.

Hm, jetzt ist natürlich die nächste frage: wonach muß ich bei suchen/ersetzen suchen?

Habe "/n" versucht und "/NUL"


Danke für eure geduld!

[gms]

g2hex werde ich wohl nochmal verschieben, das müßt man ja selbst kompilieren

Du brauchst eigentlich nur das Paket "ghex" installieren:

Code: Alles auswählen

gms@gms1:~$ dlocate ghex2
ghex: /usr/bin/ghex2
gms@gms1:~$ apt-show-versions -a ghex
ghex    2.8.2-3 install ok installed
ghex    2.8.1-2 stable
ghex    2.8.2-3 testing
ghex    2.8.2-3 unstable
ghex/testing uptodate 2.8.2-3

[fuzzy]

Hallo michaa7,

wenn ich das richtig sehe ist das eine Leerzeile.
...falls Du es noch nicht gemacht hast, kopiere Dir die Datei lieber nochmal an eine sichere Stelle, damit im Zweifelsfalle nix wichtiges schiefgeht

Bei einer Testdatei bei mir war die "NUL" eine Leerzeile, alle Leerzeilen konnte ich mit

Code: Alles auswählen

:g/^$/d

löschen

Klappt das bei Dir wie gewünscht?

Linktipps:
http://www.gentoo.de/doc/de/vi-guide.xml
http://www.nitidelo.de/vim.php

Gruß fuzzy

[michaa7]

@ gms

wg. ghex und ghex2

es gibt ein paket namens ghex2
http://pdb.finkproject.org/pdb/package.php/ghex2
dieses müßte man selbst kompilieren, habe jedoch nicht weiter danach geschaut.
Das hatte ich gefunden, weil du von ghex2 schriebst. Wieder mal ein prog, das anders gestartet wird als es heißt.
Habe nun also ghex installiert, hat sich gelohnt, denn mit ghex(2) kam in nun zurecht, hat mehrere minuten gerödelt bis er abertausende "0A 0D" gefunden und mit nichts ersetzt hatte ( ich habe zunächst zur sicherheit jedoch nach "0A 0D 0A 0D 0A 0D" gesucht, damit nicht vllt notwendige leerwasweißich gelöscht würden) Nun ist das ja übersichtlich.

Danke, das ist wirklich eine große hilfe gewesen.

@ fuzzy

Dir auch danke, gvim war ja schon mal ein schritt in die richtige richtung, aber irgendwie wurde mir nicht klar, warum dies programm nicht dinge, die im HEX editor gelöscht/ersetzt werden sollten nicht auch auch aus dem ascii und offsett bereich löscht. Diese funktion bleib mir etwas unverständlich, wenngleich es höchst interessant war, dass das überhaupt ging.

Wie auch immer, mein problem mit nicht sichtbaren zeichen ist dank ghex(2) für jetzt und auch die zukunft gelöst. Warum da normale editoren so sperrig sind bleibt mir zwar weiterhin ein rätsel, aber sei's drum, mit diesem workaround kann ich gut leben.

Danke nochmal, meine rage hat sich gelegt!

Schönes WE