Perl: Bytes einer Binär-Datei rausgrabbeln

[mistersixt]

Moin moin,

ich habe hier eine Binär-Datei mit ein paar 1000 Nachrichten, die immer genau 108 Bytes lang sind. Die 108 Byte beinhalten Datenfelder immer gleicher Länge. Wie kann ich jetzt in Perl beispielsweise die Bytes 70 bis 77 einer Variablen zuweisen? Mit split komme ich nicht weiter, soll es substr sein oder gibt es noch eine bessere Methode?


Danke und Gruss, mistersixt

PS: Nächste Frage: wie lese ich eine Binär-Datei ein? Wenn ich die mit while (<>) einlese, erkennt er mir ein paar 1000 Zeilen(!), die Anzahl ist aber unterschiedlich zu der Anzahl der 108-Byte langen Nachrichten .

[geier369]

Hallo,

glaube read() könnte dir helfen,
liest entweder chars oder Bytes ein.

siehe perldoc -f read

read( DATEIHANDLE, VAR, LENGTH,OFFSET )
Also in etwa:

open(BINDAT, "<:raw", $path) or die "fuck it!";
$offset = 69;
while( read( BINDAT, $var, 7, $offset )){
do something with $var## die Zeile ist kein Perlcode :)
$offset += 108;
}
close(BINDAT);
Viel Spass beim perlen

[mistersixt]

Hossa, getestet und sieht sehr vielversprechend aus, danke!

Gruss, mistersixt.

[mistersixt]

Mmmh, habe hier doch einen komischen Effekt, erstmal der Code:

Code: Alles auswählen

#!/usr/bin/perl
#
$DATEI = "/pub/message.dat";

open(BINDAT, "<:raw", $DATEI) or die "Datei oeffnen geht nicht";
$OFFSET = 67;
while( read( BINDAT, $DATENSATZ, 11, $OFFSET )){  
        print $DATENSATZ;
        $OFFSET += 108;
}
close(BINDAT); 

Ab Byte 68 gibt es immer 11 ASCII-Zeichen. Wenn ich das nun laufen lassen (./scan_mls_log.pl | less) bekomme ich ein wildes Durcheinander angezeigt, lenke ich die Ausgabe in eine Datei um, wächst diese ins Unendliche an (sprich, da scheint was zu loopen). Jemand eine Idee, was ich falsch mache?

Danke, mistersixt.

[perls255]

Hi,

<Antwort nach grobem Überflilegen des Themas ohne genaue Auseinandersetzung damit>

Wenn Du in Perl mit Binärdateien zu tun hast, schau Dir auf jeden Fall die Funktionen "pack" und "unpack" an. Ist anfangs etwas gewöhnungsbedürftig, aber genau für Binär-Daten gemacht.

HTH

Stephan

[geier369]

Probier mal so,
Könnte sein das du ne Abruchbedingung brauchst in der Schleife:

#!/usr/bin/perl
#
$DATEI = "/pub/message.dat";

open(BINDAT, "<:raw", $DATEI) or die "Datei oeffnen geht nicht";
open(OUTPUT,">> logfile.dat) or die "bla";
$size = (stat($DATEI))[7]; Dateigroesse
$OFFSET = 67;
while( read( BINDAT, $DATENSATZ, 11, $OFFSET )){
print OUTPUT $DATENSATZ . "\n";
$DATENSATZ = "";
$OFFSET += 108;
if( $OFFSET > $size ){ last }
}
close(BINDAT);


Ne andere Sache ist, wenn du ASCII rausfiltern willst,
kannst du mit dem shellprog strings eventuell die Binärdaten
vorher entfernen
$out = `strings $DATEI`;

[mistersixt]

Hallo geier,

der Offset scheint nicht zu funktionieren, ich habe jetzt mal ff. gemacht:

Code: Alles auswählen

#!/usr/bin/perl
#
$DATEI = "/tmp/message.dat";
open(BINDAT, "< $DATEI") or die "Datei oeffnen geht nicht"; 
binmode(BINDAT);
$OFFSET = 68;

$hossa = read( BINDAT, $DATENSATZ, 11, $OFFSET );

foreach (split(//, $DATENSATZ)) {
        printf("%02x ", ord($_));
}
print "\n";
close(BINDAT);

Hier bekomme ich als Ausgabe 68 mal "00" und anschliessend die allerersten(!) 11 Byte der Datei (anstatt 11 Byte ab Byte Position 68 ):

Code: Alles auswählen

00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 1f 00 00 00 00 00 03 30 35 3a

ISprich, "00 1f 00 00 00 00 00 03 30 35 3a" sind die ersten 11 Byte und nicht die 11 Byte ab Position 68 . In $hossa steht 11.

Was ist da faul?

[geier369]

hmmm,

also die Rueckgabe von read ist die Anzahl der gelesenen Bytes,
da is 11 wohl erstmal korrekt.

Mit OFFSET ist allerdings echt bloed:
Hab gerade gelesen dass sich OFFSET auf die Position inder
generierten Variablen und nicht Auf den Dateihandle beziehet.

Vielleicht sollte man die ganze Datei in eine Variable mit OFFSET 0
und LENGTH=Dateigroesse schreiben,

die Variable sollte dann die gesamte Datei in einem String enthalten,
der dann mit substr geparst werden kann.

Naja, nich ganz so schick wie ich dachte

[mistersixt]

Ok, ich mache mich mal an den Tip von perls255 und versuche mich mal an unpack ...

Gruss, mistersixt.

[geier369]

Hier vielleicht noch ein Versuch

$size = (stat($DATEI))[7];

read( BINDAT, $DATENSATZ, $size, 0 );
foreach (split(//, $DATENSATZ)) {
$readable .= printf("%02x ", ord($_));
}
$end = 3x67;
while( $end < (3x$size) ){ #hex und leerzeichen
$out = substr( $readable, $end, 3x11);
# $out von hex nach ASCII;
print $out . "\n";
$end += 3x67;
}

PS: poste mal die Loesung, ist ein interessantes Ding

[mistersixt]

Code: Alles auswählen

#!/usr/bin/perl
#

$DATEI = "/tmp/message.dat";

open(BINDAT, "< $DATEI") or die "Datei oeffnen geht nicht"; 
binmode(BINDAT);
$size = (stat($DATEI))[7];

print $size,"\n";

read( BINDAT, $DATENSATZ, $size, 0 ); 
close(BINDAT);

$schleife = 0;  
while( $schleife < $size ){    
        print "\$schleife = $schleife\n";
        $trader  = substr( $DATENSATZ, $schleife + 75, 11);
        $is_call = substr( $DATENSATZ, $schleife + 74,  1);
        print $trader . "\n";
        printf ("%02x\n", ord($is_call));
        $schleife += 108;
}          

So gehts. Als Beispiel grabbel ich mir erstmal direkt einen ASCII-String raus ($trader) und anschliessend ein Flag ($is_call).

Danke für die Tips geier,

Gruss, mistersixt.

[Joghurt]

Auch ich schließe mich an: nimm unpack! Genau dafür ist es da!

[godsmacker]

Etwas ab vom Thema, aber zum auslesen immer wieder gleich langer Daten kann man uebrigens sehr gut die Spezialvariable

Code: Alles auswählen

$/

oder auch

Code: Alles auswählen

$RS

bzw.

Code: Alles auswählen

$INPUT_RECORD_SEPARATOR

, wenn man das English Modul verwendet, benutzen.

Code: Alles auswählen

{
    local $/ = \108;
    open my $fh, $myfile or die $!;
    while (my $msg = <$fh>) {
        ...;
    }
}

Dabei werden immer genau 108 bytes lange Strings in $msg gelesen. Damit spart man sich das haessliche herumspielen mit read.

-Florian

[mistersixt]

Das hört sich auch interessant an, werde ich das nächste Mal probieren (oder halt unpack, das sah mir aber spontan nicht sehr trivial aus).

Gruss, mistersixt.