bester Packer

Warum Debian und/oder eine seiner Spielarten? Was muss ich vorher wissen? Wo geht es nach der Installation weiter?
Antworten
Benutzeravatar
Picknicker
Beiträge: 654
Registriert: 25.04.2003 16:28:02
Wohnort: Saarland

bester Packer

Beitrag von Picknicker » 28.01.2004 14:32:36

Hi

ich hab mir neulich mal per p2p alte Amiga Games aus TOSEC (http://www.tosec.info) gesaugt die per RAR gepackt waren.
Ein Archiv war ca 350MB groß , nach dem auspacken wollte ich es wieder Packen und stellte fest das mir der Linux RAR ein über 600MB großes Archiv generierte .. 8O auch tar bz gepackt war in der selben Liga :(

Jetzt zu meiner eigentlichen Frage , welcher Linux Packer komprimiert am besten .
cu
Picknicker

Benutzeravatar
pdreker
Beiträge: 8298
Registriert: 29.07.2002 21:53:30
Lizenz eigener Beiträge: MIT Lizenz
Wohnort: Nürnberg

Beitrag von pdreker » 28.01.2004 14:40:49

Das kommt sehr auf die Daten an. RAR soll angeblich bei Mediafiles (also Wav, MP3, MPG, AVI) der beste sein, allerdings halte ich das für Unsinn, da sich bei diesen Datein höchstens noch ein paar Prozent rausholen lassen, es lohnt sich also eigentlich nicht.

Bei generischen Daten packt BZip2 am besten, aber auch mit Abstand am langsamten. Beste "overall Performance" (Kompressionsgrad und Geschwindigkeit) bietet normalerweise gzip. Der ist auf modernen Rechnern eigentlich nur durch die Geschwindugkeit der Platte beim Entpacken begrenzt. Beim Einpacken ist er nicht ganz so schnell, aber immer noch sehr gut. Zip (WinZip, PKZip) ist der gleiche Algorithmus wie gzip, nur mit einem anderen Dateiformat, das mehrere Dateien in einem Archiv unterstützt. Aber dafür gibt es unter Linux ja Tar...

Alles andere ist in meinen Augen einfach exotisch. Besser wird es nur noch minimal...

Der Unterschied in dem RAR Archiv köpnnte sich dadurch erklären lassen, dass das Amiga RAR (welcher Amiga?) 16-bittig ist, während es unter Linux natürlich 32 Bittig ist. Ich zweifle stark an, dass das Problem auf den Algorithmus zurückzuführen ist, weil Faktor 2 schon *extrem* viel Unterschied ist...

Patrick
Definitely not a bot...
Jabber: pdreker@debianforum.de

tylerD
Beiträge: 4068
Registriert: 10.07.2002 17:34:13
Wohnort: Halle/Saale
Kontaktdaten:

Re: bester Packer

Beitrag von tylerD » 28.01.2004 14:40:53

Picknicker hat geschrieben: Jetzt zu meiner eigentlichen Frage , welcher Linux Packer komprimiert am besten .
Sowas läßt sich, wie vieles, nicht allgemein beantworten. Packer haben irgendeinen Allgorithmus, der auf irgendwas abgestimmt und optimiert sein muß. Es hängt also davon ab was du Packen willst und wie die Daten dann vorliegen. Das alleskönnende Supperding wird es einfach, wie so oft in der Informatik, nicht geben können. Man muß halt Kompromisse eingehen und Schwerpunkte legen.

cu

Benutzeravatar
eagle
Beiträge: 2282
Registriert: 05.11.2002 11:20:53
Wohnort: Berlin

Beitrag von eagle » 28.01.2004 14:42:23

Also die Unterschiede zwischen 350MB und 600MB finde ich schon heftig. Vielleicht kann man beim rar ja auch Komprimierungsstufen angeben wie bei gzip oder bzip2..
man gzip hat geschrieben:-# --fast --best
Regulate the speed of compression using the speci­
fied digit #, where -1 or --fast indicates the
fastest compression method (less compression) and
-9 or --best indicates the slowest compression
method (best compression). The default compression
level is -6 (that is, biased towards high compres­
sion at expense of speed).
man bzip2 hat geschrieben:-1 (or --fast) to -9 (or --best)
Set the block size to 100 k, 200 k .. 900 k when
compressing. Has no effect when decompressing.
See MEMORY MANAGEMENT below. The --fast and --best
aliases are primarily for GNU gzip compatibility.
In particular, --fast doesn't make things signifi­
cantly faster. And --best merely selects the
default behaviour.
eagle
"I love deadlines. I love the whooshing sound they make as they fly by." -- Douglas Adams

Benutzeravatar
Picknicker
Beiträge: 654
Registriert: 25.04.2003 16:28:02
Wohnort: Saarland

Beitrag von Picknicker » 28.01.2004 15:14:02

pdreker hat geschrieben: .......
Der Unterschied in dem RAR Archiv köpnnte sich dadurch erklären lassen, dass das Amiga RAR (welcher Amiga?) 16-bittig ist, während es unter Linux natürlich 32 Bittig ist. Ich zweifle stark an, dass das Problem auf den Algorithmus zurückzuführen ist, weil Faktor 2 schon *extrem* viel Unterschied ist...
......
Das Archiv wurde nicht mit einem Amiga gepackt. Ich vermute unter Windows .. Da die darin inthaltenen Dateien alle samt sogenannte Diskimages im .adf Format sind.

eagle hat geschrieben:Also die Unterschiede zwischen 350MB und 600MB finde ich schon heftig. Vielleicht kann man beim rar ja auch Komprimierungsstufen angeben wie bei gzip oder bzip2..
.....
Klar das hatte ich natürlich eingestellt -9 wars glaub ich .. Und da der Unterschied echt enorm war kam mir das schon komisch vor ..

Ich habe das original RAR damals entpackt und hatte zig .adf a 900.000 kb Files auf der Platte .. danach habe ich alle einzeln mit zip auf höchster Stufe gepackt .. und jetzt zeige ich euch mal den Unterschied :)

Also das original RAR File hatte : 324.1MB

ups so wie bekomem ich denn unter Linux die größe eines Verzeichnisses raus ? :oops:

EDIT: habs mit Konqueror :)

also original RAR 324.1MB
und das Verzeichniss mit den ADFs mit ZIP -9 gepackt = 675.2MB
Zuletzt geändert von Picknicker am 28.01.2004 15:15:48, insgesamt 1-mal geändert.
cu
Picknicker

tylerD
Beiträge: 4068
Registriert: 10.07.2002 17:34:13
Wohnort: Halle/Saale
Kontaktdaten:

Beitrag von tylerD » 28.01.2004 15:15:32

Picknicker hat geschrieben:
ups so wie bekomem ich denn unter Linux die größe eines Verzeichnisses raus ? :oops:

Code: Alles auswählen

du -sh <verzeichnisspfad>
cu

Benutzeravatar
hupfdule
Beiträge: 1864
Registriert: 09.12.2002 15:04:37
Wohnort: Berlin
Kontaktdaten:

Beitrag von hupfdule » 28.01.2004 22:51:48

Picknicker hat geschrieben:Ich habe das original RAR damals entpackt und hatte zig .adf a 900.000 kb Files auf der Platte .. danach habe ich alle einzeln mit zip auf höchster Stufe gepackt
Einzeln? Dann ist es verständlich (auch wenn der Unterschied doch ein wenig zu extrem ist). Denn Packer wie rar oder gzip packen dann am effizientesten, wenn sie nur eine Datei packen. Deswegen packt man viele Dateien ja in der Regel auch in ein tar. Rar macht das intern sehr ähnlich.

Benutzeravatar
Picknicker
Beiträge: 654
Registriert: 25.04.2003 16:28:02
Wohnort: Saarland

Beitrag von Picknicker » 29.01.2004 09:51:54

Es ist fast kein Unterschied ob ich die Files einzeln als ZIP oder alle zusammen wie das "original" packte ..

Aber ich kanns ja nochmal versuchen .. Ihr werden sehen es ist unglaublich was da für unterschiede sind .
cu
Picknicker

Benutzeravatar
Picknicker
Beiträge: 654
Registriert: 25.04.2003 16:28:02
Wohnort: Saarland

Beitrag von Picknicker » 29.01.2004 18:17:43

So jungs ;)

hab mich mal dran gesetzt um weiterer Zahlen & Fakten zu liefern 8)

Also wir erinnern uns ;)

original RAR File das ich "gesaugt" habe : 324.1MB
Dieses Entpackt : 1.3GB !!!
Die einzelnen Files in Zips gepackt : 675.2MB

Und jetzt habe ich alle reinen .adf files nochmal zu nem Rar gepackt : 656.5MB
(rar a -m5 -mdG)

Ist doch wohl der Hammer .. oder woher nimmt das Original diesen Kompressionsgrad her ?

Noch di e Infozeile von RAR (Files/ Bytes ungepackt/ Bytes gepackt/Kompressionsgrad)
1480 / 1333084070 / 656369218 / 49%


EDIT:
So hab noch nen test mit " tar -cjvf" nachgeschoben.
693475640 Byte ist hier das Achiv groß.. Gutes Stück größer und hat ne halbe Ewigkeit gedauert :(
cu
Picknicker

Benutzeravatar
pdreker
Beiträge: 8298
Registriert: 29.07.2002 21:53:30
Lizenz eigener Beiträge: MIT Lizenz
Wohnort: Nürnberg

Beitrag von pdreker » 30.01.2004 01:59:41

Ha! Ich hab's rausgefunden... ;-)

RAR hat ein Feature, das sich "solid archives" nennt. Dieses Feature treibt die Kompressionsraten in die Höhe, wenn man viele ähnliche Dateien packt. Da die ganzen Disk Images sehr viel ähnliche Strukturen (Filesystem) enthalten, kann RAR einfach die erste Datei normal packen, und speichert dann nur noch die Differenzen der anderen Dateien dazu (nochmal gepackt). *Das* erklärt allerdings einen Faktor von 2 in der Kompression, ist aber auch ein extrem spezieller Hack für eine sehr spezielle Art von Aufgaben... Geht auch nur in der bezahlten Version von RAR, wenn ich das richtig gelesen habe...

Für Linux kann man sowas z.B. hier finden. Ich weiss zwar nicht inwiefern, das extrem langsam ist (Da steht was von "Brute Force optimization"), aber wer lustig ist kann's ja 'mal testen...

Patrick
[/url]
Definitely not a bot...
Jabber: pdreker@debianforum.de

Benutzeravatar
Picknicker
Beiträge: 654
Registriert: 25.04.2003 16:28:02
Wohnort: Saarland

Beitrag von Picknicker » 30.01.2004 08:53:02

Wir Saarländer müssen halt zusammenhalten ;)

Also ich hab das teil mal compiliert .. aber beim ausführen meckert er wegen einer fehlenden Lib.

Code: Alles auswählen

./optrar: error while loading shared libraries: libargh.so: cannot open shared object file: No such file or directory
apt-cache sagt nix über argh 8O
cu
Picknicker

Benutzeravatar
eagle
Beiträge: 2282
Registriert: 05.11.2002 11:20:53
Wohnort: Berlin

Beitrag von eagle » 30.01.2004 09:10:36

Das Paket libargh gibt es noch nicht bei Debian. Schaue mal unter [1] nach da gibt es den Quellcode.

eagle

[1] http://bisqwit.iki.fi/source/libargh.html
"I love deadlines. I love the whooshing sound they make as they fly by." -- Douglas Adams

Benutzeravatar
Picknicker
Beiträge: 654
Registriert: 25.04.2003 16:28:02
Wohnort: Saarland

Beitrag von Picknicker » 30.01.2004 09:22:20

Hey cool so bin am Packen :) test Beginn: 9:22
cu
Picknicker

FlashBuster
Beiträge: 47
Registriert: 12.01.2004 07:26:27

Beitrag von FlashBuster » 30.01.2004 10:25:15

gibt es rar nicht für windows und für linux (vom gleichen hersteller)?
Ich denke mal nicht daß da ein Unterschied in den Programmen steckt, höchstens das mit dem bezahlten rar (gibts das auch für Linux? ;) ) wär ne gute Erklärung..

Hätt mich aber auch gewundert wenn die Community nicht schon ne freie Variante mit diesem tollen Feature geliefert hätte (optrar) ;-)

MfG, Buster

Benutzeravatar
Picknicker
Beiträge: 654
Registriert: 25.04.2003 16:28:02
Wohnort: Saarland

Beitrag von Picknicker » 30.01.2004 11:58:28

Tjo ich hab dann mal abgebrochen .. :( nach über 1.5 Stunden war er imme noch nicht über die 1% Hürde hinaus 8O 0.08% hehe
Ist ja extrem zäh der Bursche ..

Schade das Linux in der Beziehung Win nicht das Wasser reichen kann :(
cu
Picknicker

FlashBuster
Beiträge: 47
Registriert: 12.01.2004 07:26:27

Beitrag von FlashBuster » 30.01.2004 12:10:25

laut rar --help kann das linuxrar aber auch "solid archives"...
Switches:
s[<N>,v[-],e] Create solid archive

MfG, Buster

Benutzeravatar
Picknicker
Beiträge: 654
Registriert: 25.04.2003 16:28:02
Wohnort: Saarland

Beitrag von Picknicker » 30.01.2004 12:34:38

8O stimmt .. oha .. gleich mal testen.
cu
Picknicker

Benutzeravatar
eagle
Beiträge: 2282
Registriert: 05.11.2002 11:20:53
Wohnort: Berlin

Beitrag von eagle » 30.01.2004 12:44:01

Picknicker hat geschrieben:..nach über 1.5 Stunden war er imme noch nicht über die 1% Hürde hinaus 8O 0.08% hehe..

Schade das Linux in der Beziehung Win nicht das Wasser reichen kann :(
Hast du denn das ganze auch mal unter Windows ausprobiert, um einen Vergleich zu haben? Ist im übersetzten Programm vielleicht auch noch der Debugcode drin?

eagle
"I love deadlines. I love the whooshing sound they make as they fly by." -- Douglas Adams

Benutzeravatar
Picknicker
Beiträge: 654
Registriert: 25.04.2003 16:28:02
Wohnort: Saarland

Beitrag von Picknicker » 30.01.2004 15:14:47

Du meinst das optrar unter Win ? Wie soll ich das dort testen ? ich hab nur den Linux Quellcode.

Hab aber mal Solid Archives mit Linux RAR probiert ..

Nuja auch nicht der Bringer:
767 MB mit "rar a -m5 -mdG -sv-"
355 MB unter Windows mit WinRAR
cu
Picknicker

Benutzeravatar
eagle
Beiträge: 2282
Registriert: 05.11.2002 11:20:53
Wohnort: Berlin

Beitrag von eagle » 30.01.2004 15:22:39

Picknicker hat geschrieben:355 MB unter Windows mit WinRAR
Hast das unter Windows selbst erstellt?

eagle
"I love deadlines. I love the whooshing sound they make as they fly by." -- Douglas Adams

Benutzeravatar
Picknicker
Beiträge: 654
Registriert: 25.04.2003 16:28:02
Wohnort: Saarland

Beitrag von Picknicker » 30.01.2004 15:32:16

Jepp dieses ja .. ich hab mich dann doch mal auf die Niederen des Windows System begeben..
cu
Picknicker

Benutzeravatar
eagle
Beiträge: 2282
Registriert: 05.11.2002 11:20:53
Wohnort: Berlin

Beitrag von eagle » 30.01.2004 15:40:25

Picknicker hat geschrieben:Jepp dieses ja .. ich hab mich dann doch mal auf die Niederen des Windows System begeben..
Kann jedem mal passieren :wink:. Trotzdem sind die Werte natürlich vernichtend und möglicherweise wird die Linuxversion von rar nicht besonders gepflegt.

Interessant sind jetzt mal Tests mit anderen Daten. Einfach mal beliebige Daten mit WinRar / Linux rar und bzip2 packen und vergleichen :roll:. Vielleicht hängen die Unterschiede ja tatsächlich von der Art der zupackenden Daten ab.

eagle
"I love deadlines. I love the whooshing sound they make as they fly by." -- Douglas Adams

mastermind_the_real_one
Beiträge: 644
Registriert: 16.12.2003 15:44:51

Beitrag von mastermind_the_real_one » 30.01.2004 15:45:13

Benutzt Du unter Linux dieselbe rar-Version wie unter Win?

greetz
mastermind

Benutzeravatar
Picknicker
Beiträge: 654
Registriert: 25.04.2003 16:28:02
Wohnort: Saarland

Beitrag von Picknicker » 31.01.2004 09:51:12

pdreker hat geschrieben:Ha! Ich hab's rausgefunden... ;-)

RAR hat ein Feature, das sich "solid archives" nennt. Dieses Feature treibt die Kompressionsraten in die Höhe, wenn man viele ähnliche Dateien packt. Da die ganzen Disk Images sehr viel ähnliche Strukturen (Filesystem) enthalten, kann RAR einfach die erste Datei normal packen, und speichert dann nur noch die Differenzen der anderen Dateien dazu (nochmal gepackt).
........
Nun ich denke das genau das mein Fall ist .. wenn ich andere Dateien Packe werden sie beide wohl recht nah zusammen liegen liegen.

Also unter Linux hab ich die 3.20 unter Win .. auch ne 3er.
cu
Picknicker

Antworten