alternative zu zip

[saxandl]

Hi! Ich suche nach einer Alternative zu "zip", die möglichst wenig CPU-Last erzeugt.

[whisper]

Beim packen?

Code: Alles auswählen

gzip -1

Ansonsten mehr Info!

[chaisen]

Schau dir mal lzop an.

[saxandl]

@whisper

ja, beim packen. hab jetzt mal 7z gecheckt, aber auch da CPU 100%+

der Sicherungsprozess läuft zeitgleich mit dem produktiven System und sollte dieses so wenig wie möglich belasten ...

[Cae]

Auch cat (komprimiert ueberhaupt nicht) wird "100% CPU-Last" erzeugen, sofern der I/O schnell genug ist.

Was du suchst, ist nice und ggf. ionice. Ein entsprechend gestartetes Programm A kann zwar ebenfalls "100% CPU-Last" verursachen, aber nur solange keine andere Anwendung B die CPU benoetigt. Sobald der erste normale Prozess B etwas rechnen muss, werden seinen Berechnungen vor dem geniceten Prozess A abgehandelt (vereinfacht ausgedrueckt).

Um noch eine Antwort auf den Titel zu geben: gzip (multithreaded: pigz), bzip2 (multithreaded: pbzip2), xz-utils (multithreaded: pxz). Die multithreaded-Implementationen komprimieren auf einem System mit n CPUs etwa n mal schneller.

Gruss Cae

[whisper]

@whisper

ja, beim packen. hab jetzt mal 7z gecheckt, aber auch da CPU 100%+

der Sicherungsprozess läuft zeitgleich mit dem produktiven System und sollte dieses so wenig wie möglich belasten ...

Wenn das im Erst Posting gestanden hätte, wäre meine Antwort identisch zu cae's Post gewesen, wahrscheinlich aber nicht so ausführlich

[AndreK]

Auch cat (komprimiert ueberhaupt nicht) wird "100% CPU-Last" erzeugen, sofern der I/O schnell genug ist.

Was du suchst, ist nice und ggf. ionice. Ein entsprechend gestartetes Programm A kann zwar ebenfalls "100% CPU-Last" verursachen, aber nur solange keine andere Anwendung B die CPU benoetigt. Sobald der erste normale Prozess B etwas rechnen muss, werden seinen Berechnungen vor dem geniceten Prozess A abgehandelt (vereinfacht ausgedrueckt).

Um noch eine Antwort auf den Titel zu geben: gzip (multithreaded: pigz), bzip2 (multithreaded: pbzip2), xz-utils (multithreaded: pxz). Die multithreaded-Implementationen komprimieren auf einem System mit n CPUs etwa n mal schneller.

Gruss Cae

Ich hab davon noch nie gehört. Nutze amd64. Das heisst, wenn ich nicht bzip2 nehme, sondern pbzip2, dann wird die Komprimierung schneller? pbzip2 ist identisch mit bzip2?

[peschmae]

Ich hab davon noch nie gehört. Nutze amd64. Das heisst, wenn ich nicht bzip2 nehme, sondern pbzip2, dann wird die Komprimierung schneller? pbzip2 ist identisch mit bzip2?

Wenn du mehrere CPUs hast wird die Komprimierung mit pbzip2 schneller, ja. Ansonsten ist das Resultat genau gleich (sogar gleiche Checksume, als ich das mal prüfte). Kann dann also auch wieder problemlos mit dem "normalen" bunzip2 entpackt werden...

MfG Peschmä

[Colttt]

Es gab ein programm wo man das einstellen konnte wieviel cpupower es haben darf. Ich flaub das war bei 7zip..

Ansonsten schau die mal das programm cpulimit an, das macht genau das was du suchst für jedes Programm

[niesommer]

Hallo,
Ich möchte mich hier mal ein klinken, mit einer frage zu diesem Thema.
Von pbzip2 habe ich gerade hier gelesen und mal in der Paketverwaltung nach gesehen und die dazu gehörige Beschreibung gelesen.
Scheint sehr interessant zu sein. Da ich bisher bzip2 verwendet habe bietet sich pbzip2 ja förmlich an. Allerdings habe ich das immer im Zusammenhang mit tar benutzt Schalter j.
Mein frage wäre dazu ob es eine Möglichkeit gibt pbzip2 anstelle von bzip2 mit tar zu verwenden. die man-page von tar gibt das zu aber nichts her. Meine erste Idee wäre jetzt es erst mal mit einem alias zu versuchen, aber ich weiß nicht wie tar bzip2 aufruft und ob da ein alias ausreichend ist. Ziel sollte sein das ich weiterhin alles mit tar packen und auch entpacken kann (tar cjvf bzw tar xjvf).
Wie würdet ihr das angehen?

Gruß niesommer

[Cae]

Eine globale und Shell-unabhaengige Loesung waere mit

Code: Alles auswählen

# cd /usr/local/bin/
# ln -s ../../bin/pbzip2 bzip2

getan. Soweit ich weiss, soll pbzip2 Argumente-kompatibel zu bzip2 sein, daher sollte dies kein Problem sein.

Speziell fuer Tar koennte man "-I, --use-compress-program PROG" verwenden und pbzip2 angegeben. Natuerlich kann man sich dann

Code: Alles auswählen

alias tar='tar -I pbzip2'

als Alias setzen. Das ist vermutlich die bessere Alternative zum Symlink oben.

Gruss Cae

[niesommer]

Eine globale und Shell-unabhaengige Loesung waere mit

Code: Alles auswählen

# cd /usr/local/bin/
# ln -s ../../bin/pbzip2 bzip2

getan. Soweit ich weiss, soll pbzip2 Argumente-kompatibel zu bzip2 sein, daher sollte dies kein Problem sein.

Speziell fuer Tar koennte man "-I, --use-compress-program PROG" verwenden und pbzip2 angegeben. Natuerlich kann man sich dann

Code: Alles auswählen

alias tar='tar -I pbzip2'

als Alias setzen. Das ist vermutlich die bessere Alternative zum Symlink oben.

Gruss Cae

Coole Idee, mit dem Schalter -I das habe ich bisher gar nicht wahrgenommen, werde mir gleich mal ein paar Sachen zusammen suchen und das testen.

danke

Gruß niesommer

[niesommer]

Hallo,
Habe es gerade ein wenig getestet, und ja funktioniert wunderbar.
zum packen darf man den Schalter j nicht verwenden sonst gibt es eine Fehlermeldung:

Code: Alles auswählen

tar cvf packet.tar.bz2 zuverpackendes

zum entpacken sieht das ganze dann so aus:

Code: Alles auswählen

tar -xvf packet.tar.bz2

hier muss das minus bei den Schaltern voran gestellt werden sonst gibt es eine Fehlermeldung.

danke für den tip

Gruß niesommer
PS: um eventuelle Unklarheiten zu beseitigen möchte ich darauf verweisen das ich folgenden alias gesetzt habe:

Code: Alles auswählen

alias tar='tar -I pbzip2'

Und damit ein Komprimierungsprogramm aufgerufen wird. Das Programm pbzip2 sollte natürlich installiert sein/oder werden.

[whisper]

Hallo,
Habe es gerade ein wenig getestet, und ja funktioniert wunderbar.
zum packen darf man den Schalter j nicht verwenden sonst gibt es eine Fehlermeldung:

Code: Alles auswählen

tar cvf packet.tar.bz2 zuverpackendes

zum entpacken sieht das ganze dann so aus:

Code: Alles auswählen

tar -xvf packet.tar.bz2

hier muss das minus bei den Schaltern voran gestellt werden sonst gibt es eine Fehlermeldung.

danke für den tip

Gruß niesommer

Das ist kompletter Blödsinn.

Wenn du das j wegläßt, dann tarst du nur und komprimierst nicht.
Mache einen Test und mache

Code: Alles auswählen

file packet.tar.bz2

Es wird dir antworten:
packet.tar.bz2: POSIX tar archive (GNU)

Vielleicht ist bzip2 bei dir nicht installiert, dann funktioniert j nicht, nimm z, oder installiere bzib2 nach.

[niesommer]

Das ist kompletter Blödsinn.
Wenn du das j wegläßt, dann tarst du nur und komprimierst nicht.
Mache einen Test und mache
Code: Alles auswählen
file packet.tar.bz2
Es wird dir antworten:
packet.tar.bz2: POSIX tar archive (GNU)
Vielleicht ist bzip2 bei dir nicht installiert, dann funktioniert j nicht, nimm z, oder installiere bzib2 nach.

Hallo,
da scheinst du dich zu irren habe folgende ausgaben für dich:

Code: Alles auswählen

~/Downloads/linuxspiele$ file dunelegacy*
dunelegacy-pbzip2.tar.bz2: bzip2 compressed data, block size = 900k
dunelegacy.tar.bz2:        bzip2 compressed data, block size = 900k

Code: Alles auswählen

~/Downloads/linuxspiele$ du -sh *
17M     Dunelegacy     (das ist das verzeichnis wo alles drin ist)
12M     dunelegacy-pbzip2.tar.bz2
12M     dunelegacy.tar.bz2

Wie am Namen der Dateien sehen kannst habe ich das einmal mit bzip2 und einmal mit pbzip2 gemacht.
Für das komprimieren ist der schalter -I zu ständig.
Auszug aus der Manpage von tar:

-I, --use-compress-program PROG
Durch das Programm PROG filtern (dies muss -d akzeptieren)

Und den habe ich ja im alias drin.

Code: Alles auswählen

~/Downloads/linuxspiele$ alias
alias df='df -h'
alias l='ls -CF'
alias la='ls -A'
alias ll='ls -laFh'
alias ls='ls --color=auto'
alias rm='wipe -rifq'                                                                                                                                                             
alias tar='tar -I pbzip2'  

Also sollte alles korrekt funktionieren so wie ich das sehe.
Gruß niesommer

PS:

dpkg -l |grep zip
ii bzip2 1.0.6-4 i386 high-quality block-sorting file compressor - utilities
ii gzip 1.5-1.1 i386 GNU compression utilities
ii libarchive-zip-perl 1.30-6 all Perl module for manipulation of ZIP archives
ii libcompress-bzip2-perl 2.09-2+b2 i386 Perl interface to Bzip2 compression library
ii libzip2 0.10.1-1.1 i386 library for reading, creating, and modifying zip archives (runtime)
ii p7zip 9.20.1~dfsg.1-4 i386 7z file archiver with high compression ratio
ii p7zip-full 9.20.1~dfsg.1-4 i386 7z and 7za file archivers with high compression ratio
ii pbzip2 1.1.8-1 i386 parallel bzip2 implementation
ii unzip 6.0-8 i386 De-archiver for .zip files
ii xzip 1:1.8.2-3 i386 Interpreter of Infocom-format story-files
ii zip 3.0-6

[whisper]

Klar, deinen Alias habe ich nicht gesehen, nur das letzte Posting. Und das ist inkorrekt, wenn man kein Alias setzt.
An einem Rechner, den nur du benutzt ist das ja ok, sorry also von mir.
Nur wenn jemand anders damit hantiert, dann dürfte der ziemlich verblüfft sein.
Und auch Hilfesuchende, die dein Snippet per $suchmaschine finden und dann nicht kalr kommen.
Könntest du dich dazu durchringen und deinen Beitrag editieren und auf den Alias hinweisen?

[niesommer]

Hallo,
habe ich gemacht, und hoffe das alle Unklarheiten beseitigt wurden.

Gruß niesommer