Script schaufelt Systempartition voll / Priorität des SWAP

Vom einfachen Programm zum fertigen Debian-Paket, Fragen rund um Programmiersprachen, Scripting und Lizenzierung.
Antworten
strang0r
Beiträge: 5
Registriert: 06.06.2010 10:39:18

Script schaufelt Systempartition voll / Priorität des SWAP

Beitrag von strang0r » 06.06.2010 11:04:25

hallo,

ich habe einen debian lenny rootserver mit folgenden daten:

Code: Alles auswählen

top - 10:48:08 up 64 days, 16:19,  2 users,  load average: 0.10, 0.14, 0.10
Tasks:   6 total,   2 running,   4 sleeping,   0 stopped,   0 zombie
Cpu(s):  3.0%us,  2.7%sy,  0.0%ni, 83.4%id, 10.0%wa,  0.3%hi,  0.7%si,  0.0%st
Mem:   2015040k total,  1999204k used,    15836k free,    17716k buffers
Swap: 21497360k total,   138788k used, 21358572k free,  1738192k cached
ich will auf diesem gelegentlich .mkv datein in .mp4 datein remuxen. dies erledige ich mit folgendem script:

Code: Alles auswählen

#!/bin/bash

if [ -z "$1" -o -z "$2" ]; then
  echo "Usage: $0 movie.mkv movie.mp4"
  exit
fi

FPS=`mkvinfo "$1" |grep -m 1 fps | awk ' { print $6 }' | sed 's/(//'`

echo "Detected $FPS fps first stream"

mkvextract tracks "$1" 1:/home/strangor/encoding/tmp/mkv2ps3.264 2:/home/strangor/enc$
ffmpeg -i /home/strangor/encoding/tmp/mkv2ps3.ac3 -ab 192k -ac 2 -acodec libfaac /$
MP4Box -new "$2" -add /home/strangor/encoding/tmp/mkv2ps3.264 -add /home/strangor/enc$
rm /home/strangor/encoding/tmp/mkv2ps3.{264,ac3,aac}
was auch gut funnktioniert. wenn die datei unter 500mb hat. anscheinend braucht mp4box das file 2 mal im ram während dieser transcodierung. da ich aber nur 2GB habe lagert es somit in meine systempartition (5GB) aus. da ich nicht will das die systempartition zu 100% voll ist während diesem vorgang hab ich nach dieser anleitung:
http://www.mogilowski.net/lang/de-de/20 ... or-ubuntu/

ein swap file in /home/strangor/swap/swapfile angelegt. allerdings wird immernoch die systempartition aufgefüllt. meine frage wäre nun ob ich dort irgendeine priorität setzten kann das das script nicht zuerst nach system swapt.

nach ablauf des scripts wird ja die systempartition wieder bereining aber durch die kurzfristige auffüllung auf 100% werden natürlich andere dort laufende scripts gestört.

bei free -m wird die swap partition so angezeigt:

Code: Alles auswählen

strangor@ksxxxxx:~$ free -m
             total       used       free     shared    buffers     cached
Mem:          1967       1951         16          0         18       1685
-/+ buffers/cache:        248       1719
Swap:        20993        135      20857

die vm.swappiness=60 liegt bei 60.

dank im vorraus,

strangor

michaels
Beiträge: 1164
Registriert: 29.03.2009 18:12:25

Re: Script schaufelt Systempartition voll / Priorität des SW

Beitrag von michaels » 06.06.2010 11:59:31

Hallo und willkommen,

sollte der RAM nicht reichen, wird Swap genommen und nicht die / Partition zugemüllt. Ich glaube eher, du hast ein anderes Problem.

Wo liegt dein /tmp Verzeichnis? Auf deiner 5GB / Partition!? Wenn ja, versuche mal den Programmen ein tmp Verzeichnis vorzugeben. Mit MP4Box geht das über das Argument "-tmp <dirname>". Vielleicht hilft das ja schon...

Gruß

strang0r
Beiträge: 5
Registriert: 06.06.2010 10:39:18

Re: Script schaufelt Systempartition voll / Priorität des SW

Beitrag von strang0r » 06.06.2010 12:27:29

ok,

hab jetzt mit -tmp ein tmp Verzeichniss zugewiesen und es funktioniert! ich war fälschlicherweise der annahme, dass mp4box das schon angelegte tmp verzeichniss verwendet, was es aber nicht tat sondern auf das der systempartition zugriff.

danke für die (schnelle!) antwort.

gruß und schönen tag noch :)

rendegast
Beiträge: 15041
Registriert: 27.02.2006 16:50:33
Lizenz eigener Beiträge: MIT Lizenz

Re: Script schaufelt Systempartition voll / Priorität des SW

Beitrag von rendegast » 06.06.2010 15:26:09

20GB swap?

Code: Alles auswählen

Swap:        20993        135      20857
mfg rendegast
-----------------------
Viel Eifer, viel Irrtum; weniger Eifer, weniger Irrtum; kein Eifer, kein Irrtum.
(Lin Yutang "Moment in Peking")

strang0r
Beiträge: 5
Registriert: 06.06.2010 10:39:18

Re: Script schaufelt Systempartition voll / Priorität des SW

Beitrag von strang0r » 06.06.2010 15:40:35

das hab ich sicherheitshalber so gemacht weil ich eben am anfang dachte das er versucht das gesamte file in den ram zu laden. was bei nem 9gb file dann kritisch werden konnte. deshalb der swap. jetzt wo ich weis das es daran nicht liegt werd ich den wieder kleiner machen. aber platz habe ich eigentlich eh genug.

coresploit
Beiträge: 237
Registriert: 26.04.2009 01:57:27
Lizenz eigener Beiträge: MIT Lizenz
Wohnort: Nettetal
Kontaktdaten:

Re: Script schaufelt Systempartition voll / Priorität des SW

Beitrag von coresploit » 06.06.2010 16:05:21

Wozu überhaupt noch Swap? Bei 2G würde ich das gar nicht erst in Betracht ziehen.

Zusätzlich kannst du die Standard-Kernel-Konfiguration ändern, um mehr RAM zur Verfügung zu haben: Kopiere folgenden Schnipsel in die /etc/sysctl.conf:

Code: Alles auswählen

vm.dirty_ratio=10
vm.dirty_background_ratio=5

rendegast
Beiträge: 15041
Registriert: 27.02.2006 16:50:33
Lizenz eigener Beiträge: MIT Lizenz

Re: Script schaufelt Systempartition voll / Priorität des SW

Beitrag von rendegast » 15.02.2011 14:11:06

rendegast hat geschrieben: 20GB swap?
vwochnik hat geschrieben: Wozu überhaupt noch Swap? Bei 2G würde ich das gar nicht erst in Betracht ziehen.
Muß da zurückrudern (bei mir 4GB RAM):
Synthetisch dd nach /tmp/ tmpfs, dd nach /dev/shm/ tmpfs und die Kiste steht.
Mit genügend großem SWAP wird das dd zumindest irgendwann langsamer
(was bei heutigen Festplattengeschwindigkeiten aber auch nur einige Sekunden Reaktionszeit gibt).

Praktisches Beispiel wären mehrere entpackte Kernel im tmpfs, zum Vergleichen oder Bauen.
(kernel-build mit DEBUG_INFO ~ 2GB)
mfg rendegast
-----------------------
Viel Eifer, viel Irrtum; weniger Eifer, weniger Irrtum; kein Eifer, kein Irrtum.
(Lin Yutang "Moment in Peking")

Antworten