Mehrere Millionen Dateien nach Datum löschen

[Transmitter]

Hallo,

ich habe einige Dateien (session Dateien die nicht von der Software entfernt wurden):

Code: Alles auswählen

ls | wc -l
2507278

Jetzt würde ich gerne die, die schon etwas älter sind löschen:

Code: Alles auswählen

find /var/www/var/session/ -name 'sess_*' -type f -mtime +7 -exec rm {} \;

aber leider:

Code: Alles auswählen

find: Konnte keinen neuen Prozess starten.: Nicht genügend Hauptspeicher verfügbar

Habe jetzt mit mv ../session/sess_11* . je ca. 10.000 Stück in ein anderes Verzeichnis verschoben und dann bei 50.000 Stück gelöscht. Dauert aber ca. 40 min auf diese Weiße (für die 50t).
Gibt es da eine bessere Möglichkeit?

Danke schon mal
Bye, Transmitter

[Liffi]

Kannst du die Dateinamen mal in eine Datei schreiben statt sie mit exec rm zu löschen?
Dann kannst du (hoffentlich) über die Dateinamen gehen und sie löschen.

[pferdefreund]

Oder, wenn es viel weniger neue sind, die auf diese Art in ein anderes Verzeichnis verschieben ,
das Verzeichnis killen, neu anlegen und zurückschieben.

[4A4B]

Vielleicht geht's mit xargs:

http://www.pro-linux.de/artikel/2/901/x ... elfer.html

[uname]

Ich denke auch xargs wird helfen. Vielleicht so:

Code: Alles auswählen

find /var/www/var/session/ -name 'sess_*' -type f -mtime +7 |xargs -i echo {} 

Dann "echo" durch "rm" ersetzen wenn die Liste korrekt ist. Dein Befehl war schön etwas gemein für dein System

[Transmitter]

Habe alle Möglichkeiten probiert, aber es stößt immer an den RAM.

echo in eine Datei, nur die neuen Dateien verschieben, das sowohl mit exec als auch xargs (wobei xargs besser ist - danke für den Link).

Wenn ich xargs + rm nehme, dann wird es wenigstens zum Teil ausgeführt:

Code: Alles auswählen

ls | wc -l
2481951
find /var/www/var/session/ -name 'sess_*' -type f -mtime +7 |xargs -i rm {} 
xargs: cannot fork: Nicht genügend Hauptspeicher verfügbar
ls | wc -l
2482002

Sollte ich das find einfach alle 10 min in einen cron job packen und es über Nacht laufen lassen? Ist das eine gute Idee?

[shoening]

Hi,

vielleicht kannst Du erst mal alle Dateinamen in eine Datei schreiben, die dann z.B. mit split -l 1000 in kleinere Einheiten zerlegen
und dann die diese kleinen Einheiten mit

Code: Alles auswählen

cat <dateiname> | xargs -i rm

loeschen. Wobei das dann z.B. in einer Schleife über alle mit split erzeugten Dateien läuft.

Ciao
Stefan

[Liffi]

Habe alle Möglichkeiten probiert, aber es stößt immer an den RAM.
echo in eine Datei, nur die neuen Dateien verschieben, das sowohl mit exec als auch xargs (wobei xargs besser ist - danke für den Link).

Kein echo in die Datei sondern mit '>'. Das sollte eigentlich passen (kann es aber mangels Datenmenge nicht nachvollziehen).

[Natureshadow]

Code: Alles auswählen

find /var/www/var/session -name "sess_*" -mtime +7 -print0 | while IFS= read -r -d '' file; do rm "$file"; done

Das ist die einzige sichere Art, mit der Ausgabe von find umzugehen (Leerzeichen, newline in Dstrinamen…). In dem Fall vielleicht nicht ganz so wichtig, aber eine gute Angewohnheit.

Aber wenn du schon find benutzt, warum dann nicht:

Code: Alles auswählen

find /var/www/var/session -name "sess_*" -mtime +7 -delete

? find kann selber löschen, kein Grund, haufenweise Shells zu forken.

Beide Lösungen hier funktionieren und sind wesentlich weniger abartig als die bisherigen. Ich würde die obere bevorzugen, weil find mysteriös ist.

EDIT: Hier noch ein Beispiel ganz ohne find:

Code: Alles auswählen

tmp=$(mktemp); touch -d '-7 days' "$tmp"; for i in /var/www/var/session/*; do [[ "$i" -nt "$tmp" ]] || rm "$i"; done; rm "$tmp"

Wie immer alle drei Beispiele ungetestet vom Handy, keine Haftung .

[Transmitter]

Super ..

Code: Alles auswählen

find /var/www/var/session -name "sess_*" -mtime +7 -print0 | while IFS= read -r -d '' file; do rm "$file"; done

Scheint die "schlankeste" Variante zu sein. Sie löscht ca. 200.000 - 500.000 Dateien bis der Speicher voll läuft - dauert pro Lauf ca. 1h oder länger.
Das lasse ich jetzt einfach einmal pro Nacht laufen und in einer Woche sollte sich das Problem erledigt haben.

Danke euch.

[Natureshadow]

Wieso sollte da der Speicher voll laufen? Das kann nicht sein.

Wenn das passiert, ist dein System kaputt.

-nik

[wanne]

Wieso sollte da der Speicher voll laufen? Das kann nicht sein.

find braucht auch einiges an Speicher. Wenn er nur ein paar MiB hat killt's ihm das System. Eine andere Möglichkeit ist, dass ihm etwas ganz anderes den Speicher zumüllt und es ihm dann mehr oder weniger zufällig der Befehl gekillt wird, wenn find mal wider das Fass zum überlaufen bringt.

[Natureshadow]

Naja, da oben steht ja auch eine Losung ohne find …

[wanne]

Wie effizent die shell da arbeitet weiß ich nicht. Zumindest die Dateinamen+Pfade wird's alle auf einmal im Speicher halten Wenn's dumm läuft sogar die 256 Byte pro Dateinamen, die readdir zurück gibt. (Das sind dann 512MiB.) Ohne C-Kenntnisse ist mehr aber auch nicht drin.

[Cae]

Vielleicht ist die Loesung gegen knappen Speicher einfach 'ne Swapfile. Dadurch steht "mehr Speicher" zur Verfuegung, und finds malloc() kann froehlich allozieren. Oder wer auch immer Speicher fuer Dateinamen braucht.

Ausprobieren:

Code: Alles auswählen

# truncate -s 2G /var/swapfile # sparse file mit Maximalgroese 2 GB erstellen
# chmod 600 /var/swapfile
# mkswap -f /var/swapfile
# swapon /var/swapfile
# cat /proc/swaps
Filename                                Type            Size    Used    Priority
/var/swapfile                           partition       2097148 0       -1        # [1]
# 

Abschalten tut man das mit swapoff und dann kann man die Datei einfach mit rm entfernen.

Gruss Cae

--Edit: dd durch truncate ersetzt.

[1] ja, ich hab's gefakt. Sollte aber so aehnlich aussehen.

[wanne]

Code: Alles auswählen

dd of=/var/swapfile seek=2G bs=1 count=0

Ist effizeinter als

Code: Alles auswählen

dd of=/var/swapfile if=/dev/zero bs=2G count=1

Das gilt insbesondere für moderene Dateisysteme und vor allem braucht es keine 2G RAM.

[Cae]

Code: Alles auswählen

dd of=/var/swapfile seek=2G bs=1 count=0

Ist effizeinter als

Code: Alles auswählen

dd of=/var/swapfile if=/dev/zero bs=2G count=1

Das gilt insbesondere für moderene Dateisysteme und vor allem braucht es keine 2G RAM.

Hups, ich wollte bs= doch eigentlich nicht so gross machen... Naja. Aber wo du's gerade ansprichst: Dann kann ich gleich truncate empfehlen:

Code: Alles auswählen

# truncate -s 2G /var/swapfile

. Ich editier' das gleich oben rein.

Gruss Cae