rootfs voll

[martinr92]

Hallo Zusammen,

ich hoffe, mir kann jemand mit einem aktuellen Problem helfen.
Bereits zum 2. Mal diese Woche lief auf meinem Server die Partition rootfs und /dev/root voll.

Code: Alles auswählen

df
Dateisystem     1K-Blöcke   Benutzt  Verfügbar Verw% Eingehängt auf
rootfs           20026172  20009784          0  100% /
/dev/root        20026172  20009784          0  100% /
devtmpfs         16419904         0   16419904    0% /dev
tmpfs             3284072       264    3283808    1% /run
tmpfs                5120         0       5120    0% /run/lock
tmpfs             6777440         4    6777436    1% /dev/shm
/dev/md3       1902052420 573843608 1231567128   32% /home

Jedoch ist mir aktuell unklar, wo die 20GB liegen.

Code: Alles auswählen

du -sh /*
6,3M	/bin
15M	/boot
4,0K	/dev
4,9M	/etc
548G	/home
14M	/lib
4,0K	/lib64
16K	/lost+found
8,0K	/media
4,0K	/mnt
92M	/opt
du: Zugriff auf „/proc/23538/task/23538/fd/4“ nicht möglich: Datei oder Verzeichnis nicht gefunden
du: Zugriff auf „/proc/23538/task/23538/fdinfo/4“ nicht möglich: Datei oder Verzeichnis nicht gefunden
du: Zugriff auf „/proc/23538/fd/4“ nicht möglich: Datei oder Verzeichnis nicht gefunden
du: Zugriff auf „/proc/23538/fdinfo/4“ nicht möglich: Datei oder Verzeichnis nicht gefunden
0	/proc
1,9M	/root
264K	/run
22M	/sbin
4,0K	/selinux
4,0K	/srv
du: Zugriff auf „/sys/kernel/slab/L2TP/IPv6“ nicht möglich: Datei oder Verzeichnis nicht gefunden
du: Zugriff auf „/sys/kernel/slab/L2TP/IP“ nicht möglich: Datei oder Verzeichnis nicht gefunden
0	/sys
772K	/tmp
675M	/usr
575M	/var

Nach einem Neustart ist die Partition auch wieder fast leer:

Code: Alles auswählen

df
Dateisystem     1K-Blöcke   Benutzt  Verfügbar Verw% Eingehängt auf
rootfs           20026172   1508068   17477776    8% /
/dev/root        20026172   1508068   17477776    8% /
devtmpfs         16419904         0   16419904    0% /dev
tmpfs             3284072       264    3283808    1% /run
tmpfs                5120         0       5120    0% /run/lock
tmpfs             6777440         0    6777440    0% /dev/shm
/dev/md3       1902052420 573957440 1231453296   32% /home

Hat jemand eine Idee, durch was sowas herbei geführt werden kann?

Gruß
Martin

[pferdefreund]

Kann durch alles mögliche passieren. Irgend welche temporären Dateien, die zwar gelöscht, von der Anwendung aber noch nicht geschlosen wurden. Die sieht man nicht, sind aber noch da. Installier dir mal htop und aktiviere die Anzeige der IO-s pro Prozess. Dann schau mal nach, welche Prozesse viel IO haben und per lsof dann mal nach programm zum Prozess suchen. Da muß ja irgendwer viel schreiben.
Brutale Methode - Stecker raus - und dann per Live-System booten. Dann mal nach großen Dateien suchen. Was läuft denn da eigentlich so?

[martinr92]

Vielen Dank für den Tipp mit htop.
Eigentlich läuft nur nen Apache mit der Mysql-Datenbank drauf.

[Cae]

Das wird wohl ein spammender Logger sein, vielleicht auch einer mit kaputter Rotation drin. Wuerde man an (deleted) im lsof-Output erkennen:

Code: Alles auswählen

$ touch file
$ tail -f file &
[1] 29745
$ rm file
$ lsof -n | grep deleted
tail      29745             user    3r      REG              254,1         0    3411503 /tmp/tmp.cZdf5UjeqV/file (deleted)
$ kill %1
$ 
[1]+  Terminated              tail -f file
$ 

Gruss Cae

[michaa7]

Vielleicht hast du dateien in einem *alten* /home welches durch /dev/md3 -> /home überdeckt wird.

[rendegast]

Nach einem Neustart ist die Partition auch wieder fast leer:

Dort kein /tmp-Mount aufgeführt, daher benutzt /tmp das root-FS.

Wird vielleicht eine VM im snapshot-Modus ausgeführt?
Dabei wird eine nur über lsof anzeigbare Datei in /tmp/ oder auch /var/tmp/ benutzt,
die beständig und mehr oder minder schnell anwächst.

[martinr92]

Klingt als wäre "lsof" wohl das beste Tool für die nächste Analyse.

Wenn ich das ganze richtig verstanden habe, suche ich hier dann nach einem "Auffälligen" Eintrag.
Tritt das Ganze nun wieder auf, werde ich "lsof | grep tmp" und "lsof | grep deleted" ausführen und mir dann die Einträge mal etwas genauer anschauen.
Dabei dürfte ja die Spalte "SIZE/OFF" extrem Ausschlagen, vorausgesetzt es handelt sich nur um eine einzelne Datei?

Code: Alles auswählen

COMMAND     PID  TID       USER   FD      TYPE             DEVICE SIZE/OFF       NODE NAME
mysqld     4467           mysql    4u      REG                9,2        0         13 /tmp/ib4Q0MLk (deleted)
mysqld     4467           mysql    5u      REG                9,2     1170         54 /tmp/ibS4N8pF (deleted)
mysqld     4467           mysql    6u      REG                9,2        0        179 /tmp/ibEzOu4Z (deleted)
mysqld     4467           mysql    7u      REG                9,2        0        204 /tmp/ibrSDwpF (deleted)
mysqld     4467           mysql   11u      REG                9,2        0        205 /tmp/ibSon7G0 (deleted)
mysqld     4467 4470      mysql    4u      REG                9,2        0         13 /tmp/ib4Q0MLk (deleted)