tail - kein Speicherplatz mehr verfügbar

[pcace]

Hallo,

ich habe ein komisches Problem mit Tail:
beim anschauen einer Logdatei (weil das betreffende Programm öfter abstürzt) bekomme ich folgendes ausgegeben:

Code: Alles auswählen

tail: kann „/var/log/forked-daapd.log“ nicht beobachten: Auf dem Gerät ist kein Speicherplatz mehr verfügbar

Sehr seltsam, denn "du" gibt folgende ausgabe:

Code: Alles auswählen

Dateisystem           Size  Used Avail Use% Eingehängt auf
/dev/sda1             455G  2,8G  429G   1% /
tmpfs                 5,0M  4,0K  5,0M   1% /lib/init/rw
tmpfs                 202M  244K  201M   1% /run
tmpfs                 5,0M     0  5,0M   0% /run/lock
tmpfs                 403M     0  403M   0% /tmp
udev                 1001M     0 1001M   0% /dev
tmpfs                 403M     0  403M   0% /run/shm
/dev/sdb1             1,8T  1,1T  681G  61% /media/medien

Also ist doch speicherplatz genug da oder wie oder was?!

Kann mir das jemand erklären?

tail habe ich so ausgeführt:

Code: Alles auswählen

root@server:/home/hannes# tail -f /var/log/forked-daapd.log 
[2011-09-05 16:42:13]    httpd: Done streaming file id 68660
[2011-09-05 16:43:40]    httpd: Connection failed; stopping streaming of file ID 92838
[2011-09-05 16:43:43]    httpd: Connection failed; stopping streaming of file ID 82889
[2011-09-05 16:43:47]    httpd: Connection failed; stopping streaming of file ID 29124
[2011-09-05 16:44:26]    httpd: Connection failed; stopping streaming of file ID 82359
[2011-09-05 16:44:46]    httpd: Connection failed; stopping streaming of file ID 62925
[2011-09-05 16:44:54]    httpd: Connection failed; stopping streaming of file ID 23279
[2011-09-05 16:45:10]    httpd: Connection failed; stopping streaming of file ID 62893
[2011-09-05 16:45:32]    httpd: Connection failed; stopping streaming of file ID 91583
[2011-09-05 16:46:47]    httpd: Done streaming file id 71499
tail: kann „/var/log/forked-daapd.log“ nicht beobachten: Auf dem Gerät ist kein Speicherplatz mehr verfügbar
root@server:/home/hannes# > /var/log/forked-daapd.log

über Hilfe würde ich mich wirklich freuen!


Pcace


EDIT: kleiner Anhang: logs zu groß?

root@server:/# ls -lsSh /var/log/
insgesamt 658M
652M -rw-r--r-- 1 daapd root 652M 4. Sep 06:25 forked-daapd.log.1
976K -rw-r----- 1 root adm 971K 1. Sep 16:27 kern.log.1
916K -rw-r----- 1 root adm 910K 4. Sep 06:25 auth.log.1
644K -rw-r----- 1 root adm 638K 3. Sep 06:25 messages.1
416K -rw-r--r-- 1 root root 411K 30. Aug 17:13 dpkg.log.1
392K -rw-r----- 1 root adm 387K 4. Sep 05:33 daemon.log.1
348K -rw-r----- 1 root adm 342K 1. Sep 16:27 debug.1
292K -rw-r----- 1 root adm 286K 5. Sep 17:03 kern.log
8,0K -rw-rw-r-- 1 root utmp 286K 5. Sep 21:12 lastlog
256K -rw-r----- 1 root adm 249K 5. Sep 21:17 syslog
240K -rw-rw-r-- 1 root utmp 234K 31. Aug 16:08 wtmp.1
224K -rw-r----- 1 root adm 217K 5. Sep 06:25 syslog.1
216K -rw-r----- 1 root adm 209K 5. Sep 21:17 auth.log
196K -rw-r----- 1 root adm 189K 5. Sep 20:48 messages
112K -rw-rw-r-- 1 root utmp 106K 5. Sep 21:12 wtmp
104K -rw-r----- 1 root adm 101K 5. Sep 17:03 debug
40K -rw-r----- 1 root adm 40K 5. Sep 16:59 dmesg.0
40K -rw-r----- 1 root adm 40K 5. Sep 17:03 dmesg
36K -rw-r----- 1 root adm 34K 31. Aug 06:25 syslog.6.gz
32K -rw-r----- 1 root adm 32K 2. Sep 06:25 syslog.4.gz
8,0K -rw-r--r-- 1 root root 24K 3. Sep 02:04 faillog
28K -rw-r--r-- 1 root root 24K 30. Aug 16:07 alternatives.log.1
28K -rw-r----- 1 root adm 23K 5. Sep 17:03 daemon.log
20K -rw-r----- 1 root adm 20K 30. Aug 06:25 syslog.7.gz
20K -rw-r----- 1 root adm 19K 1. Sep 06:25 syslog.5.gz
12K -rw-r----- 1 root adm 11K 5. Sep 13:14 dmesg.1.gz
12K -rw-r----- 1 root adm 11K 4. Sep 16:57 dmesg.3.gz
12K -rw-r----- 1 root adm 11K 1. Sep 16:27 dmesg.4.gz
12K -rw-r----- 1 root adm 11K 4. Sep 22:32 dmesg.2.gz
12K -rw-r----- 1 root adm 8,9K 3. Sep 06:25 syslog.3.gz
8,0K -rw-r--r-- 1 root root 7,2K 4. Sep 16:07 dpkg.log
8,0K -rw-r--r-- 1 daapd root 6,7K 5. Sep 21:17 forked-daapd.log
8,0K -rw-r----- 1 root adm 5,3K 4. Sep 06:25 syslog.2.gz
8,0K -rw-r----- 1 root adm 4,7K 2. Sep 20:50 user.log.1
.
.
.

[schorsch_76]

Zeig mal ein

Code: Alles auswählen

df -i

Evtl hast du keine inodes mehr zu Verfügung. Kann vorkommen wenn du sehr viele kleine Dateien auf der Platte hast.

Gruß
schorsch

[Meillo]

Es lohnt sich immer auch mal die ``richtigen'' Fehlermeldungen, naemlich die auf Englisch anzuschauen. Erstens bleibt man so nicht an Uebersetzungsfehlern/-zweideutigkeiten haengen, und zum anderen wird dann die Webrecherche erfolgreicher.

Code: Alles auswählen

LC_ALL=C tail ...

Braucht tail(1) ueberhaupt Speicherplatz? Jedenfalls keinen Plattenplatz, halt Hauptspeicher fuer 10 Zeilen, mehr muss es nicht zwischenspeichern, und ab dem Dateiende (wenn es in den Following-Mode geht) braucht es gar keinen Speicher mehr. Da erst tritt aber der Fehler auf. Das mit den Inodes koennte in die richtige Richtung deuten.

... man koennte ja auch mal in den Quellcode von tail reinschauen, was da gemacht wird wenn es am Ende ist und auf ``following'' umschaltet. (Ich heute nicht mehr.)

[uname]

tail befindet sich im Paket coreutils

Den Quellcode bekommt man so:

Code: Alles auswählen

apt-get source coreutils

Komisch. Hab einen Zertifikatsfehler, kennt den jemand?

Code: Alles auswählen

gpgv: Unterschrift vom Mi 28 Apr 2010 03:37:08 CEST mittels RSA-Schlüssel ID 3D97C149
gpgv: Unterschrift kann nicht geprüft werden: Öffentlicher Schlüssel nicht gefunden
dpkg-source: Warnung: Fehler beim Überprüfen der Signatur von ./coreutils_8.5-1.dsc

bzw. auf englisch

Code: Alles auswählen

gpgv: Signature made Wed Apr 28 03:37:08 2010 CEST using RSA key ID 3D97C149
gpgv: Can't check signature: public key not found
dpkg-source: warning: failed to verify signature on ./coreutils_8.5-1.dsc

[pcace]

Es lohnt sich immer auch mal die ``richtigen'' Fehlermeldungen, naemlich die auf Englisch anzuschauen. Erstens bleibt man so nicht an Uebersetzungsfehlern/-zweideutigkeiten haengen, und zum anderen wird dann die Webrecherche erfolgreicher.

Code: Alles auswählen

LC_ALL=C tail ...

Da sieht die Fehlermedlung so aus:

Code: Alles auswählen

root@server:/# LC_ALL=C tail -f /var/log/forked-daapd.log
[2011-09-06 06:05:02]   player: AirTunes device D830622EAD42@Knatterkiste is password-protected
[2011-09-06 06:05:02]   player: No password given in config for AirTunes device D830622EAD42@Knatterkiste
[2011-09-06 06:05:02]   player: AirTunes device 28E7CFD0E067@Apple TV is password-protected
[2011-09-06 06:05:02]   player: No password given in config for AirTunes device 28E7CFD0E067@Apple TV
[2011-09-06 06:11:37]   ffmpeg: max resync size reached, could not find sync byte
[2011-09-06 06:11:37]   ffmpeg: max resync size reached, could not find sync byte
[2011-09-06 06:11:37]   ffmpeg: max resync size reached, could not find sync byte
[2011-09-06 06:11:37]   ffmpeg: max resync size reached, could not find sync byte
[2011-09-06 06:11:37]   ffmpeg: max resync size reached, could not find sync byte
[2011-09-06 06:11:37]   ffmpeg: max resync size reached, could not find sync byte
tail: cannot watch `/var/log/forked-daapd.log': No space left on device
root@server:/# 

Leider werde ich mit dem Source code einfach nichts anfangen können... ...dafür fehlen mir die Kenntnisse...


Aber hat sonst noch jemand Ideen, wie ich das Problem lösen lönnte?


Grüße,

Pcace

[Liffi]

Vielleicht hilft es /proc/sys/fs/inotify/max_user_watches zu erhöhen.

[Meillo]

Es lohnt sich immer auch mal die ``richtigen'' Fehlermeldungen, naemlich die auf Englisch anzuschauen. Erstens bleibt man so nicht an Uebersetzungsfehlern/-zweideutigkeiten haengen, und zum anderen wird dann die Webrecherche erfolgreicher.

Code: Alles auswählen

LC_ALL=C tail ...

Da sieht die Fehlermedlung so aus:

Code: Alles auswählen

root@server:/# LC_ALL=C tail -f /var/log/forked-daapd.log
[...]
tail: cannot watch `/var/log/forked-daapd.log': No space left on device
root@server:/# 

Ich brauche die ja nicht ... aber du hast doch sicher diese Fehlermeldung in die Suchmaschine eingegeben und unter den ersten Treffern das gefunden: http://debbugs.gnu.org/cgi/bugreport.cgi?bug=7813


Oder man wartet halt bis Liffi einem die Antwort liefert.

[pcace]

Hi,

ich habe das nun erhöht auf:

root@t64:/# cat /proc/sys/fs/inotify/max_user_watches
8192
root@t64:/# cat /proc/sys/fs/inotify/max_user_instances
128
root@t64:/# cat /proc/sys/fs/inotify/max_queued_events
16384

Das ist nun schon wesentlich mehr als vorgesehen...

Das Problem ist das gleiche...

Pcace

[Liffi]

root@t64:/# cat /proc/sys/fs/inotify/max_user_watches
8192

Das hab ich hier als Standardwert...hast du auch mal mit (erheblich) höheren Werten getestet?

[uname]

In http://debbugs.gnu.org/cgi/bugreport.cgi?bug=7813 steht noch, dass man es per strace verifizieren kann. Was sagt denn:

Code: Alles auswählen

strace tail -f /var/log/forked-daapd.log

[pcace]

Hi,

ich habe jetzt mal den wert per:
sysctl -w fs.inotify.max_user_watches=65536

erhöht.

Scheinbar funktioniert es jetzt!

Könnte mir jemand kurz erklären, was ich da eigentlich mache? Was ist das für ein Speicher?


Grüße,

Pcace

[schorsch_76]

Hi,

ich habe jetzt mal den wert per:
sysctl -w fs.inotify.max_user_watches=65536

erhöht.

Scheinbar funktioniert es jetzt!

Könnte mir jemand kurz erklären, was ich da eigentlich mache? Was ist das für ein Speicher?


Grüße,

Pcace

Kuckst du hier [1] [2]

[1] http://linux.die.net/man/7/inotify
[2] http://www.linuxjournal.com/article/8478

Die Frage ist wer überwacht so viele Files? Und ist das ok?

Gruß
schorsch