LVM und "no space left on device"

[agentclark]

Moin,

stehe vor dem Problem, dass mir bei allen möglichen Aktionen "no space left on device" angezeigt wird.
Dieses Problem tritt nur auf, wenn das LV eingebunden ist.

Code: Alles auswählen

df -h
/dev/mapper/DATA-DATA   11T    8,7T  1,7T   84% /data

Code: Alles auswählen

df -i
/dev/mapper/DATA-DATA 366284800   210047 366074753    1% /data

Code: Alles auswählen

 pvdisplay
  --- Physical volume ---
  PV Name               /dev/sdc1
  VG Name               DATA
  PV Size               5,46 TiB / not usable 0
  Allocatable           yes (but full)
  PE Size               4,00 MiB
  Total PE              1430791
  Free PE               0
  Allocated PE          1430791
  PV UUID               9t8RVy-825r-gk78-wQi4-HSpK-HlD0-nAhurc

  --- Physical volume ---
  PV Name               /dev/sdd1
  VG Name               DATA
  PV Size               5,46 TiB / not usable 0
  Allocatable           yes (but full)
  PE Size               4,00 MiB
  Total PE              1430791
  Free PE               0
  Allocated PE          1430791
  PV UUID               T1CtXR-JNbb-LXa1-9dM9-ivfv-q23d-AL3RzU

  --- Physical volume ---
  PV Name               /dev/sde1
  VG Name               DATA
  PV Size               5,46 TiB / not usable 0
  Allocatable           yes
  PE Size               4,00 MiB
  Total PE              1430791
  Free PE               1430791
  Allocated PE          0
  PV UUID               VMsmZv-BFQu-leg8-MeCD-vijq-1mum-DwkRqo

Code: Alles auswählen

vgdisplay
  --- Volume group ---
  VG Name               DATA
  System ID
  Format                lvm2
  Metadata Areas        3
  Metadata Sequence No  3
  VG Access             read/write
  VG Status             resizable
  MAX LV                0
  Cur LV                1
  Open LV               1
  Max PV                0
  Cur PV                3
  Act PV                3
  VG Size               16,37 TiB
  PE Size               4,00 MiB
  Total PE              4292373
  Alloc PE / Size       2861582 / 10,92 TiB
  Free  PE / Size       1430791 / 5,46 TiB
  VG UUID               9j5JZS-a5wL-ykHJ-ovND-xvtn-oP0o-0QNoR7

Code: Alles auswählen

lvdisplay
  --- Logical volume ---
  LV Path                /dev/DATA/DATA
  LV Name                DATA
  VG Name                DATA
  LV UUID                napqww-AwOd-Lzdg-tcBK-Bb3C-tbGA-bFP8bw
  LV Write Access        read/write
  LV Creation host, time MOTHER, 2014-11-22 15:44:31 +0100
  LV Status              available
  # open                 1
  LV Size                10,92 TiB
  Current LE             2861582
  Segments               2
  Allocation             inherit
  Read ahead sectors     auto
  - currently set to     256
  Block device           253:1

kleines Beispiel:

Code: Alles auswählen

service apache2 restart
Error: No space left on device

Danke für die Hilfe
Gruß Agent

[rendegast]

Bezieht sich vielleicht auf tmpfs o.a.

Code: Alles auswählen

# df -m

in Gänze?


Eine KVM mit '-snapshot' kann tmpfs füllen, ohne bei 'df' angezeigt zu werden.
Als root

Code: Alles auswählen

# lsof | grep delet

Auch (debian-goodies)

Code: Alles auswählen

# checkrestart [-v]

[heisenberg]

...und vielleicht nochmal die Ausgabe von mount (Wegen der verwendeten Dateisysteme).

tmpfs finde ich schon 'mal einen heissen Tip.

Wenn es ein Anwendung(Ein Programm/Binary) gibt, dass direkt die Ausgabe erzeugt, könntest Du auch mal ein
strace laufen lassen und die Ausgabe hier zeigen. Beim Apachen musst Du wohl eher herausfinden, welcher
Befehl im Startscript/SystemD die Meldung verursacht.

Wenn dann soweit, dann:

Code: Alles auswählen

strace -o /tmp/strace.txt programm

...und strace.txt hier posten. Vielleicht siehst Du ja selbst schon etwas darin.

[agentclark]

Sieht auch gut aus.

Code: Alles auswählen

df -m
/dev/mapper/DATA-DATA    11356011 9036748   1746932   84% /data

Die anderen Partitionen sind alle unter 27%, auch alle tmpfs.

Auf dem System laufen keine KVMs.

Code: Alles auswählen

checkrestart
Found 1 processes using old versions of upgraded files
(1 distinct program)
(1 distinct packages)
These processes do not seem to have an associated init script to restart them:
btsync-core:
        922     /usr/lib/btsync-core/btsync-core

und lsof liefert

Code: Alles auswählen

lsof | grep delet

btsync-da   922  1018        root   51u      REG              253,2     11308     526899 /var/lib/btsync/etilqs_sMiec8mf9BcvhaV (deleted)
btsync-da   922  1018        root   52u      REG              253,2     13364     528062 /var/lib/btsync/etilqs_GsfL7Vzz1zcDuyw (deleted)
apache2    9127          www-data   11w      REG               0,18         0     304342 /run/lock/apache2/ssl-cache.21174 (deleted)
apache2    9127  9130    www-data   11w      REG               0,18         0     304342 /run/lock/apache2/ssl-cache.21174 (deleted)

Ich habe die Ausgabe stark gekürzt, sicher jeweils 25 Zeilen mehr für btsync und apache

Code: Alles auswählen

mount
sysfs on /sys type sysfs (rw,nosuid,nodev,noexec,relatime)
proc on /proc type proc (rw,nosuid,nodev,noexec,relatime)
udev on /dev type devtmpfs (rw,relatime,size=10240k,nr_inodes=1018811,mode=755)
devpts on /dev/pts type devpts (rw,nosuid,noexec,relatime,gid=5,mode=620,ptmxmode=000)
tmpfs on /run type tmpfs (rw,nosuid,relatime,size=1633708k,mode=755)
/dev/mapper/SYSTEM-ROOT on / type ext4 (rw,relatime,errors=remount-ro,data=ordered)
securityfs on /sys/kernel/security type securityfs (rw,nosuid,nodev,noexec,relatime)
tmpfs on /dev/shm type tmpfs (rw,nosuid,nodev)
tmpfs on /run/lock type tmpfs (rw,nosuid,nodev,noexec,relatime,size=5120k)
tmpfs on /sys/fs/cgroup type tmpfs (ro,nosuid,nodev,noexec,mode=755)
cgroup on /sys/fs/cgroup/systemd type cgroup (rw,nosuid,nodev,noexec,relatime,xattr,release_agent=/lib/systemd/systemd-cgroups-agent,name=systemd)
pstore on /sys/fs/pstore type pstore (rw,nosuid,nodev,noexec,relatime)
cgroup on /sys/fs/cgroup/cpuset type cgroup (rw,nosuid,nodev,noexec,relatime,cpuset)
cgroup on /sys/fs/cgroup/cpu,cpuacct type cgroup (rw,nosuid,nodev,noexec,relatime,cpu,cpuacct)
cgroup on /sys/fs/cgroup/devices type cgroup (rw,nosuid,nodev,noexec,relatime,devices)
cgroup on /sys/fs/cgroup/freezer type cgroup (rw,nosuid,nodev,noexec,relatime,freezer)
cgroup on /sys/fs/cgroup/net_cls,net_prio type cgroup (rw,nosuid,nodev,noexec,relatime,net_cls,net_prio)
cgroup on /sys/fs/cgroup/blkio type cgroup (rw,nosuid,nodev,noexec,relatime,blkio)
cgroup on /sys/fs/cgroup/perf_event type cgroup (rw,nosuid,nodev,noexec,relatime,perf_event)
systemd-1 on /proc/sys/fs/binfmt_misc type autofs (rw,relatime,fd=23,pgrp=1,timeout=300,minproto=5,maxproto=5,direct)
hugetlbfs on /dev/hugepages type hugetlbfs (rw,relatime)
mqueue on /dev/mqueue type mqueue (rw,relatime)
debugfs on /sys/kernel/debug type debugfs (rw,relatime)
/dev/sda1 on /boot type ext4 (rw,relatime,data=ordered)
/dev/mapper/SYSTEM-VAR on /var type ext4 (rw,relatime,data=ordered)
/dev/mapper/SYSTEM-TMP on /tmp type ext4 (rw,relatime,data=ordered)
/dev/mapper/SYSTEM-HOME on /home type ext4 (rw,relatime,data=ordered)
/dev/mapper/DATA-DATA on /data type ext4 (rw,relatime,data=ordered)
rpc_pipefs on /run/rpc_pipefs type rpc_pipefs (rw,relatime)
nfsd on /proc/fs/nfsd type nfsd (rw,relatime)
binfmt_misc on /proc/sys/fs/binfmt_misc type binfmt_misc (rw,relatime)
tmpfs on /run/user/0 type tmpfs (rw,nosuid,nodev,relatime,size=816856k,mode=700)
fusectl on /sys/fs/fuse/connections type fusectl (rw,relatime)

Edit: Das Problem scheint an btsync zu liegen. Habe es gerade mal beendet und wenn ich jetzt z.B. den Apachen neustarte kommt keine Fehlermeldung mehr.

Danke und Gruß
Agent

[MSfree]

Eventuell sind bei dir die inodes auf einem deiner Dateisysteme vollständig belegt. Dann kann man keine neue Datei mehr anlegen, obwohl noch genug freier Platz auf der Platte ist.

df -i listet die Belegung der inodes.