Festplattenspeicher bzw. Raid-Problem

[DebianYi]

Hallo!

Habe ähnliche Themen gefunden, jedoch behandeln diese oft lokale bzw andere Probleme.
Ich habe einen gemieteten Root-Server mit RAID-System.

leider kann ich unterschiedliche Dienste nicht mehr starten oder mit apt-get Dienste installieren/updaten.
Festplatte soll voll sein.
So kann ich zum Beispiel den SQL-Server nicht mehr starten.

/etc/init.d/mysql[20629]: ERROR: The partition with /var/lib/mysql is too full!

in / habe ich 20GB gelöscht => keine Lösung.
In /var/lib Ordner habe ich ebenfalls eine GBs gelöscht.
Der gleiche Mountort wie SQLd. Aber keine Änderung.

Ich nutze ein Raid-System und habe derzeit keinen Ansatz, wie ich weiter vorgehen muß.
Bin ein Anfänger und daher bitte etwas Geduld.


Festplattenspeicherabfrage:

~# df

Dateisystem 1K-Blöcke Benutzt Verfügbar Verw% Eingehängt auf
/dev/md2 2875655912 2836780260 0 100% /
udev 10240 0 10240 0% /dev
tmpfs 6581868 632568 5949300 10% /run
tmpfs 16454668 0 16454668 0% /dev/shm
tmpfs 5120 0 5120 0% /run/lock
tmpfs 16454668 0 16454668 0% /sys/fs/cgroup
/dev/md0 483626 33333 425324 8% /boot


df -h
Dateisystem Größe Benutzt Verf. Verw% Eingehängt auf
/dev/md2 2,7T 2,7T 0 100% /
udev 10M 0 10M 0% /dev
tmpfs 6,3G 618M 5,7G 10% /run
tmpfs 16G 0 16G 0% /dev/shm
tmpfs 5,0M 0 5,0M 0% /run/lock
tmpfs 16G 0 16G 0% /sys/fs/cgroup
/dev/md0 473M 33M 416M 8% /boot

df -i

Dateisystem Inodes IBenutzt IFrei IUse% Eingehängt auf
/dev/md2 182607872 138048 182469824 1% /
udev 4111506 412 4111094 1% /dev
tmpfs 4113667 964 4112703 1% /run
tmpfs 4113667 1 4113666 1% /dev/shm
tmpfs 4113667 5 4113662 1% /run/lock
tmpfs 4113667 13 4113654 1% /sys/fs/cgroup
/dev/md0 124928 328 124600 1% /boot

DU-Abfrage

du / --max-depth=1 / | sort -n | tail -n 10
du: Zugriff auf „/proc/20052/task/20052/fd/4“ nicht möglich: Datei oder Verzeichnis nicht gefunden
du: Zugriff auf „/proc/20052/task/20052/fdinfo/4“ nicht möglich: Datei oder Verzeichnis nicht gefunden
du: Zugriff auf „/proc/20052/fd/4“ nicht möglich: Datei oder Verzeichnis nicht gefunden
du: Zugriff auf „/proc/20052/fdinfo/4“ nicht möglich: Datei oder Verzeichnis nicht gefunden
du: Zugriff auf „/proc/20084“ nicht möglich: Datei oder Verzeichnis nicht gefunden
du: Zugriff auf „/proc/20085“ nicht möglich: Datei oder Verzeichnis nicht gefunden
du: Zugriff auf „/proc/20086“ nicht möglich: Datei oder Verzeichnis nicht gefunden
du: Zugriff auf „/proc/20087“ nicht möglich: Datei oder Verzeichnis nicht gefunden
8592 /etc
9116 /bin
31028 /boot
209772 /lib
233872 /root
308816 /home
640764 /run
1119988 /usr
2412768 /var
4981444 /


# du --max-depth=1 /var/ | sort -n | tail -n 10
4 /var/tmp
36 /var/mail
4880 /var/spool
5048 /var/backups
64632 /var/cache
287776 /var/www
321804 /var/log
686124 /var/lib
1042684 /var/customers
2413000 /var/

mdadm.conf

ARRAY /dev/md/0 metadata=1.2 UUID=da2f42b3:d5d3a38c:c7b50ce5:522e7c7d name=delta2212:0
ARRAY /dev/md/1 metadata=1.2 UUID=596343ba:db38e8c5:f605db54:b930dbe1 name=delta2212:1
ARRAY /dev/md/2 metadata=1.2 UUID=248a7d16:8d78aac7:541d2f9f:5621a75e name=delta2212:2

cat /proc/mdstat

Personalities : [raid1]
md2 : active raid1 sda4[0] sdb4[1]
2921632768 blocks super 1.2 [2/2] [UU]
bitmap: 7/22 pages [28KB], 65536KB chunk

md1 : active raid1 sda3[0] sdb3[1]
7996416 blocks super 1.2 [2/2] [UU]

md0 : active raid1 sda2[0] sdb2[1]
499392 blocks super 1.2 [2/2] [UU]

unused devices: <none>

# mdadm --detail /dev/md2
/dev/md2:
Version : 1.2
Creation Time : Fri Apr 21 13:53:45 2017
Raid Level : raid1
Array Size : 2921632768 (2786.29 GiB 2991.75 GB)
Used Dev Size : 2921632768 (2786.29 GiB 2991.75 GB)
Raid Devices : 2
Total Devices : 2
Persistence : Superblock is persistent

Intent Bitmap : Internal

Update Time : Thu Nov 22 16:32:32 2018
State : clean
Active Devices : 2
Working Devices : 2
Failed Devices : 0
Spare Devices : 0

Name : Delta....:2 (local to host xxxx....)
UUID : 248a7d16:8d78aac7:541d2f9f:5620a75e
Events : 92343

Number Major Minor RaidDevice State
0 8 4 0 active sync /dev/sda4
1 8 20 1 active sync /dev/sdb4



mdadm --detail /dev/md1
/dev/md1:
Version : 1.2
Creation Time : Fri Apr 21 13:53:45 2017
Raid Level : raid1
Array Size : 7996416 (7.63 GiB 8.19 GB)
Used Dev Size : 7996416 (7.63 GiB 8.19 GB)
Raid Devices : 2
Total Devices : 2
Persistence : Superblock is persistent

Update Time : Thu Nov 22 16:31:47 2018
State : clean
Active Devices : 2
Working Devices : 2
Failed Devices : 0
Spare Devices : 0

Name : delta2:1 (local to host xxxx....)
UUID : 596343ba:db38e8c5:f605db54:b970dbe1
Events : 76

Number Major Minor RaidDevice State
0 8 3 0 active sync /dev/sda3
1 8 19 1 active sync /dev/sdb3


mdadm --detail /dev/md0
/dev/md0:
Version : 1.2
Creation Time : Fri Apr 21 13:53:45 2017
Raid Level : raid1
Array Size : 499392 (487.77 MiB 511.38 MB)
Used Dev Size : 499392 (487.77 MiB 511.38 MB)
Raid Devices : 2
Total Devices : 2
Persistence : Superblock is persistent

Update Time : Thu Nov 22 16:30:52 2018
State : clean
Active Devices : 2
Working Devices : 2
Failed Devices : 0
Spare Devices : 0

Name : ....:0 (local to host xxx)
UUID : da2f42b3:d5d3a38c:c7b50ce5:524e7c7d
Events : 113

Number Major Minor RaidDevice State
0 8 2 0 active sync /dev/sda2
1 8 18 1 active sync /dev/sdb2

Erneut. Egal ob ich Daten in /var/ lösche, oder auf / bzw /home/ , /dev/md2 bleibt bei einer Belegung von 100 %.
Habe daher ein Verständnisproblem. Raid-Festplatte sollte keine Auswirkung auf lokale Nutzung haben.
Leider fehlen mir weitere Ansätze, um das Problem zu verstehen und lokalisieren.

Was ich noch nicht probiert habe:
fsck , da ich die Auswirkungen nach unmount nicht kenne.
Neustart - Aus Angst nicht mehr an die Daten/Server zu kommen.


Danke für weitere Ansätze !

Euer Yi !

[Lord_Carlos]

Wie gross ist /var? 2GB?

Richtig cool waere jetzt ncdu. Aber das kannst du ja schlecht installieren wenn alles schon voll ist

[bluestar]

df -h
Dateisystem Größe Benutzt Verf. Verw% Eingehängt auf
/dev/md2 2,7T 2,7T 0 100% /

Er hat den Server nicht partitioniert, alles liegt auf /dev/md2 als /

Ich schätze mal dass du über 5% Speicherplatz freigeben musst, ergo mal locker 135GiB.

[heisenberg]

Also: Probiere mal ncdu zu installieren. Damit kommst Du am schnellsten zu den Platzverschwendern.

Ansonsten die du Ausgaben sind lesbarer(und immer noch sortierbar), wenn Du sie in MB anzeigen lässt:

Code: Alles auswählen

du -sm /* 2>/dev/null | sort -k +1n | tail -n10

Alternativ zu ncdu kannst Du Dir mehrstufig den Speicherplatz anzeigen lassen(In den Dateien s1.txt-s3.txt liegen die Ergebnisse):

Code: Alles auswählen

du -sm /* 2>/dev/null | sort -k +1n | tail -n20 >/s1.txt
du -sm /*/* 2>/dev/null | sort -k +1n | tail -n20 >/s2.txt
du -sm /*/*/* 2>/dev/null | sort -k +1n | tail -n20 >/s3.txt

Edit

Was mich irritiert ist die Anzeige von du

Die Angabe 4981444 ist sollte ja mit Blockgrösse 1K sein, das wären dann 5 GB. Die Platte ist aber 2,7T gross!

Edit 2

In /var/lib Ordner habe ich ebenfalls eine GBs gelöscht.

Na hoffentlich nicht /var/lib/mysql. Das wären dann nämlich die Nutzdaten Deines MySQL-Servers.

[DebianYi]

Es lief 1 Jahr recht gut.
135 GB finde ich auf den jeweiligen lokalen Ordnern nicht. Siehe Baumansicht.


ncu konnte ich installieren.
Auch hier schwierig das Problem zu lokalisieren
/ -------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
2,3GiB [##########] /var
1,1GiB [#### ] /usr
633,8MiB [## ] /run
301,6MiB [# ] /home
228,4MiB [ ] /root
204,9MiB [ ] /lib
30,3MiB [ ] /boot
8,9MiB [ ] /bin
8,4MiB [ ] /etc
6,3MiB [ ] /sbin
244,0KiB [ ] /tmp
e 16,0KiB [ ] /lost+found
12,0KiB [ ] /srv
8,0KiB [ ] /opt
4,0KiB [ ] /lib64
e 4,0KiB [ ] /mnt
e 4,0KiB [ ] /media
. 0,0 B [ ] /proc
0,0 B [ ] /sys
0,0 B [ ] /dev
@ 0,0 B [ ] initrd.img
@ 0,0 B [ ] vmlinuz
0,0 B [ ] grep


Auf ncdu /dev/md2/
kann ich nicht direkt zugreifen.

du -sm /* 2>/dev/null | sort -k +1n | tail -n10
7 /sbin
9 /bin
9 /etc
31 /boot
205 /lib
229 /root
302 /home
642 /run
1094 /usr
2364 /var



0 /s1.txt
0 /sys
0 /vmlinuz
1 /lib64
1 /lost+found
1 /media
1 /mnt
1 /opt
1 /srv
1 /tmp
7 /sbin
9 /bin
9 /etc
31 /boot
205 /lib
229 /root
302 /home
642 /run
1094 /usr
2364 /var

S2
5 /var/spool
8 /lib/systemd
10 /boot/grub
12 /lib/udev
15 /boot/initrd.img-3.16.0-4-amd64
16 /lib/x86_64-linux-gnu
21 /usr/include
38 /home/izensiert
46 /usr/sbin
64 /var/cache
155 /usr/bin
163 /lib/modules
265 /home/izensiert
282 /var/www
321 /var/log
408 /usr/share
464 /usr/lib
640 /run/log
671 /var/lib
1019 /var/customers

#S3.txt
44 /var/log/mail.log
51 /var/cache/apt
59 /var/www/phpMyAdmin
61 /usr/lib/gcc
75 /usr/lib/python2.7
79 /usr/lib/jvm
87 /home/izensiert
89 /usr/share/doc
96 /var/customers/tmp
110 /var/lib/apt
120 /home/izensiert
124 /var/log/tiger
127 /usr/share/locale
163 /lib/modules/3.16.0-4-amd64
181 /usr/lib/x86_64-linux-gnu
190 /var/www/zensiert
233 /var/lib/mysql
261 /var/lib/clamav
640 /run/log/journal
923 /var/customers/webs


Da sind keine großen Dateienbestände zu erkennen.
und 2,7T < schon gar nicht.
Kann es kein RAID-Defekt sein ?

[bluestar]

....
Da sind keine großen Dateienbestände zu erkennen.

Ich vermute mal du hast gelöschte aber noch geöffnete Dateien rumfliegen ... Versuch es mal mit einem Neustart des Servers.

[heisenberg]

Bitte nochmal die Ausgabe von

Code: Alles auswählen

df -i

[DebianYi]

hmmm

df -i
Dateisystem Inodes IBenutzt IFrei IUse% Eingehängt auf
/dev/md2 182607872 138048 182469824 1% /
udev 4111506 412 4111094 1% /dev
tmpfs 4113667 964 4112703 1% /run
tmpfs 4113667 1 4113666 1% /dev/shm
tmpfs 4113667 5 4113662 1% /run/lock
tmpfs 4113667 13 4113654 1% /sys/fs/cgroup
/dev/md0 124928 328 124600 1% /boot

[heisenberg]

Ich sehe gerade - hattest Du oben schon gezeigt. Ist allerdings unproblematisch.

Ja. ich würde auch mal rebooten. Natürlich ist nicht ausgeschlossen, dass der Server ein Problem beim starten hat.

Da bräuchtest Du dann jemanden, der mit einem Rettungssystem umgehen kann.

[heisenberg]

Kann es kein RAID-Defekt sein ?

Unwahrscheinlich. Der RAID-Status wird ja als ok angezeigt.

Ist schon seltsam. Das einzige, was mir noch einfällt, wären gelöschte aber noch offene Dateien, deren Speicherplatz deswegen noch nicht freigegeben ist. Ist aber schon ungewöhnlich in der Größenordnung.

Vor dem Reboot vielleicht nochmal ein Backup der wichtigsten Daten der Maschine ziehen, sofern Du das noch nicht hast.

Die MySQL-Datenbank ist ja vielleicht noch ok, weil, der Dienst glücklicherweise nicht gestartet ist.

[DebianYi]

Fall erledigt.
Offensichtlich lagen noch Verlinkungen im Kernel zu Dateien die gelöscht wurden.

Wie kann man diese einsehen, bzw löschen ?
Welchen Dienst muß man hier neustarten ?

[bluestar]

Fall erledigt.
Offensichtlich lagen noch Verlinkungen im Kernel zu Dateien die gelöscht wurden.

Wie kann man diese einsehen, bzw löschen ?

Code: Alles auswählen

LANG=C lsof | grep deleted

Welchen Dienst muß man hier neustarten ?

Keine Ahnung, wir wissen ja nicht welcher Dienst der Verursacher für die Probleme ist

[heisenberg]

Grundsätzlich ist ein regelmässiger Reboot des Servers nicht das schlechteste. So dass vielleicht auch mal ein neuer Kernel mit ein paar Sicherheitsfixes aktiv wird? Dabei würde so etwas mit erledigt.

Ich habe bei den meisten Systemen einen wöchentlichen Reboot drin. Ein kritisches System, das am besten Jahre nicht gebootet wurde, kann steigende Kopfschmerzen verursachen. Thema: Reboot-Festigkeit von Änderungen.