mariadb kaputt

[mitscherdinger]

Hi!

Habe vor kurzem auf meinem QNAP TS 219 (ein NAS) aufs aktuelle Debian stable geupdatet. Bis auf den aktuellen Kernel, den ich nicht einsetzen kann, weil er zu groß für den Flash-Speicher vom NAS ist, hat alles geklappt und funktioniert - ich nutze einfach den Kernel der Vorgängerversion.
Kürzlich hat meine Nextcloud-Instanz, die ich lediglich für CalDAV und CardDAV nutze, den Geist aufgegeben. Ich konnte schnell herausfinden, dass mariadb den Dienst verweigert. Bei systemd sieht das so aus:

● mariadb.service - MariaDB 10.5.11 database server
Loaded: loaded (/lib/systemd/system/mariadb.service; enabled; vendor preset: enabled)
Active: failed (Result: timeout) since Tue 2021-09-21 19:37:03 CEST; 5 days ago
Docs: man:mariadbd(8)
https://mariadb.com/kb/en/library/systemd/
Process: 1927 ExecStartPre=/usr/bin/install -m 755 -o mysql -g root -d /var/run/mysqld (code=exited, status=0/SUCCESS)
Process: 1928 ExecStartPre=/bin/sh -c systemctl unset-environment _WSREP_START_POSITION (code=exited, status=0/SUCCESS)
Process: 1930 ExecStartPre=/bin/sh -c [ ! -e /usr/bin/galera_recovery ] && VAR= || VAR=`cd /usr/bin/..; /usr/bin/galera_recovery`; [ $? -eq 0 ] && sy>
Main PID: 1977
Status: "Starting a batch to recover 264 pages from redo log"
Tasks: 9 (limit: 573)
CPU: 5d 12h 1min 29.757s
CGroup: /system.slice/mariadb.service
└─1977 /usr/sbin/mariadbd

Sep 21 18:52:04 rappelkiste mariadbd[1977]: 2021-09-21 18:52:04 0 [Note] InnoDB: Completed initialization of buffer pool
Sep 21 18:52:04 rappelkiste mariadbd[1977]: 2021-09-21 18:52:04 0 [Note] InnoDB: Starting crash recovery from checkpoint LSN=3579087031,3579087031
Sep 21 18:52:16 rappelkiste mariadbd[1977]: 2021-09-21 18:52:16 0 [Note] InnoDB: Starting a batch to recover 264 pages from redo log.
Sep 21 19:07:03 rappelkiste systemd[1]: mariadb.service: start operation timed out. Terminating.
Sep 21 19:22:03 rappelkiste systemd[1]: mariadb.service: State 'stop-sigterm' timed out. Skipping SIGKILL.
Sep 21 19:37:03 rappelkiste systemd[1]: mariadb.service: State 'final-sigterm' timed out. Skipping SIGKILL. Entering failed mode.
Sep 21 19:37:03 rappelkiste systemd[1]: mariadb.service: Failed with result 'timeout'.
Sep 21 19:37:03 rappelkiste systemd[1]: mariadb.service: Unit process 1977 (mariadbd) remains running after unit stopped.
Sep 21 19:37:03 rappelkiste systemd[1]: Failed to start MariaDB 10.5.11 database server.
Sep 21 19:37:03 rappelkiste systemd[1]: mariadb.service: Consumed 43min 49.276s CPU time.

Ich habe keine Ahnung, wo ich da ansetzen könnte, um das wieder zu reparieren. Das letzte mal, als ich mariadb mittels

Code: Alles auswählen

systemctl start mariadb.service

starten wollte, dauerte es wortwörtlich Minuten, bis die Konsole wieder frei war, um dann festzustellen, dass die Datenbank es nicht hinbekam, hochzufahren. Bestimmt gibt es Maintenance-Möglichkeiten, aber da kenne ich mich nicht aus.
Wäre dankbar für Hilfe!

[oln]

Moin,
schau mal ob das pidfile noch da ist unter "/var/run/mysqld/" .
Schau nach ob wirklich kein mariadb läuft (ps aux | grep mysql).
Nicht das da noch ein Zombie rum hängt.

[mitscherdinger]

Code: Alles auswählen

:~# ls -a /var/run/mysqld/
.  ..

pid-mäßig kommt nix bei rum. Aber auf htop nimmt mariadb quasi die komplette CPU-Power für sich in Anspruch.

Code: Alles auswählen

# ps aux|grep mariadb
mysql     1977 98.1 12.4 553948 31676 ?        Rsl  Sep21 7967:35 /usr/sbin/mariadbd

Dreht komplett hohl.

[oln]

Hast du ein Backup?
Wenn ja würde ich den Dienst killen und dann neu starten.
Es könnte aber sein, das der gerade mit einem Recovery zu tun hat. Das stand zumindest in deiner Ausgabe vom status.

[mitscherdinger]

Hast du ein Backup?

Nicht wirklich. Nein.

Wenn ja würde ich den Dienst killen und dann neu starten.
Es könnte aber sein, das der gerade mit einem Recovery zu tun hat. Das stand zumindest in deiner Ausgabe vom status.

Das Recovery läuft dann aber schon 'ne Woche.
Einfach weiter laufen lassen, bis es sich wieder fängt?

[oln]

Nee nach ner Woche kannst du getrost killen. Da läuft nix mehr.

[mitscherdinger]

Laufen tut da schon noch was. ~95% der CPU-Last geht auf Kosten der Datenbank. (Speicher zum Glück nur 12%.)
Und die Frage ist natürlich: Was mach ich nach dem Abschießen von mariadb? [Edit:]Neu starten hab ich schon versucht, kommt am Ende auf dasselbe raus: mariadb hängt in 'ner Endlosschleife fest.

[Bequimao]

Das sieht nicht gut aus. Zum Hintergrund Datenbankupgrade und redo logs siehe auch die Diskussion in

https://bugs.debian.org/cgi-bin/bugrepo ... bug=993219

Viele Grüße
Bequimão

[mitscherdinger]

Ich bin eigentlich davon ausgegangen, dass mariadb einwandfrei vor dem Upgrade auf Debian stable funktioniert hat. Ich habe mich sogar noch auf Nextcloud angemeldet, um zu checken, dass alles läuft. Ich hatte aber schon im Hinterkopf, endlich auf radicale zu wechseln, weil das für die alte Möhre einfach besser zu stemmen ist und hatte die ersten paar Schritte zur Migration schon angegangen. Und auf einmal hat mariadb gesponnen. Ich glaube aber nicht, dass das mit meinen ersten radicale-Schritten zu tun hat…