MariaDB und "parallel import" möglich?

[mistersixt]

Moin moin,

wenn man ein Mysql-Dump macht zwecks Backup seiner DB, geht das auch bei grösseren Datenmengen einigermassen flott, der Mysql-Restore dagegen - weil Single-Threaded - braucht dann aber ein Vielfaches länger.

Nun habe ich gelesen, dass es ab MySQL Version 8 eine neue "Shell" gibt, die "Parallel Table Import" unterstützt. Bei MariaDB gibt es sowas nicht soweit ich das richtig gelesen habe, oder habe ich in der Doku noch nicht die richtige Stelle gefunden? Weiss da evtl. Jemand genau bescheid?

Danke im Voraus,

Gruss, mistersixt.

[feltel]

selbst noch nicht ausprobiert, aber Multi-Threading sollte auch beim Import gehen: https://mariadb.com/kb/en/how-to-quickl ... o-mariadb/

[mistersixt]

Mmmh, nee, das sieht eher so aus, als wenn man in eine vorhandene DB und Tabelle Daten "importieren" kann --- einen Dump zum Wiederherstellen einer kompletten DB zum Beispiel geht damit eher nicht, wenn ich das richtig gelesen habe.

Aber danke trotzdem, sah im ersten Momenz vielversprechend aus !

Gruss, mistersixt.

[hec_tech]

Die Frage ist was verstehst du unter groß?

Ab einer gewissen Größe halte ich Dumps nicht mehr für die Backupmethode der Wahl.
Da arbeite ich eigentlich nur mehr mit Snapshots und kann Datenbanken egal wie groß in Sekunden wiederherstellen.

Es ist aber auch immer eine Frage wieviel Downtime zulässig ist.

[mistersixt]

Die Frage ist was verstehst du unter groß?

Ab einer gewissen Größe halte ich Dumps nicht mehr für die Backupmethode der Wahl.
Da arbeite ich eigentlich nur mehr mit Snapshots und kann Datenbanken egal wie groß in Sekunden wiederherstellen.

Es ist aber auch immer eine Frage wieviel Downtime zulässig ist.

Beispielsweise bei einer ca. 100GB grossen DB mit ca. 20 Tabellen, wobei die grösste Tabelle ca. 25 GB gross ist, kann das schon mehrere Stunden dauern, trotz einigermassen flotter CPU und RAID1+0. Der Dump dagegen ist ratz-fatz erledigt, keine halbe Stunde.

Wundert mich, dass es da nichts "Schnelleres" gibt, ausser halt mit ganz anderen Mitteln zu arbeiten wie Snapshots.

Gruss, mistersixt.

[jph]

Wundert mich, dass es da nichts "Schnelleres" gibt, ausser halt mit ganz anderen Mitteln zu arbeiten wie Snapshots.

Bei PostgreSQL macht man bspw. das hier: https://www.postgresql.org/docs/11/cont ... iving.html

[heisenberg]

Da arbeite ich eigentlich nur mehr mit Snapshots und kann Datenbanken egal wie groß in Sekunden wiederherstellen.

Wie bekommst Du die DB-Daten(db=mysql?) Snapshots konsistent? (globaler kurzzeitiger dbms lock? (aka "flush tables with read lock;"))

Wundert mich, dass es da nichts "Schnelleres" gibt, ausser halt mit ganz anderen Mitteln zu arbeiten wie Snapshots.

Schneller als logische Dumps sind da noch physische Backups. (Percona XtraBackup für mysql oder maria-backup für mariadb). Wenn da das Storage genug Performance hat, dann sollte das recht zügig gehen. Ich verwende selbst kaum physische Backups(nur bei einer grösseren Postgres Umgebung).