MySQL und FTP-Backup - diverse Fragen

[Afox]

Hallo zusammen,

ich bin schon seit geraumer Zeit auf der Suche nach einer passenden Backup-Lösung, die mein System nicht so sehr belastet und dabei folgende Kriterien erfüllt:

• inkrementelle Backups der MySQL-Datenbank und der FTP-Daten in sehr häufiger Taktung (stündlich)
• das Backup/die Synchronisation kann per SFTP oder rsync geschehen (für Alternativen bin ich aber offen)
• keine Sperrung der Datenbank währenddessen
• (kann separat gelöst werden) regelmäßige Erzeugung von komprimierten Dateien von den FTP-Daten (und ggf. der Datenbank)

ich habe schon viel über binary-Logging gelesen und der größte Kritikpunkt scheint eine deutlich geringere Performance der Datenbank zu sein. daher bin ich mir dahingehend unsicher....

Auf dem betroffenen System habe ich alle Freiheiten und nutze OpenVZ-Container mit Debian 7.

Für ein paar Tipps bin ich sehr dankbar.

Grüße,

Afox

[minimike]

Hmm wenn die DB hochperformant ohne Unterbrechungen laufen soll dann wäre eine Master - Slave Löung interessant. Wobei dann der Slave gebackuped wird. Du kannst mit Bacula platzsparend via Dedup sichern oder dir mal MySQL-Hotcopy anschauen. Was bei meiner Überlegung doof ist, wäre das die Replikation auf dem Slave vor dem Backup gestopt und danach wieder gestartet werden muss. Und das ganze frisst zusätzlich Resourcen

[ericle]

Hallo

Welche Engine?

keine Sperrung der Datenbank währenddessen

Schwierig, zumindest ein flush tables with read lock sollte schon sein...

Was die binär-logs und Performance betrifft kommt es darauf an ob du eher viele Schreibvorgänge oder Lesevorgänge auf deiner DB hast. Klar kosten die binär-logs etwas Resourcen aber wenn es das System hergibt ist dies das kleinere Übel sollte der Server wirklich mal abrauchen.

Zu Mysql-Hotcopy, kann kein INNODB und Lockt die DB sowieso.

Master - Slave wäre eine Möglichkeit oder eben hin und wieder die Binär Daten Konsistent sichern (mit Lock) und Binär-Logs aktivieren auf speratem Laufwerk oder gar Server.

[Afox]

hallo, die Engine ist MyISAM. Das System liegt auf SSDs und besitzt zusätzlich SAS Festplatten für die Datensicherung. Diese können aber nicht direkt eingebunden werden sondern nur per SSH, SFTP oder rsync.

Was aber möglich wäre, wäre ein zusätzlicher Container auf den Festplatten, der als Replikation dienen könnte. Allerdings wüsste ich hier nicht, wie ich die Daten konsistent mit der mysql-Replikation halten soll... (es handelt sich um einen Webserver)

wäre es theoretisch auch möglich die binlogs zu aktivieren und regelmäßiger mit z.B. rsync zu synchronisieren? oder gibt es da Probleme mit der Konsistenz?

Gruß,

Afox

[ericle]

Hallo

Eine Master-Slave Umgebung hält das ganze schon von sich aus Konsistent. Allerdings werden auf dem Slave auch Daten gelöscht. Inwieweit das dann als Sicherung dienen kann...hmm eigentlich ja eher weniger. Du hast dann eine zusätzliche Ausfallsicherheit aber eine echte Sicherung Stand so und so wäre dies weniger.

Binär-Logs sind eine Möglichkeit. Rettet dich aber nicht davor hin und wieder ein Vollbackup der Kiste durchzuführen. Rsync sollte das eigentlich ordentlich hinbekommen.
Kommt der Rsync allerdings gerade in dem Moment in dem die Log geschrieben wird kann es zu Inkonsistenz kommen. Eventuell hilft hier ein Script was zuerst die Bin-Logs weiterschaltet und dann alles Synct bis auf die aktuelle Bin-Log welche zum schreiben genutzt wird.
Wobei in den Bin-Logs auch löschen / ändern Befehle enthalten sind...also eigentlich auch wieder keine "echte" Sicherung Stand so und so.

Kann dein System Dateisystem Snapshots?
Wie groß ist die DB? Gibt es wirklich nie einen Zeitpunkt in dem die DB kurz Schreibgesperrt sein kann?

Bleibt dann eigentlich nur noch Master-Slave mit etwas Scriptaufwand. Replikation anhalten -- Slave sichern -- Replikation fortsetzen.

[Afox]

Hallo,

Eine Master-Slave Umgebung hält das ganze schon von sich aus Konsistent.

du sprichst von mysql Master-Slave Replikation, richtig? was ist mit Änderungen des Dateisystems (z.B. hochgeladene Dateianhänge etc.)

Kann dein System Dateisystem Snapshots?

Es werden täglich in der Nacht Snapshots aller Container und KVMs durchgeführt.

Wie groß ist die DB? Gibt es wirklich nie einen Zeitpunkt in dem die DB kurz Schreibgesperrt sein kann?

Aktuell in der Einrichtungsphase noch nicht so groß, die my.conf wurde aber auf eine DB bis 10 Gigabyte eingestellt. Also schwer zu sagen im aktuellen Zustand ob es diese Größe erreichen wird.
Bei einer Sperrung kommt es darauf an wie lange diese wäre. Ein paar Sekunden sind sicher verkraftbar, wenn auch eher ungern .

Gruß,

Afox

[ericle]

Es werden täglich in der Nacht Snapshots aller Container und KVMs durchgeführt.

Du hast doch dann deine Sicherungen? Aber auch hier muss das Dateisystem und die DB in einen Konsistenten Zustand versetzt werden. Du kannst keinen Snapshot während deine Myisam Tabellen noch irgendwo im RAM liegen...naja können schon wird beim Restore aber Spaß bringen.

[Afox]

Ja das Problem dabei ist, dass diese nur maximal täglich gemacht werden und dass diese Sicherungen den kompletten Container sichern.

Ich bin ja auf der Suche nach einer häufigeren, stündlichen Lösung, die während dem laufenden Betrieb gemacht werden kann und dessen Umfang so gering wie möglich ausfällt (Datenbank+HTML-Daten).

[ericle]

Dann bleibt nur Master - Slave Konstellation und evtl. etwas Scripting. Die Dumps ziehst du dann vom Slave, die Replikation muss zuvor angehalten and anschließend fortgesetzt werden.

Die html Daten kannst du ja einfach mit rsync synchron halten oder in Archive packen oder sonst irgendwas wenn du "gefrorene" Zustände willst.