MySQL import ca. 100MB

Alle weiteren Dienste, die nicht in die drei oberen Foren gehören.
Antworten
roli
Beiträge: 3174
Registriert: 10.09.2003 17:39:58

MySQL import ca. 100MB

Beitrag von roli » 03.04.2009 09:41:11

Hi,

ich habe hier einen MySQL Export von ca. 100MB, der mit phpmyadmin erzeugt wurde.
Ich wuerde diese Datenbank jetzt gerne auf einem anderen Rechner "einspielen", was aber so erstmal scheitert.
Phpmyadmin/PHP allgemein/Apache hat eine einstellung "max_upload_size" oder so, die ich schon entsprechend aufgebohrt habe, hilft nix. Mysql hat die Einstellung "max_allowed_packet", auch die ist entsprechend angepasst, immer noch ohne Erfolg, ich bleibe nach wie vor bei der Fehlermeldung "MySQL server has gone away" haengen. Auch in der Konsole via "mysql -u root -p <my_db.sql" will er nicht.
Ich habe mir dann mal die Mühe gemacht die Datei in mundgerechte Stuecke zu zerlegen, damit ging's, ist aber halt recht muehsam. Kennt jemand einen bequemeren Weg?

<edit>
/etc/php5/apache2/php.ini

Code: Alles auswählen

; Maximum allowed size for uploaded files.
upload_max_filesize = 110M
Da gibts auch noch einen Parameter:

Code: Alles auswählen

; Maximum size of POST data that PHP will accept.
post_max_size = 8M
an dem habe ich allerdings nichts gedreht, ist das vielleicht schon ein Teil des Problems? Vermutlich aber nicht, das ich nach wie vor auch in der Konsole die Fehlermeldung erhalte

/etc/mysql/my.cnf

Code: Alles auswählen

max_allowed_packet	= 110M
</edit>
Roland


"Aber wenn du schon so unwissend bist, davon noch nicht gehört zu haben,
so will ich es doch als gut ansehen, daß du lieber einmal töricht fragst,
als weiterhin nichts von etwas zu wissen, das man doch wissen sollte."
aus "Die Edda des Snorri Sturluson", "Gylfis Täuschung"

goecke
Beiträge: 289
Registriert: 12.01.2007 11:57:27

Re: MySQL import ca. 100MB

Beitrag von goecke » 03.04.2009 10:52:27

Nix gegen phpmyadmin - für viele kleine,schnelle Sachen ist es gut, auch um mal eben
eine übersicht über die DB zu erhalten ok, aber für Backups ist es IMHO ungeeignet.

Nimm mysqldump!

Dazu musst du dich aber auf die Untiefen der Shell begeben.

Zitat von http://dev.mysql.com/doc/refman/5.1/de/mysqldump.html
Die häufigste Anwendung von mysqldump ist wahrscheinlich die Erstellung eines Backups einer vollständigen Datenbank:

Code: Alles auswählen

shell> mysqldump --opt db_name > backup-file.sql
Die Speicherauszugsdatei können Sie wie folgt wieder in den Server einlesen.

Code: Alles auswählen

shell> mysql db_name < backup-file.sql
HTH

EDIT:
formulierung korrigiert

roli
Beiträge: 3174
Registriert: 10.09.2003 17:39:58

Re: MySQL import ca. 100MB

Beitrag von roli » 03.04.2009 11:06:37

Hi,

du hast zu 100% recht, nur ...
Das Backup habe ich nicht selber gemacht. Ich musste es Dau-Sicher erklaehren, was ja soweit auch funktioniert hat. Bei Versuch 1 wurde einfach das Verzeichnis der Datebank mit allen *myd und *myi Dateien kopiert, und das noch im laufenden Betrieb.
Daher bin ich ja schon mal gluecklich ueber die 100MB Datei.
<edit>Die Datei waere durch mysqldump aber ja auch nicht kleiner geworden, oder? Bleibt also das Importproblem</edit>
Roland


"Aber wenn du schon so unwissend bist, davon noch nicht gehört zu haben,
so will ich es doch als gut ansehen, daß du lieber einmal töricht fragst,
als weiterhin nichts von etwas zu wissen, das man doch wissen sollte."
aus "Die Edda des Snorri Sturluson", "Gylfis Täuschung"

goecke
Beiträge: 289
Registriert: 12.01.2007 11:57:27

Re: MySQL import ca. 100MB

Beitrag von goecke » 03.04.2009 11:29:10

kleiner wäre das File mit

Code: Alles auswählen

shell> mysqldump --opt db_name | bzip2 > backup-file.sql.bz2
Ist de phpmyadmin export nicht auch ein SQL-File (habe ich nich ausprobiert)

dann sollte doch

Code: Alles auswählen

shell> mysql db_name < backup-file.sql
gehen.

im Zweifel das File einmal editieren

HTH

roli
Beiträge: 3174
Registriert: 10.09.2003 17:39:58

Re: MySQL import ca. 100MB

Beitrag von roli » 03.04.2009 11:42:50

Hi,

der phpmyadmin Export ist reine SQL bzw. DDL, aber halt ca. 100MB. Die groesste Tabelle hat so ca. 350 000 Records, und da sind noch welche, die auch ein wenig größer sind wie ein durchschnittliches privates Adressbuch :wink:
Den Import auf'fe Konsole habe ich mit

Code: Alles auswählen

mysql -u root -p <my_db.sql
versucht (my_db.sql=100MB Datei), und musste dann jeweils lesen "MySQL server has gone away" ...
Daher bin ich dann hingegangen, und habe die Datei "zerpflueckt". Das geht wenn man's nur einmal machen muss, ansonsten ist's halt eine Aufgabe fuer einen der/die Vater und Mutter erschlagen hat.

Ich erweiter einfach mal meine Frage, was war der groesste Brocken den Ihr mal nach MySQL Importiert habt? Wie/womit, welche Einstellungen in der Konfig, ... ?
Roland


"Aber wenn du schon so unwissend bist, davon noch nicht gehört zu haben,
so will ich es doch als gut ansehen, daß du lieber einmal töricht fragst,
als weiterhin nichts von etwas zu wissen, das man doch wissen sollte."
aus "Die Edda des Snorri Sturluson", "Gylfis Täuschung"

diggerchen
Beiträge: 115
Registriert: 15.01.2005 22:35:26

Re: MySQL import ca. 100MB

Beitrag von diggerchen » 03.04.2009 12:01:06

roli hat geschrieben: (...)
Ich erweiter einfach mal meine Frage, was war der groesste Brocken den Ihr mal nach MySQL Importiert habt? Wie/womit, welche Einstellungen in der Konfig, ... ?
450 MB mit

Code: Alles auswählen

shell> mysql db-name < backup.sql
ohne irgendwelches Gestricke an der mysqld-Konfiguration und ohne Probleme. Verrät der Server vielleicht im Log warum er "away" gegangen ist?

roli
Beiträge: 3174
Registriert: 10.09.2003 17:39:58

Re: MySQL import ca. 100MB

Beitrag von roli » 03.04.2009 12:13:59

diggerchen hat geschrieben:

Code: Alles auswählen

shell> mysql db-name < backup.sql
ohne irgendwelches Gestricke an der mysqld-Konfiguration und ohne Probleme. Verrät der Server vielleicht im Log warum er "away" gegangen ist?
Noop, mir ist nichts aufgefallen, ich seh's mir aber nochmal an.

Wenn ich jetzt irgendwann mal aufhoere zu Antworten bin ich in Urlaub und gluecklich offline. Dann gehts Ostern erst weiter!
Roland


"Aber wenn du schon so unwissend bist, davon noch nicht gehört zu haben,
so will ich es doch als gut ansehen, daß du lieber einmal töricht fragst,
als weiterhin nichts von etwas zu wissen, das man doch wissen sollte."
aus "Die Edda des Snorri Sturluson", "Gylfis Täuschung"

roli
Beiträge: 3174
Registriert: 10.09.2003 17:39:58

Re: MySQL import ca. 100MB

Beitrag von roli » 13.04.2009 16:35:25

Hi,

nachdem ich die php Config (upload_file_size, ...) angepasst hatte, habe ich jetzt eben noch "big-tables" in die my.cnf aufgenommen habe siehts schon besser aus, der Import laeuft seit ca. 1 Minute
<edit>Abbruch mit:

Code: Alles auswählen

 MySQL meldet: Dokumentation
#1153 - Empfangenes Paket ist größer als 'max_allowed_packet' Bytes 
aber auch das laesst sich ja aendern ;-} </edit>
Roland


"Aber wenn du schon so unwissend bist, davon noch nicht gehört zu haben,
so will ich es doch als gut ansehen, daß du lieber einmal töricht fragst,
als weiterhin nichts von etwas zu wissen, das man doch wissen sollte."
aus "Die Edda des Snorri Sturluson", "Gylfis Täuschung"

roli
Beiträge: 3174
Registriert: 10.09.2003 17:39:58

Re: MySQL import ca. 100MB

Beitrag von roli » 13.04.2009 16:50:53

Hi,

die Datenbank ist importiert!

Dazu habe ich in der php.ini folgende Parameter angepasst:
post_max_size = 120M
upload_max_filesize = 120M
memory_limit = 256M

und in der my.cnf in der Sektion [mysqld]:
big-tables
max_allowed_packet = 120M
Roland


"Aber wenn du schon so unwissend bist, davon noch nicht gehört zu haben,
so will ich es doch als gut ansehen, daß du lieber einmal töricht fragst,
als weiterhin nichts von etwas zu wissen, das man doch wissen sollte."
aus "Die Edda des Snorri Sturluson", "Gylfis Täuschung"

Antworten