[gelöst] SQL "load data infile" mit mehreren .txt aus ordner

[carnage]

hey,
ich habe einen ordner mit (teils bis zu mehreren hundert) .txt files diese möchte ich mit dem "LOAD DATA FILE" alle in den selben TABLE laden, habe allerdings derzeit keine ahnung wie ich dies bewerkstelligen soll. der befehl funktioniert mit einem file ganz gut, nur möchte ich eben den kompletten ordnerinhalt (mehrere .txt files) zugleich mit einem befehl laden, ohne diese alle namentlich angeben zu müssen.

bitte um hilfe und danke im voraus.

(debian 6, mysql, alle files (alle .txt) alle im selben ordner)

[Cae]

Ich bin da möglicherweise nicht nah genug dran, aber in meiner Vorstellung willst du ein SQL-Skript, was irgendwelche Vorbereitungen macht und dann für jede Datei einen "LOAD DATA FILE"-Abschnitt hat. Richtig?

Code: Alles auswählen

$ cat mksql.sh
#!/bin/sh
cat >sql-script <<EOF
-- irgendwas hier
USE mydb -- oder so
EOF
find . -name '*.txt' -exec 'echo "LOAD DATA FILE {}" >>sql-script' \;
$

Oben, zwischen <<EOF und EOF kannst du irgendwelchen SQL-Krempel eintragen, der am Anfang stehen soll. find schreibt für jedes *.txt im aktuellen Verzeichnis rekursiv (!), also auch in Unterverzeichnissen (-maxdepth, siehe Manpage) einen Eintrag in's Skript.

Willkommen im Forum!

Gruß Cae

[Methusalix]

Hallo,
wenn die Daten der txt-Dateien alle in die gleiche Tabelle geschrieben werden sollen, müssen sie auch alle
die gleiche Struktur haben. Ein ganz simpler Ansatz wäre dann, die Dateien erst zu verschmelzen. Also etwa:

Code: Alles auswählen

cat Daten1.txt Daten2.txt [...] > Datenkomplett.txt

bzw. das über eine Schleife zu realisieren und sie dann in mysql einzulesen.
Gruß M.

[carnage]

hat sich erledigt. und so hats funktioniert:

Code: Alles auswählen

for item in `ls *.txt`
do
mysql --local-infile -u xxx --password="xxx"<< EOF
use xxx
LOAD DATA INFILE 'xxx/xxx/$item'
INTO TABLE xxx
FIELDS
TERMINATED BY ","
ENCLOSED BY ""
LINES TERMINATED BY "\n";
EOF
echo $item
done

trotzdem danke für die hilfe

[Cae]

Code: Alles auswählen

for item in `ls *.txt`

Hint: Das entspricht

Code: Alles auswählen

for item in *.txt

– da braucht man keine Subshell und kein ls.

hat sich erledigt. und so hats funktioniert:

Schön!

Gruß Cae

[rendegast]

– da braucht man keine Subshell und kein ls.

Aber ein wichtiger Unterschied:

Code: Alles auswählen

$ for i in `ls *.txt` ; do echo $i ; done
ls: Zugriff auf *.txt nicht möglich: Datei oder Verzeichnis nicht gefunden

$ for i in *.txt ; do echo $i ; done
*.txt

Mit der ls-Formulierung wird die Schleife gerade nicht ausgeführt, wenn kein *.txt da ist.

Mit der ls-Formulierung gibt wieder andere Probleme:

Code: Alles auswählen

$ for i in `ls *.txt` ; do echo $i ; done
aa.txt
bb.txt
cc
dd.txt

Die beiden Probleme berücksichtigt müßte es zumindest

Code: Alles auswählen

ls *.txt   &&   for i in *.txt ; do echo $i ; done