Texte aus websteite in datei kopieren

Vom einfachen Programm zum fertigen Debian-Paket, Fragen rund um Programmiersprachen, Scripting und Lizenzierung.
Antworten
Thoeoyi
Beiträge: 198
Registriert: 30.03.2004 12:49:11
Lizenz eigener Beiträge: GNU General Public License

Texte aus websteite in datei kopieren

Beitrag von Thoeoyi » 23.04.2006 10:49:36

ich müsste für die schule aus http://www.markenfirmen.com/ jedes einzellne Unternehmen anklicken und die texte über diese Firmen rauskopieren.

Ich hab mir überlegt das ich das am besten mit einen script löse. Sprich scipt öffnet immer die einzellnen Firmen und gibt den text dann in eine text datei hintereinander aus.

Ich weiß jetzt leider nicht wie ich das anstellen muss.

Vielleicht könnte mir ja jemand von euch weiterhelfen ;)

Benutzeravatar
finupsen
Beiträge: 1327
Registriert: 21.04.2004 20:07:05
Lizenz eigener Beiträge: MIT Lizenz
Wohnort: Dortmund
Kontaktdaten:

Beitrag von finupsen » 23.04.2006 11:42:44

hallo,

schau dir mal das programm wget an ...
Niemand hat vor eine zentrale Datensammelbehörde aufzubauen. Es handelt sich vielmehr um dezentrale IT-Systeme die miteinander vernetzt werden.
... und Wasser ist naß.

Benutzeravatar
FANA
Beiträge: 482
Registriert: 30.03.2005 17:50:55

Beitrag von FANA » 23.04.2006 23:31:07

1. mkdir txt
2. cd txt
3. wget http://www.markenfirmen.com/content.htm
4. grep -i firmen content.htm | grep htm | awk -F\/ '{ print $2 }' | sed 's/\.htm\"//g' > liste.txt
5. for i in $(cat liste.txt) ; do lynx -dump http://www.markenfirmen.com/firmen/$i.htm > $i.txt ; done

Thoeoyi
Beiträge: 198
Registriert: 30.03.2004 12:49:11
Lizenz eigener Beiträge: GNU General Public License

Beitrag von Thoeoyi » 26.04.2006 19:09:42

big thx

Antworten