Erweiterte Möglichkeiten Curl und wget und httrack?
Erweiterte Möglichkeiten Curl und wget und httrack?
Hallo Ihr,
ich möchte für eine Befragung im Rahmen meiner Dissertation Firmen einer bestimmten Branche anschreiben. Sagen wir Callcenter. Nun habe ich sie hier gefunden: https://www.branchenverzeichnis.org/ind ... callcenter
Mit curl und wget und httrack könnte ich ja vermutlich die Seiten auslesen.
Allerdings müßte ich die Firmen dann per Kontaktformular anschreiben, da die E-Mail-Adressen auf den Unterseiten selbst nicht verlinkt sind.
Kann ich das aber trotzdem irgendwie hinbekommen? Die Kontaktformulare haben ja eine eindeutige php-URL...?
Wie würdet Ihr an das Problem herangehen? Alternativ könnte ich auch die POIs aus Openstreetmap auswerten, aber da stehen auch nur selten E-Mail-Adressen von Firmen drin...
Viele Grüße
Desputin
ich möchte für eine Befragung im Rahmen meiner Dissertation Firmen einer bestimmten Branche anschreiben. Sagen wir Callcenter. Nun habe ich sie hier gefunden: https://www.branchenverzeichnis.org/ind ... callcenter
Mit curl und wget und httrack könnte ich ja vermutlich die Seiten auslesen.
Allerdings müßte ich die Firmen dann per Kontaktformular anschreiben, da die E-Mail-Adressen auf den Unterseiten selbst nicht verlinkt sind.
Kann ich das aber trotzdem irgendwie hinbekommen? Die Kontaktformulare haben ja eine eindeutige php-URL...?
Wie würdet Ihr an das Problem herangehen? Alternativ könnte ich auch die POIs aus Openstreetmap auswerten, aber da stehen auch nur selten E-Mail-Adressen von Firmen drin...
Viele Grüße
Desputin
https://www.daswirdmanjawohlnochsagenduerfen.de
https://www.neoliberalyse.de - Über die Ökonomisierung aller Lebensbereiche. |
https://www.neoliberalyse.de - Über die Ökonomisierung aller Lebensbereiche. |
Re: Erweiterte Möglichkeiten Curl und wget und httrack?
Du kommst auch über das Kontaktformular nicht an die Mailadresse – das ist ja der Sinn solcher Formulare. Die Adressen befinden sich in der Datenbank – du müsstest also Zugriff darauf erlangen.
Allerdings haben die meisten Seitenbetreiber etwas dagegen, wenn man sich Zugriff auf nichtöffentliche Daten verschafft, und reagieren etwas verstimmt – erstatten Anzeigen, und solche Sachen.
Allerdings haben die meisten Seitenbetreiber etwas dagegen, wenn man sich Zugriff auf nichtöffentliche Daten verschafft, und reagieren etwas verstimmt – erstatten Anzeigen, und solche Sachen.
Re: Erweiterte Möglichkeiten Curl und wget und httrack?
Du kannst dir unter Kontaktdaten die Visitenkarten herunterladen, darin findest du auch die E-Mail-Adressen.desputin hat geschrieben:21.02.2022 11:39:51Allerdings müßte ich die Firmen dann per Kontaktformular anschreiben, da die E-Mail-Adressen auf den Unterseiten selbst nicht verlinkt sind.
Re: Erweiterte Möglichkeiten Curl und wget und httrack?
@desputin
Kein Wunder, dass es so wenig Firmen Befragungen ausfüllen. An deiner Stelle würde ich die Firmen direkt und möglichst persönlich anschreiben.
Wie machst du denn die Umfrage? Welchen Anbieter oder Tool nutzt du denn? Davon hängt bei mir immer ab, ob ich an Umfragen teilnehme.
Kein Wunder, dass es so wenig Firmen Befragungen ausfüllen. An deiner Stelle würde ich die Firmen direkt und möglichst persönlich anschreiben.
Wie machst du denn die Umfrage? Welchen Anbieter oder Tool nutzt du denn? Davon hängt bei mir immer ab, ob ich an Umfragen teilnehme.
Re: Erweiterte Möglichkeiten Curl und wget und httrack?
Hallo Ihr,
na, mein Anliegen ist ja nicht, Werbung oder Spam zu verschicken, sondern eine wissenschaftliche Fragestellung. Damit ist mein Anliegen ja sozusagen gemeinnützig.
Es geht darum, Unternehmen darüber zu befragen, ob und unter welchen Rahmenbedingungen sie bereit wären, eingewanderte Menschen in ausschließlichen Homeoffice-Jobs zu beschäftigen, wenn diese von peripheren/abgelegenen/strukturschwachen Regionen aus arbeiten.
Bin mir nicht sicher, ob es vielleicht bessere Quellen gibt, aber ich bin mir sicher, die IHKs rücken keine Kontaktdaten an Wissenschaftler raus. Und was soll man sonst tun, um an solche Infos ranzukommen? Bei einer quantitativen Untersuchung reicht es ja nicht, wenn ich jede Firma aufwendig manuell recherchiere. Bei einer Rücklaufwahrscheinlichkeit von 5-10%... Ich will ja auch keine "geheimen" Daten, sondern ausschließlich öffentlich verfügbare nutzen...
Wegen der Technik, ich verstehe, ich muß einfach diese Strings herausfinden "id=9999" und dann per curl das so runterladen:
https://www.branchenverzeichnis.org/vcard.php?id=9999
na, mein Anliegen ist ja nicht, Werbung oder Spam zu verschicken, sondern eine wissenschaftliche Fragestellung. Damit ist mein Anliegen ja sozusagen gemeinnützig.
Es geht darum, Unternehmen darüber zu befragen, ob und unter welchen Rahmenbedingungen sie bereit wären, eingewanderte Menschen in ausschließlichen Homeoffice-Jobs zu beschäftigen, wenn diese von peripheren/abgelegenen/strukturschwachen Regionen aus arbeiten.
Bin mir nicht sicher, ob es vielleicht bessere Quellen gibt, aber ich bin mir sicher, die IHKs rücken keine Kontaktdaten an Wissenschaftler raus. Und was soll man sonst tun, um an solche Infos ranzukommen? Bei einer quantitativen Untersuchung reicht es ja nicht, wenn ich jede Firma aufwendig manuell recherchiere. Bei einer Rücklaufwahrscheinlichkeit von 5-10%... Ich will ja auch keine "geheimen" Daten, sondern ausschließlich öffentlich verfügbare nutzen...
Wegen der Technik, ich verstehe, ich muß einfach diese Strings herausfinden "id=9999" und dann per curl das so runterladen:
https://www.branchenverzeichnis.org/vcard.php?id=9999
https://www.daswirdmanjawohlnochsagenduerfen.de
https://www.neoliberalyse.de - Über die Ökonomisierung aller Lebensbereiche. |
https://www.neoliberalyse.de - Über die Ökonomisierung aller Lebensbereiche. |
Re: Erweiterte Möglichkeiten Curl und wget und httrack?
Zielführender und seriöser wäre es, wenn du dich an den entsprechenden Branchen-/Interessenverband wenden würdest und ihnen dein Anliegen mitteilst. Allerdings werden die dir auch keine Adressen rausrücken (DSGVO!), sondern sich höchstens als Vermittler anbieten. Das verschafft dir aber eine Reihe von Vorteilen: Du wirst erstens ernst genommen, zweitens dürfte deine Rücklaufquote steigen und drittens bekommst du Daten genau aus dem Panel welches du untersuchen willst. Du hast also weniger Grundrauschen was du nachher herausfiltern musst.
Re: Erweiterte Möglichkeiten Curl und wget und httrack?
Ja, das stimmt schon. Ich schau mal, welche Institutionen da in Frage kommen.
https://www.daswirdmanjawohlnochsagenduerfen.de
https://www.neoliberalyse.de - Über die Ökonomisierung aller Lebensbereiche. |
https://www.neoliberalyse.de - Über die Ökonomisierung aller Lebensbereiche. |
Re: Erweiterte Möglichkeiten Curl und wget und httrack?
Ich weiß ja nicht wie es woanders auf der Welt ist aber hier in .at kann man Adresse von Unternehmen bei der WKO bestellen: https://www.wko.at/service/oe/adressens ... mmern.htmlTintom hat geschrieben:21.02.2022 23:28:58Allerdings werden die dir auch keine Adressen rausrücken (DSGVO!), sondern sich höchstens als Vermittler anbieten.
Zumindest die postalische Adresse ist ja auch im Gewerberegister verfügbar und die WKO schreibt sie dürfen das auch weitergeben (nur keine Telefonnummern und E-Mails).
Über diesen "Trick" bekommt man als Unternehmer auch ganz schön viel Werbepost... :/
Re: Erweiterte Möglichkeiten Curl und wget und httrack?
Danke für den Hinweis. Da schaue ich mal nach. Ich fürchte aber, in Deutschland herrscht die Kleinstaaterei vor. Die Handelskammern scheinen ausschließlich auf Ebene der Bundesländer zu existieren. Ich recherchiere aber mal.
https://www.daswirdmanjawohlnochsagenduerfen.de
https://www.neoliberalyse.de - Über die Ökonomisierung aller Lebensbereiche. |
https://www.neoliberalyse.de - Über die Ökonomisierung aller Lebensbereiche. |