Erweiterte Möglichkeiten Curl und wget und httrack?

Gemeinsam ins Internet mit Firewall und Proxy.
Antworten
Benutzeravatar
desputin
Beiträge: 1349
Registriert: 24.04.2015 17:16:34

Erweiterte Möglichkeiten Curl und wget und httrack?

Beitrag von desputin » 21.02.2022 11:39:51

Hallo Ihr,

ich möchte für eine Befragung im Rahmen meiner Dissertation Firmen einer bestimmten Branche anschreiben. Sagen wir Callcenter. Nun habe ich sie hier gefunden: https://www.branchenverzeichnis.org/ind ... callcenter

Mit curl und wget und httrack könnte ich ja vermutlich die Seiten auslesen.
Allerdings müßte ich die Firmen dann per Kontaktformular anschreiben, da die E-Mail-Adressen auf den Unterseiten selbst nicht verlinkt sind.

Kann ich das aber trotzdem irgendwie hinbekommen? Die Kontaktformulare haben ja eine eindeutige php-URL...?
Wie würdet Ihr an das Problem herangehen? Alternativ könnte ich auch die POIs aus Openstreetmap auswerten, aber da stehen auch nur selten E-Mail-Adressen von Firmen drin...

Viele Grüße
Desputin
https://www.daswirdmanjawohlnochsagenduerfen.de
https://www.neoliberalyse.de - Über die Ökonomisierung aller Lebensbereiche. |

DeletedUserReAsG

Re: Erweiterte Möglichkeiten Curl und wget und httrack?

Beitrag von DeletedUserReAsG » 21.02.2022 12:47:01

Du kommst auch über das Kontaktformular nicht an die Mailadresse – das ist ja der Sinn solcher Formulare. Die Adressen befinden sich in der Datenbank – du müsstest also Zugriff darauf erlangen.

Allerdings haben die meisten Seitenbetreiber etwas dagegen, wenn man sich Zugriff auf nichtöffentliche Daten verschafft, und reagieren etwas verstimmt – erstatten Anzeigen, und solche Sachen.

thoerb
Beiträge: 1686
Registriert: 01.08.2012 15:34:53
Lizenz eigener Beiträge: MIT Lizenz

Re: Erweiterte Möglichkeiten Curl und wget und httrack?

Beitrag von thoerb » 21.02.2022 13:00:26

desputin hat geschrieben: ↑ zum Beitrag ↑
21.02.2022 11:39:51
Allerdings müßte ich die Firmen dann per Kontaktformular anschreiben, da die E-Mail-Adressen auf den Unterseiten selbst nicht verlinkt sind.
Du kannst dir unter Kontaktdaten die Visitenkarten herunterladen, darin findest du auch die E-Mail-Adressen.

uname
Beiträge: 12406
Registriert: 03.06.2008 09:33:02

Re: Erweiterte Möglichkeiten Curl und wget und httrack?

Beitrag von uname » 21.02.2022 14:05:22

@desputin
Kein Wunder, dass es so wenig Firmen Befragungen ausfüllen. An deiner Stelle würde ich die Firmen direkt und möglichst persönlich anschreiben.
Wie machst du denn die Umfrage? Welchen Anbieter oder Tool nutzt du denn? Davon hängt bei mir immer ab, ob ich an Umfragen teilnehme.

Benutzeravatar
desputin
Beiträge: 1349
Registriert: 24.04.2015 17:16:34

Re: Erweiterte Möglichkeiten Curl und wget und httrack?

Beitrag von desputin » 21.02.2022 21:24:05

Hallo Ihr,
na, mein Anliegen ist ja nicht, Werbung oder Spam zu verschicken, sondern eine wissenschaftliche Fragestellung. Damit ist mein Anliegen ja sozusagen gemeinnützig.

Es geht darum, Unternehmen darüber zu befragen, ob und unter welchen Rahmenbedingungen sie bereit wären, eingewanderte Menschen in ausschließlichen Homeoffice-Jobs zu beschäftigen, wenn diese von peripheren/abgelegenen/strukturschwachen Regionen aus arbeiten.

Bin mir nicht sicher, ob es vielleicht bessere Quellen gibt, aber ich bin mir sicher, die IHKs rücken keine Kontaktdaten an Wissenschaftler raus. Und was soll man sonst tun, um an solche Infos ranzukommen? Bei einer quantitativen Untersuchung reicht es ja nicht, wenn ich jede Firma aufwendig manuell recherchiere. Bei einer Rücklaufwahrscheinlichkeit von 5-10%... Ich will ja auch keine "geheimen" Daten, sondern ausschließlich öffentlich verfügbare nutzen...


Wegen der Technik, ich verstehe, ich muß einfach diese Strings herausfinden "id=9999" und dann per curl das so runterladen:
https://www.branchenverzeichnis.org/vcard.php?id=9999
https://www.daswirdmanjawohlnochsagenduerfen.de
https://www.neoliberalyse.de - Über die Ökonomisierung aller Lebensbereiche. |

Benutzeravatar
Tintom
Moderator
Beiträge: 3069
Registriert: 14.04.2006 20:55:15
Wohnort: Göttingen

Re: Erweiterte Möglichkeiten Curl und wget und httrack?

Beitrag von Tintom » 21.02.2022 23:28:58

Zielführender und seriöser wäre es, wenn du dich an den entsprechenden Branchen-/Interessenverband wenden würdest und ihnen dein Anliegen mitteilst. Allerdings werden die dir auch keine Adressen rausrücken (DSGVO!), sondern sich höchstens als Vermittler anbieten. Das verschafft dir aber eine Reihe von Vorteilen: Du wirst erstens ernst genommen, zweitens dürfte deine Rücklaufquote steigen und drittens bekommst du Daten genau aus dem Panel welches du untersuchen willst. Du hast also weniger Grundrauschen was du nachher herausfiltern musst.

Benutzeravatar
desputin
Beiträge: 1349
Registriert: 24.04.2015 17:16:34

Re: Erweiterte Möglichkeiten Curl und wget und httrack?

Beitrag von desputin » 21.02.2022 23:33:44

Ja, das stimmt schon. Ich schau mal, welche Institutionen da in Frage kommen.
https://www.daswirdmanjawohlnochsagenduerfen.de
https://www.neoliberalyse.de - Über die Ökonomisierung aller Lebensbereiche. |

reox
Beiträge: 2529
Registriert: 06.06.2006 22:09:47
Lizenz eigener Beiträge: MIT Lizenz

Re: Erweiterte Möglichkeiten Curl und wget und httrack?

Beitrag von reox » 22.02.2022 14:37:35

Tintom hat geschrieben: ↑ zum Beitrag ↑
21.02.2022 23:28:58
Allerdings werden die dir auch keine Adressen rausrücken (DSGVO!), sondern sich höchstens als Vermittler anbieten.
Ich weiß ja nicht wie es woanders auf der Welt ist aber hier in .at kann man Adresse von Unternehmen bei der WKO bestellen: https://www.wko.at/service/oe/adressens ... mmern.html
Zumindest die postalische Adresse ist ja auch im Gewerberegister verfügbar und die WKO schreibt sie dürfen das auch weitergeben (nur keine Telefonnummern und E-Mails).
Über diesen "Trick" bekommt man als Unternehmer auch ganz schön viel Werbepost... :/

Benutzeravatar
desputin
Beiträge: 1349
Registriert: 24.04.2015 17:16:34

Re: Erweiterte Möglichkeiten Curl und wget und httrack?

Beitrag von desputin » 22.02.2022 15:21:54

Danke für den Hinweis. Da schaue ich mal nach. Ich fürchte aber, in Deutschland herrscht die Kleinstaaterei vor. Die Handelskammern scheinen ausschließlich auf Ebene der Bundesländer zu existieren. Ich recherchiere aber mal.
https://www.daswirdmanjawohlnochsagenduerfen.de
https://www.neoliberalyse.de - Über die Ökonomisierung aller Lebensbereiche. |

Antworten