High Performace Cluster

Du suchst ein Programm für einen bestimmten Zweck?
Antworten
schlossi144
Beiträge: 5
Registriert: 12.10.2015 14:20:33

High Performace Cluster

Beitrag von schlossi144 » 12.10.2015 14:29:57

Hallo,

ich bin neu hier und baue zurzeit mit einem Kollegen bei einem High Performance Cluster auf Debian basis

wir beide haben wenig bis keine Ahnung von Linux bzw. Debian jedoch ist dies unsere Projektarbeit

Wir sind nun beim Punkto Clustering Software und haben schon viel rumgeschaut jedoch ein passendes nicht wirklich gefunden.

Das Problem uns läuft die Zeit davon


Hat jemand mit HPC Erfahrung bzw. einen Softwarevorschalg (am besten mit GUI :mrgreen: )


Zurzeit sind wir bei OpenLava angelangt jedoch seh ich da kein Ende



Danke

LG

schwedenmann
Beiträge: 5631
Registriert: 30.12.2004 15:31:07
Wohnort: Wegberg

Re: High Performace Cluster

Beitrag von schwedenmann » 12.10.2015 15:44:34

Hallo

wie wäre es damit
https://www.bitblokes.de/2013/01/linux- ... anhpc-2-9/



mfg
schwedenmann

schlossi144
Beiträge: 5
Registriert: 12.10.2015 14:20:33

Re: High Performace Cluster

Beitrag von schlossi144 » 12.10.2015 15:49:08

hab folgendes gefunden:
ein "Skript" welches OpenLava auf andere Rechner installiert

# restart service after adding hosts to the cluster
service openlava restart
tar cf openlava-bin.tar /opt/openlava-2.2 /etc/init.d/openlava /etc/profile.d/openlava.*
for host in `cat hosts`
# The file hosts lists all hosts in the openlava cluster except the master
do
scp openlava-bin.tar $host:/root
ssh $host "cd /;tar xf /root/openlava-bin.tar"
ssh $host service openlava start
done

jetzt wollt ich Fragen was das genau heißt bzw. ist cat hosts der name der hinzugefügten hosts oder was heißt das? :roll:

schlossi144
Beiträge: 5
Registriert: 12.10.2015 14:20:33

Re: High Performace Cluster

Beitrag von schlossi144 » 12.10.2015 15:53:41

schwedenmann hat geschrieben:Hallo

wie wäre es damit
https://www.bitblokes.de/2013/01/linux- ... anhpc-2-9/
schaus mir mal an danke :)

Ist leider ein Betriebssystem :?

gbotti
Beiträge: 846
Registriert: 16.07.2010 14:24:43
Wohnort: München

Re: High Performace Cluster

Beitrag von gbotti » 12.10.2015 17:42:22

schlossi144 hat geschrieben:hab folgendes gefunden:
ein "Skript" welches OpenLava auf andere Rechner installiert

# restart service after adding hosts to the cluster
service openlava restart
tar cf openlava-bin.tar /opt/openlava-2.2 /etc/init.d/openlava /etc/profile.d/openlava.*
for host in `cat hosts`
# The file hosts lists all hosts in the openlava cluster except the master
do
scp openlava-bin.tar $host:/root
ssh $host "cd /;tar xf /root/openlava-bin.tar"
ssh $host service openlava start
done

jetzt wollt ich Fragen was das genau heißt bzw. ist cat hosts der name der hinzugefügten hosts oder was heißt das? :roll:
Hi.

Es muss in diesem Fall eine Datei mit dem Namen "hosts" geben. Ich gehe mal davon aus, dass dort pro Zeile ein Host oder die IP eines Hosts drin stehen sollte. "cat" gibt einfach den gesamten Inhalt der Datei aus, egal wie viel da drin steht. In diesem Fall wird eine for-Schleife damit gefüttert, also wird für jeden Eintrag in der Datei Hosts pro Durchgang die Variable "host" gesetzt, damit scp und ssh diese $host dann verwenden können.

Vermutlich musst du also die hosts-Datei anpassen und deine Hosts eintragen.

Im großen und ganzen kopiert (scp) das Script dann die Installation für openlava auf die in 'hosts' angegebenen Rechner und führt mit den beiden ssh-Befehlen den tar-Befehl und den service-Befehl remote aus.
Georg
RTFM, LMGTFY, Orakel... Ach... Warum muss man suchen...
Schrödingers Backup --- "Der Zustand eines Backups ist unbekannt, solange man es nicht wiederherstellt" --- Quelle: Nixcraft

schlossi144
Beiträge: 5
Registriert: 12.10.2015 14:20:33

Re: High Performace Cluster

Beitrag von schlossi144 » 13.10.2015 07:34:27

gbotti hat geschrieben:
schlossi144 hat geschrieben:hab folgendes gefunden:
ein "Skript" welches OpenLava auf andere Rechner installiert

# restart service after adding hosts to the cluster
service openlava restart
tar cf openlava-bin.tar /opt/openlava-2.2 /etc/init.d/openlava /etc/profile.d/openlava.*
for host in `cat hosts`
# The file hosts lists all hosts in the openlava cluster except the master
do
scp openlava-bin.tar $host:/root
ssh $host "cd /;tar xf /root/openlava-bin.tar"
ssh $host service openlava start
done

jetzt wollt ich Fragen was das genau heißt bzw. ist cat hosts der name der hinzugefügten hosts oder was heißt das? :roll:
Hi.

Es muss in diesem Fall eine Datei mit dem Namen "hosts" geben. Ich gehe mal davon aus, dass dort pro Zeile ein Host oder die IP eines Hosts drin stehen sollte. "cat" gibt einfach den gesamten Inhalt der Datei aus, egal wie viel da drin steht. In diesem Fall wird eine for-Schleife damit gefüttert, also wird für jeden Eintrag in der Datei Hosts pro Durchgang die Variable "host" gesetzt, damit scp und ssh diese $host dann verwenden können.

Vermutlich musst du also die hosts-Datei anpassen und deine Hosts eintragen.

Im großen und ganzen kopiert (scp) das Script dann die Installation für openlava auf die in 'hosts' angegebenen Rechner und führt mit den beiden ssh-Befehlen den tar-Befehl und den service-Befehl remote aus.

OK danke, das könnt man hinbekommen


sonst niemand einen Softwarevorschlag?

schlossi144
Beiträge: 5
Registriert: 12.10.2015 14:20:33

Re: High Performace Cluster

Beitrag von schlossi144 » 13.10.2015 08:09:13

dürfte sich erledigt haben
Cluster läuft mit 2 Rechnern
war die /etc/hosts Datei zu ändern und die Hosts waren einzutragen bzw der Service zu restarten und der Node wird nun beim Master aufgelistet bzw als Master wird am Node mein "Mastername" angegeben

Danke :)

r4pt0r
Beiträge: 1237
Registriert: 30.04.2007 13:32:44
Lizenz eigener Beiträge: MIT Lizenz

Re: High Performace Cluster

Beitrag von r4pt0r » 23.10.2015 13:38:47

Wirklich skalierbar sind manuell angelegte /etc/hosts aber nicht :wink:

Was genau soll mit dem cluster gemacht werden?
Wenns um Datenanalyse ("big data", "datamining", "machine learning" und andere buzzwords) geht, wäre ein Blick ins hadoop-ökosystem sinnvoll. Für echtzeit/nahe-echtzeit Anwendungen käme z.B. auch Spark in Frage, ggf in kombination mit Kafka und/oder kombiniert mit hadoop (Komponenten).
Hadoop oder Kafka sind im Grunde genommen nur ein framework das die "dreckigen details" von verteiltem rechnen abstrahiert. Man behandelt auf Anwendungsseite den cluster wie ein einzelnes System - Um alles was mit dem verteilen der Arbeitslast, Daten und ggf (verteilten) Datenbanken usw zu tun hat muss man sich in der Anwendung nicht kümmern. Auch um das wiederaufnehmen/neuverteilen bei Ausfall eines clusters muss man sich je nach framework nicht oder nur wenig kümmern. Macht gerade bei Amazon EC2 instanzen sinn - die failen ständig oder werden einfach neu gestartet... :roll:

Aber egal was ihr mit dem Cluster vorhabt: Reines Mausschubsen in bunten GUIs gibts nicht. Für monitoring und visualisierung werden zwar GUIs verwendet, Konfiguration geschieht aber (zum Glück..) in der Konsole bzw oft auch über APIs. Für die tatsächliche Arbeit sind Kenntnisse in Java, Scala, Python, Clojure, R oder Erlang sinnvoll bzw erforderlich. Je nach dem welche Module welches Frameworks genutzt werden muss man ggf Grundlagen in mehreren Sprachen beherrschen. Mit Perl kommt man zwar noch erstaunlich weit da es einige CPAN-Module gibt, man verrenkt sich aber immer mehr mit zunehmender Spezialisierung - ich schaue mir deshalb aktuell Scala an...

Antworten