Hallo,
ich bin neu hier und baue zurzeit mit einem Kollegen bei einem High Performance Cluster auf Debian basis
wir beide haben wenig bis keine Ahnung von Linux bzw. Debian jedoch ist dies unsere Projektarbeit
Wir sind nun beim Punkto Clustering Software und haben schon viel rumgeschaut jedoch ein passendes nicht wirklich gefunden.
Das Problem uns läuft die Zeit davon
Hat jemand mit HPC Erfahrung bzw. einen Softwarevorschalg (am besten mit GUI )
Zurzeit sind wir bei OpenLava angelangt jedoch seh ich da kein Ende
Danke
LG
High Performace Cluster
-
- Beiträge: 5631
- Registriert: 30.12.2004 15:31:07
- Wohnort: Wegberg
-
- Beiträge: 5
- Registriert: 12.10.2015 14:20:33
Re: High Performace Cluster
hab folgendes gefunden:
ein "Skript" welches OpenLava auf andere Rechner installiert
# restart service after adding hosts to the cluster
service openlava restart
tar cf openlava-bin.tar /opt/openlava-2.2 /etc/init.d/openlava /etc/profile.d/openlava.*
for host in `cat hosts`
# The file hosts lists all hosts in the openlava cluster except the master
do
scp openlava-bin.tar $host:/root
ssh $host "cd /;tar xf /root/openlava-bin.tar"
ssh $host service openlava start
done
jetzt wollt ich Fragen was das genau heißt bzw. ist cat hosts der name der hinzugefügten hosts oder was heißt das?
ein "Skript" welches OpenLava auf andere Rechner installiert
# restart service after adding hosts to the cluster
service openlava restart
tar cf openlava-bin.tar /opt/openlava-2.2 /etc/init.d/openlava /etc/profile.d/openlava.*
for host in `cat hosts`
# The file hosts lists all hosts in the openlava cluster except the master
do
scp openlava-bin.tar $host:/root
ssh $host "cd /;tar xf /root/openlava-bin.tar"
ssh $host service openlava start
done
jetzt wollt ich Fragen was das genau heißt bzw. ist cat hosts der name der hinzugefügten hosts oder was heißt das?
-
- Beiträge: 5
- Registriert: 12.10.2015 14:20:33
Re: High Performace Cluster
schaus mir mal an dankeschwedenmann hat geschrieben:Hallo
wie wäre es damit
https://www.bitblokes.de/2013/01/linux- ... anhpc-2-9/
Ist leider ein Betriebssystem
Re: High Performace Cluster
Hi.schlossi144 hat geschrieben:hab folgendes gefunden:
ein "Skript" welches OpenLava auf andere Rechner installiert
# restart service after adding hosts to the cluster
service openlava restart
tar cf openlava-bin.tar /opt/openlava-2.2 /etc/init.d/openlava /etc/profile.d/openlava.*
for host in `cat hosts`
# The file hosts lists all hosts in the openlava cluster except the master
do
scp openlava-bin.tar $host:/root
ssh $host "cd /;tar xf /root/openlava-bin.tar"
ssh $host service openlava start
done
jetzt wollt ich Fragen was das genau heißt bzw. ist cat hosts der name der hinzugefügten hosts oder was heißt das?
Es muss in diesem Fall eine Datei mit dem Namen "hosts" geben. Ich gehe mal davon aus, dass dort pro Zeile ein Host oder die IP eines Hosts drin stehen sollte. "cat" gibt einfach den gesamten Inhalt der Datei aus, egal wie viel da drin steht. In diesem Fall wird eine for-Schleife damit gefüttert, also wird für jeden Eintrag in der Datei Hosts pro Durchgang die Variable "host" gesetzt, damit scp und ssh diese $host dann verwenden können.
Vermutlich musst du also die hosts-Datei anpassen und deine Hosts eintragen.
Im großen und ganzen kopiert (scp) das Script dann die Installation für openlava auf die in 'hosts' angegebenen Rechner und führt mit den beiden ssh-Befehlen den tar-Befehl und den service-Befehl remote aus.
Georg
RTFM, LMGTFY, Orakel... Ach... Warum muss man suchen...
Schrödingers Backup --- "Der Zustand eines Backups ist unbekannt, solange man es nicht wiederherstellt" --- Quelle: Nixcraft
RTFM, LMGTFY, Orakel... Ach... Warum muss man suchen...
Schrödingers Backup --- "Der Zustand eines Backups ist unbekannt, solange man es nicht wiederherstellt" --- Quelle: Nixcraft
-
- Beiträge: 5
- Registriert: 12.10.2015 14:20:33
Re: High Performace Cluster
gbotti hat geschrieben:Hi.schlossi144 hat geschrieben:hab folgendes gefunden:
ein "Skript" welches OpenLava auf andere Rechner installiert
# restart service after adding hosts to the cluster
service openlava restart
tar cf openlava-bin.tar /opt/openlava-2.2 /etc/init.d/openlava /etc/profile.d/openlava.*
for host in `cat hosts`
# The file hosts lists all hosts in the openlava cluster except the master
do
scp openlava-bin.tar $host:/root
ssh $host "cd /;tar xf /root/openlava-bin.tar"
ssh $host service openlava start
done
jetzt wollt ich Fragen was das genau heißt bzw. ist cat hosts der name der hinzugefügten hosts oder was heißt das?
Es muss in diesem Fall eine Datei mit dem Namen "hosts" geben. Ich gehe mal davon aus, dass dort pro Zeile ein Host oder die IP eines Hosts drin stehen sollte. "cat" gibt einfach den gesamten Inhalt der Datei aus, egal wie viel da drin steht. In diesem Fall wird eine for-Schleife damit gefüttert, also wird für jeden Eintrag in der Datei Hosts pro Durchgang die Variable "host" gesetzt, damit scp und ssh diese $host dann verwenden können.
Vermutlich musst du also die hosts-Datei anpassen und deine Hosts eintragen.
Im großen und ganzen kopiert (scp) das Script dann die Installation für openlava auf die in 'hosts' angegebenen Rechner und führt mit den beiden ssh-Befehlen den tar-Befehl und den service-Befehl remote aus.
OK danke, das könnt man hinbekommen
sonst niemand einen Softwarevorschlag?
-
- Beiträge: 5
- Registriert: 12.10.2015 14:20:33
Re: High Performace Cluster
dürfte sich erledigt haben
Cluster läuft mit 2 Rechnern
war die /etc/hosts Datei zu ändern und die Hosts waren einzutragen bzw der Service zu restarten und der Node wird nun beim Master aufgelistet bzw als Master wird am Node mein "Mastername" angegeben
Danke
Cluster läuft mit 2 Rechnern
war die /etc/hosts Datei zu ändern und die Hosts waren einzutragen bzw der Service zu restarten und der Node wird nun beim Master aufgelistet bzw als Master wird am Node mein "Mastername" angegeben
Danke
Re: High Performace Cluster
Wirklich skalierbar sind manuell angelegte /etc/hosts aber nicht
Was genau soll mit dem cluster gemacht werden?
Wenns um Datenanalyse ("big data", "datamining", "machine learning" und andere buzzwords) geht, wäre ein Blick ins hadoop-ökosystem sinnvoll. Für echtzeit/nahe-echtzeit Anwendungen käme z.B. auch Spark in Frage, ggf in kombination mit Kafka und/oder kombiniert mit hadoop (Komponenten).
Hadoop oder Kafka sind im Grunde genommen nur ein framework das die "dreckigen details" von verteiltem rechnen abstrahiert. Man behandelt auf Anwendungsseite den cluster wie ein einzelnes System - Um alles was mit dem verteilen der Arbeitslast, Daten und ggf (verteilten) Datenbanken usw zu tun hat muss man sich in der Anwendung nicht kümmern. Auch um das wiederaufnehmen/neuverteilen bei Ausfall eines clusters muss man sich je nach framework nicht oder nur wenig kümmern. Macht gerade bei Amazon EC2 instanzen sinn - die failen ständig oder werden einfach neu gestartet...
Aber egal was ihr mit dem Cluster vorhabt: Reines Mausschubsen in bunten GUIs gibts nicht. Für monitoring und visualisierung werden zwar GUIs verwendet, Konfiguration geschieht aber (zum Glück..) in der Konsole bzw oft auch über APIs. Für die tatsächliche Arbeit sind Kenntnisse in Java, Scala, Python, Clojure, R oder Erlang sinnvoll bzw erforderlich. Je nach dem welche Module welches Frameworks genutzt werden muss man ggf Grundlagen in mehreren Sprachen beherrschen. Mit Perl kommt man zwar noch erstaunlich weit da es einige CPAN-Module gibt, man verrenkt sich aber immer mehr mit zunehmender Spezialisierung - ich schaue mir deshalb aktuell Scala an...
Was genau soll mit dem cluster gemacht werden?
Wenns um Datenanalyse ("big data", "datamining", "machine learning" und andere buzzwords) geht, wäre ein Blick ins hadoop-ökosystem sinnvoll. Für echtzeit/nahe-echtzeit Anwendungen käme z.B. auch Spark in Frage, ggf in kombination mit Kafka und/oder kombiniert mit hadoop (Komponenten).
Hadoop oder Kafka sind im Grunde genommen nur ein framework das die "dreckigen details" von verteiltem rechnen abstrahiert. Man behandelt auf Anwendungsseite den cluster wie ein einzelnes System - Um alles was mit dem verteilen der Arbeitslast, Daten und ggf (verteilten) Datenbanken usw zu tun hat muss man sich in der Anwendung nicht kümmern. Auch um das wiederaufnehmen/neuverteilen bei Ausfall eines clusters muss man sich je nach framework nicht oder nur wenig kümmern. Macht gerade bei Amazon EC2 instanzen sinn - die failen ständig oder werden einfach neu gestartet...
Aber egal was ihr mit dem Cluster vorhabt: Reines Mausschubsen in bunten GUIs gibts nicht. Für monitoring und visualisierung werden zwar GUIs verwendet, Konfiguration geschieht aber (zum Glück..) in der Konsole bzw oft auch über APIs. Für die tatsächliche Arbeit sind Kenntnisse in Java, Scala, Python, Clojure, R oder Erlang sinnvoll bzw erforderlich. Je nach dem welche Module welches Frameworks genutzt werden muss man ggf Grundlagen in mehreren Sprachen beherrschen. Mit Perl kommt man zwar noch erstaunlich weit da es einige CPAN-Module gibt, man verrenkt sich aber immer mehr mit zunehmender Spezialisierung - ich schaue mir deshalb aktuell Scala an...