Clustering: möglichkeit eines Renderparks ?

[knecht]

Ich will mit 3 Rechner (Debian Sarge) ein Cluster aufbauen, d.h. ich mach mir gerade erstmal langsam Gedanken über die ganze Sache.

Jetzt haben sich ein paar Fragen aufgetan, die unter Google keine Antwort gefunden haben.

1. ein OpenMosix Cluster verteilt also Prozesse an sich. Wenn ich also ein Programm mit vielen Prozessen habe (z.B. Apache) kann ich damit die Rechenlast verteilen. Wenn ich aber nur einen Prozess habe, der dafür sehr lange und intensive Arbeitet (rendering) hilft mir das nicht. Ist das richtig so ?

2. Ich hab beim Kernelbacken schon mehrmals ein Modul für Kernelclustering im 2.6er Kernel gesehen. (Leider hab ichs jetzt auf die schnelle nicht finden können) Ist das eine eigene, andere Mögllichkeit zu Clustern, oder arbeitet Software wie OpenMosix mit diesem Kernelmodul zusammen ?

3. Ich hab mehrmals gelesen das ein Programm bei der jeweilgen Art des Clusterings von seiner Programmierung her dafür ausgelegt sein muß, dieses zu nutzen. Und ich irgendwo gelesen, das ein Programm "Multithreading" fähig sein muß. Heißt das ein "generelles" Clustering ist nicht möglich, will sagen das eben Berechnungen eines Programm das CPU wie wild benutzt auf andere CPUs ausgelegt werden. Unabhängig vom Programm selbst. Ist sowas überhaupt möglich ?

[ahoi]

Wenn Du Rendern willst, könnt Dir das helfen:
http://www.drqueue.org/

[knecht]

Klingt gut, verdammt gut . . . da werd ich mal das lesen anfangen . . .

vielen dank !!!

[C_A]

1. ein OpenMosix Cluster verteilt also Prozesse an sich. Wenn ich also ein Programm mit vielen Prozessen habe (z.B. Apache) kann ich damit die Rechenlast verteilen. Wenn ich aber nur einen Prozess habe, der dafür sehr lange und intensive Arbeitet (rendering) hilft mir das nicht. Ist das richtig so ?

Das stimmt so. Nur das Beispiel (Apache) ist unglücklich gewählt da es zu den Prozessen gehört die nicht (zumindest nicht ohne spez. Anpassungen) auf einen anderen Knoten migrieren.

2. Ich hab beim Kernelbacken schon mehrmals ein Modul für Kernelclustering im 2.6er Kernel gesehen. (Leider hab ichs jetzt auf die schnelle nicht finden können) Ist das eine eigene, andere Mögllichkeit zu Clustern, oder arbeitet Software wie OpenMosix mit diesem Kernelmodul zusammen ?

Ich glaube nicht das diese Einstellung was mit oM zu tun hat. Da oM im 2.6er Kernel noch in Entwicklung ist.

[knecht]

Danke für den Link zu der "don't" Liste von OpenMosix

Wenn DrQueue so arbeitet wie es auf der Homepage beschrieben ist, ist das genau das was ich brauche !!!

Danke für die Hilfe
Sebastian

[knecht]

Ich hab mir den Source dieses Tools geholt, und bin bei make auf einen Error gestoßen.

Hier ein paar Auszüge:

Erst macht er alles, bis zu diesem Punkt.

Code: Alles auswählen

gcc -c -DCOMM_REPORT -Wall -I. -D__LINUX -g -O2 -o blockhost.o blockhost.c
gcc   blockhost.o libdrqueue.a   -o blockhost
gcc -c -DCOMM_REPORT -Wall -I. -D__LINUX -g -O2 -o cjob.o cjob.c
gcc   cjob.o libdrqueue.a   -o cjob
make -C drqman
make[1]: Entering directory `/opt/drqueue-0.56.0/drqman'
gcc -Wall -I.. -D__LINUX -g `pkg-config --cflags gtk+-2.0` -O2   -c -o main.o main.c
Package gtk+-2.0 was not found in the pkg-config search path.
Perhaps you should add the directory containing `gtk+-2.0.pc'
to the PKG_CONFIG_PATH environment variable
No package 'gtk+-2.0' found
main.c:23:21: gtk/gtk.h: No such file or directory
In file included from drqman.h:26,
                 from main.c:26: 

Er brauch also GTK+ 2.0, die ich aber doch installiert habe

Code: Alles auswählen

stupidslave:/opt/drqueue-0.56.0# dpkg -l | grep gtk
ii  gdk-imlib1     1.9.14-16.2    imaging library for use with gtk (using libp
ii  gtksee         0.5.6-1        GTK-based clone of ACDSee (an image viewer)
ii  libgdk-pixbuf2 0.22.0-7       The GdkPixBuf image library, gtk+ 1.2 versio
ii  libgnorbagtk0  1.4.2-19       GNOME CORBA services (Gtk bindings)
ii  libgtk-perl    0.7009-1.1     Perl module for the gtk+ library
ii  libgtk-pixbuf- 0.7009-1.1     Perl module for the gdkpixbuf library
ii  libgtk1.2      1.2.10-17      The GIMP Toolkit set of widgets for X
ii  libgtk1.2-comm 1.2.10-17      Common files for the GTK+ library
ii  libgtk2.0-0    2.4.14-2       The GTK+ graphical user interface library
ii  libgtk2.0-bin  2.4.14-2       The programs for the GTK+ graphical user int
ii  libgtk2.0-comm 2.4.14-2       Common files for the GTK+ graphical user int
ii  libgtkmm-2.4-1 2.4.8-1        C++ wrappers for GTK+ 2.4 (shared libraries)
ii  libgtkmm2.0-1c 2.2.12-1.1     C++ wrappers for GTK+ 2.0 (shared libraries)
ii  libgtkspell0   2.0.8-1        a spell-checking addon for GTK's TextView wi
ii  libgtkxmhtml1  1.4.2-19       The GNOME gtkxmhtml (HTML) widget
hi  libwxgtk2.4    2.4.2.6        wxWindows Cross-platform C++ GUI toolkit (GT
hi  libwxgtk2.4-py 2.4.2.6        wxWindows Cross-platform C++ GUI toolkit (wx
ii  rep-gtk        0.18-6         GTK binding for librep 

Bitte helft mir !

Sebastian

[knecht]

Er hat folgendes Packet gebraucht:

Code: Alles auswählen

libgtk2.0-dev

dann gings

[knecht]

Ich hab damit jetzt einen Renderpark mit 3 PCs aufgebaut, und ein Maya Testrendering gemacht. Ich kann dieses Programm nur empfehlen, alle PCs im Cluster mit 100% CPU ausgelastet und es geht wie die Sau !!

Das Netzwerk ist auch nicht stark belastet, der meiste Traffic sind die Texturen einer Scene . . .

Wer also mit Maya, Mental Ray, Blender, BMRT, 3Delight oder Pixie arbeitet (das sind die am besten unterstützten Programme dieser Software) und ne Renderfarm haben will, hat in DrQueue genau das Programm das er braucht !!!

http://www.drqueue.org

Nur hab ich eine Weile gebraucht, bis ich alles am laufen hatte, wenn jemand probleme dabei hat, helfe ich gerne weiter !

gruss
Sebastian

[knecht]

Ich hab inzwischen ein HowTo zu drqueue geschrieben:
http://www.neoBERSERKER.de/phpBB2/viewt ... =2679#2679

Hoffe es hilft jemanden