ParallelKnoppix

ArticleCategory: [Choose a category, translators: do not translate this, see list below for available categories]

Applications

AuthorImage:[Here we need a little image from you]

[Photo of the Author]

TranslationInfo:[Author + translation history. mailto: or http://homepage]

original in en Majid Hameed

en to deHermann J. Beckers

AboutTheAuthor:[A small biography about the author]

Majid Hameed ist ein Bachelor-Student an der Abteilung f�r Informatik der Universit�t von Karachi in Sindh, Pakistan. Seine Hauptinteressen sind K�nstliche Intelligenz, Betriebssysteme, Netzwerke, Programmierung und Computergrafik. Hameed beschreibt sich selbst als Linux-Enthusiast, der Linux seit 3,5 Jahren als Betriebssystem nutzt, einschlie�lich Red Hat 9, 8, 7.3 und 7.2, Slackware Linux 10 und 9.1, Slax, Mandrake Move 2, Knoppix 3.4, Vector Linux 4.3 und andere.

Abstract:[Here you write a little summary]

ParallelKnoppix ist eine auf Knoppix basierende Live-CD; Knoppix selbst ist ebenfalls eine Live-CD, die auf der Debian Linux-Distribution basiert. ParallelKnoppix erm�glicht es, innerhalb von Minuten einen Linux-Cluster zu erzeugen, der mit Programmen und Werkzeugen f�r parallele Programmierung wie MPI ausgestattet ist. Es spart eine Menge Zeit bei der Konfiguration der Betriebssystem-Umgebung. Die bestehende Umgebung wird durch ParallelKnoppix nicht beeintr�chtigt, da es sich um eine Live-CD handelt. Nur auf dem Master-Knoten wird ein Verzeichnis erzeugt, das nach einem Neustart gel�scht werden kann, wenn Sie dies w�nschen.

ArticleIllustration:[One image that will end up at the top of the article]

[Illustration]

ArticleBody:[The main part of the article]

Einf�hrung

"ParallelKnoppix ist eine Neuzusammstellung von Knoppix, die das Einrichten eines Clusters von Maschinen f�r Parallelverarbeitung mittels der LAM-MPI- und/oder MPICH-Implementationen von MPI erm�glicht. Das Einrichten und Starten des Clusters ben�tigt weniger als 15 Minuten, wenn die Maschinen �ber PXE-f�hige Netzwerkkarten verf�gen." --> aus http://pareto.uab.es/mcreel/ParallelKnoppix/

Hintergrund

Clustering ist eine der preiswertesten Techniken, um Parallelit�t zu erreichen. Clustering mittels Linux ist eine der besonderen Linuxeigenschaften. Universit�ten und Organisationen imitieren Super-Computer durch die PC-Vernetzung mittels Ethernet-Karten unter Linux. Linux wird von der wissenschaftlichen Gemeinschaft zur Durchf�hrung ihrer Forschungen benutzt, da Linux mit einer Anzahl von wissenschaftlichen Programmen wie LAM, PI, PVM und weiteren ausgestattet ist. Daher ist Linux bestens f�r die Parallelverarbeitung geeignet. Das Problem ist jedoch, das Wissenschaftler und Programmierer eine Menge mit der Vorkonfiguration der Linux-Umgebung zu tun haben. Dies macht ihre Aufgabe langsam und komplex. Das Konfigurationsproblem wird noch verschlimmert, wenn die bestehende Umgebung nicht Linux-(d. h. Windows-)basierend ist.

Nun haben einige Linux-Gurus dieses Problem gel�st und Live-CDs entwickelt. Der Forscher kann nun eine Live-CD f�r seine Parallelverarbeitung w�hlen, ohne sich sehr lang um die Konfiguration k�mmern zu m�ssen und der Cluster ist innerhalb einiger (7- 8) Minuten bereit.

Eine der Live-CDs f�r Parallelverarbeitung ist ParallelKnoppix.

Andere Live-CDs f�r Parallelberechnungen sind BCCD und ClusterKnoppix.

Beschreibung

Genau wie sein Vorg�nger (d. h. Knoppix) erkennt ParallelKnoppix automatisch s�mtliche Hardware und Peripherieger�te. Ich habe es auf einem D865GBF Intel-Board, einem PIV-Board und Intel 810C, einem PIII-Board getestet und ParallelKnoppix konfigurierte s�mtliche Hardware automatisch; es musste nichts von Hand erledigt werden. Die mittels ParallelKnoppix konfigurierten Computer verf�gen �ber ein gemeinsam genutztes Verzeichnis, das auf dem Master-Knoten angelegt und mittels NFS (Network File System) bereitgestellt wird. Der Master-Knoten wird von der CD gebootet und die Client-Rechner �ber das Netzwerk (DHCP l�uft auf dem Master-Knoten). Die Clients verf�gen �ber ein PXE-f�higes BIOS mit PXE-f�higen Netzwerkkarten.

Jeder f�r LAM/MPI ben�tigte Dienst wird automatisch konfiguriert (LAM/MPI ist eine f�r Parallel-Verarbeitung benutzte Nachrichten-basierte Schnittstellen-Spezifikation). Wie DHCP, NFS, SSH (f�r Passwort-freie Anmeldung) und schon k�nnen Sie mit MPI-Programmen und einigen anderen Parallel-Anwendungen experimentieren.

Die Einrichtung von ParallelKnoppix ist nicht sehr sicher, da die Passw�rter auf der Live-CD sowohl f�r einen Benutzer als auch f�r root �ffentlich bekannt sind. Jeder, der etwas Kenntnis �ber ParallelKnoppix hat, kann Zugriff auf den ParallelKnoppix-Cluster bekommen. Die Einfachheit der Einrichtung bedingt Kompromisse bei der Sicherheit. Es ist ein Ausgleich zwischen einfacher Benutzbarkeit und der Sicherheit.

Was ist ein PXE-Boot?

PXE-Boot ist ein Akronym f�r Preboot Execution Environment-Boot. PXE ist eine Technik, die benutzt wird, um einen PC �ber ein Netzwerk zu starten. PXE wird vom System-BIOS unterst�tzt und die Netzwerk-Karte muss PXE-f�hig sein.

Was tun, wenn Ihre Netzwerk-Karte nicht PXE-f�hig ist?

Dann m�ssen Sie Etherboot-Abbilder benutzen oder eine CD mit den Abbildern brennen. ROM-o-matic.net generiert Etherboot ROM-Abbilder dynamisch. http://rom-o-matic.net/

Der Abruf von ParallelKnoppix

ISO-Dateiabruf

FTP-Link

http://pareto.uab.es/mcreel/ParallelKnoppix/parallelknoppix.iso

HTTP-Link

ftp://volcano.uab.es/pub/parallelknoppix.iso

Abruf der MD5SUM-Pr�fsummendatei

http://pareto.uab.es/mcreel/ParallelKnoppix/parallelknoppix-2004-12-16.iso.md5

�berpr�fen Sie die Webseite http://pareto.uab.es/mcreel/ParallelKnoppix/,
 wenn die obigen Links nicht mehr g�ltig sind.
Nach dem Abruf der ISO-Abbilder sollten Sie die MD5-Pr�fsummen f�r die ISO-Abbilder testen, damit sicher gestellt ist, das der Abruf erfolgreich war. Starten Sie dazu das md5sum-Programm in einer Shell gegen die ISO-Abbilder und vergleichen Sie die zur�ckgegebenen Werte mit der md5-Datei (unten finden Sie einen Link zum Abruf). Nachstehend die korrekte Syntax f�r den md5sum-Befehl. 
md5sum "isofilename"
Ersetzen Sie im obigen Befehl "isofilename" mit dem korrekten Dateinamen.

Wenn Sie aus irgendeinem Grund nicht Linux benutzen, sollten Sie md5Summer verwenden, einen MD5-Generator f�r Windows, nachstehend der Link.

http://www.md5summer.com/

Hinweis. Das Schreiben der ISOs auf CD erfordert ein Programm wie cdrecord.

Wie funktioniert es?

Es gibt ein nettes Tutorial, voll von Schritt-f�r-Schritt-Bildschirmfotos der Konfiguration. Nachstehend der Link zum Tutorial.

Parallel Knoppix Tutorial - HTML-Version

http://pareto.uab.es/mcreel/ParallelKnoppix/Tutorial/Tutorial.html

Parallel Knoppix Tutorial - PDF-Version

http://pareto.uab.es/wp/2004/62604.pdf

Wenn Sie Ihr CD-Rom f�r die Knoten exportiert haben, kann es gut mit 50 Knoten klar kommen; mehr als 50 Knoten sind nicht getestet. Ich habe selbst nur 5 Knoten getestet.

Was ist zu tun, wenn mehrere DHCP-Server aktiv sind ?

"Wenn Sie ParallelKnoppix an einer Universit�t benutzen (wie ich), wird dort bestimmt ein offizieller DHCP-Server und evtl. auch ein PXE-Server existieren. Wenn Sie versuchen, die Knoten �ber den Terminalserver zu starten, werden die Knoten oft vom vorhandenen PXE-Server booten und wohl auch ihre IP-Adressen von dem offiziellen Server und nicht von dem DHCP-Server erhalten, der auf dem von der ParallelKnoppix-CD gebooteten Computer l�uft. Die bis jetzt von mir benutzte L�sung ist, die als Knoten benutzten Computer physisch von den vorhandenen PXE- und/oder DHCP-Servern zu trennen, oder die Administratoren zu bitten, tempor�r diese Server zu stoppen. Wenn jemand eine elegantere M�glichkeit kennt, w�rde ich gerne davon h�ren. Ich denke, das bedeutet Herumspielen mit miniroot.gz und die Benutzung von rom-o-matic zum Erzeugen des PXE-Boot-Roms. Zu schrecklich, um ernsthaft dar�ber nachzudenken ... zumindest f�r mich." --> aus http://pareto.uab.es/mcreel/ParallelKnoppix/

Wie es funktioniert (Zusammenfassung)

Die ParallelKnoppix-Live-CD wird zum Starten eines Master-Knotens genutzt. Auf diesem Master-Knoten wird ein Skript ausgef�hrt, das einen DHCP-Server einrichtet, ein gemeinsames Verzeichnis wird f�r alle Knoten mittels NFS exportiert und �ffentliche Schl�ssel f�r LAM generiert, damit SSH einwandfrei arbeitet (Passwort-lose Anmeldung). Nachdem der DHCP-Server l�uft, werden die Clients mittels PXE-Boot gestartet. Nach dem erfolgreichen Start wird das Verzeichnis mit Beispielprogrammen in das per NFS gemeinsam genutzte Verzeichnis eingef�gt und parallele Programme werden parallel auf mehreren PCs ausgef�hrt.

Meine Erfahrungen

Ich bin ein Bachelor-Student der Informatik und bekam ein Projekt zur L�sung eines mathematischen Problems mittels MPI im Labor f�r Parallelverarbeitung. Ich w�hlte ParallelKnoppix als Alternative, um mein MPI-Programm in einer Linuxumgebung zu demonstrieren. Der Master-Knoten wird �ber die ParallelKnoppix-CD gestartet. W�hrend des Bootens werden Sie nach der Resolution gefragt; geben Sie einfach "6" ein, weil dies die maximal unterst�tzte Aufl�sung ist. Nach dem Booten des Master-Knotens startete ich das ParallelKnoppix-Setupskript mittels K>ParallelKnoopixx>Setup ParallelKnoppix (siehe das obige Tutorial). Nachdem das Skript den DHCP-Server startete, schaltete ich meine Client-Knoten an und sie booteten mittels PXE. Danach waren alle Knoten erfolgreich gestartet.

Ich kopierte mein Programm in das Verzeichnis "parallel_knoppix_working" und benutzte dann ein Terminal, um mein MPI-Programm parallel laufen zu lassen. 
F�r die Kompilation benutzte ich

mpicc myprogram.c -o myprogram.bin

und zur Ausf�hrung 

mpirun C myprogram.bin

Zusammenfassung

"Die ParallelKnoppix-CD bietet eine sehr einfache und schnelle M�glichkeit, einen Cluster verschiedenartiger PCs der IA-32-Architektur einzurichten. Sie ist nicht daf�r gedacht, einen stabilen Cluster f�r verschiedene Benutzer zu bieten, sondern ist ein Hilfsmittel f�r die schnelle Errichtung eines Clusters f�r die individuelle Benutzung. Die CD selbst kann angepasst werden und die Konfigurations- und Arbeitsdateien k�nnen wieder verwandt werden, so dass dies eine langfristige L�sung f�r individuelle Benutzer bietet." Aus dem ParallelKnoppix-Tutorial von Michael Creel

Referenzen