Allgemeines

Größere Rechencluster bestehen aus vielen Knoten, wobei jeder Knoten aus vielen CPU-Kernen besteht. Spezielle Software wie Mathematica läuft häufig im Rechnerverbund bzw. als Cluster. Benutzer fordern diese Ressourcen an, indem sie sich auf einem Rechner, dem Hauptknoten anmelden, und Batch-Jobs an den Cluster-Manager senden. Die Rechenaufgabe bzw. der Job wird ausgeführt, wenn die Ressourcen verfügbar sind. Zwei gängige Clustermanager sind TORQUE und Slurm.

Mathematicas Parallelsystem verwendet das Hub-and-Spoke-Modell, bei dem ein Control-Kernel eine Reihe untergeordneter Kernel (Subkernel) verwaltet. In einer Cluster-Umgebung führt der Client den Control-Kernel aus und die Hosts stellen Subkernel bereit. Der Cluster-Manager bestimmt, welcher Knoten als Client dient und welche Knoten als Hosts fungieren.

Der Betrieb von Mathematica auf einem Cluster hat zwei Vorteile: Die Anzahl der verfügbaren CPU-Kerne, selbst auf einem einzelnen Knoten, ist in der Regel größer als auf einem Desktop-Computer. Außerdem ist die Geschwindigkeit jedes CPU-Kerns individuell schneller als bei einem Desktop-Computer.

Ein entferntes Mathematica-Frontend ausführen

Bei einem entfernten Frontend muss der Benutzer die Kontrolle über die Ressourcen der Jobs behalten. Dies wird als interaktive Sitzung bezeichnet.

Obwohl es in der Regel einen Vorteil bei der CPU-Geschwindigkeit gegenüber der Verwendung eines Desktop-Computers gibt, ist das Frontend über eine interaktive Sitzung langsamer als die Ausführung einer lokalen Version des Frontends. Dies liegt daran, dass das Frontend auf dem Cluster ausgeführt wird, während die Schnittstelle an den Computer des Remote-Benutzers weitergeleitet wird.

Eine interaktive Sitzung ist nicht dazu gedacht, CPU-intensive Berechnungen auszuführen, sondern sie dient zum Testen und Diagnostizieren von Code. Normalerweise werden nur die Ressourcen eines Computers bzw. Knotens angefordert.

1. Melden Sie sich am Hauptcomputer über SSH mit aktivierter X Windows-Weiterleitung an.
2. Starten Sie eine interaktive Sitzung, die alle Ressourcen auf einem einzelnen Computer bzw. Knoten anfordert.
3. Starten Sie eine Mathematica-Sitzung.

Wenn Sie in einem Mathematica-Notebook den Befehl LaunchKernels[] oder eine andere Parallelfunktionalität verwenden, werden nun andere Knoten bzw. Computer des Clusters mit einbezogen.

Ein entferntes Mathematica-Script ausführen

Es wird angenommen, dass

• Sie wissen, wie man entfernte Subkernel startet
• das Cluster eine Unix-Umgebung ist
• das Cluster ein geklontes Dateisystem verwendet, sodass Mathematica von derselben ausführbaren Datei auf allen Computern bzw. Knoten ausgeführt wird

Wenn eine der obigen Annahmen nicht zutrifft, muss das Folgende geändert werden, aber die allgemeinen Grundzüge bleiben bestehen:

1. Fragen Sie das System ab, um die Namen der Knoten zu finden, die dem Job zugewiesen sind
2. Fragen Sie das System ab, wie viele Kerne pro Knoten verfügbar sind
3. Starten Sie entfernte Kernel manuell

Slurm

For Slurm, in a Mathematica or Wolfram Language script, you could have:

(* get host names *)
 	 	hosts = ReadList["!scontrol show hostname $SLURM_JOB_NODELIST", String]
 	 	masternode = Environment["SLURM_NODENAME"]
 	 	njobs = ToExpression[Environment["SLURM_CPUS_ON_NODE"]]
 	 	hosts = DeleteCases[hosts, masternode]; Length[hosts]
 	 	(* launch kernels on each host *)
 	 	kernels =
 	 	 KernelConfiguration[#, "KernelCount" -> njobs] & /@ hosts;
 	 	LaunchKernels[kernels]
 	 	

Bei der Erfassung der Knotennamen können Sie aus Gründen der Abwärtskompatibilität auch SLURM_NODELIST anstelle von SLURM_JOB_NODELIST verwenden.

Das zurückgegebene Format der Anzahl der Aufgaben pro Knoten ist nicht für die Interpretation durch die Wolfram Language geeignet. Daher wird der Ausdruck manuell in einen Listenausdruck geparst.

TORQUE

Für TORQUE könnte man in einem Mathematica- oder Wolfram-Language-Skript haben:

(* get association of resources *)
hosts = Counts[ReadList[Environment["PBS_NODEFILE"], "String"]];
 	 	(* launch subkernels and connect them to the controlling Wolfram Kernel *)
 	 	kernels=
 	 	Map[KernelConfiguration[#,"KernelCount" -> hosts[#]] &, Keys[hosts]]
 	 	LaunchKernels[kernels]
 	 	

PBS_NODEFILE ist eine Systemvariable, die jeden Knotennamen einmal pro verfügbarem CPU-Kern auflistet. Counts wandelt diese Liste in eine Instanz von Association um, mit dem Knotennamen als Schlüssel und der Anzahl der CPU-Kerne als Wert. Der Einfachheit halber werden alle Subkernel als entfernte Kernel behandelt, auch wenn einige auf demselben Knoten wie die lokale Instanz von Mathematica laufen.

Aufräumen nach der Berechnung

Wenn der parallele Code abgeschlossen ist, ist es gute Praxis, die Wolfram-Kerne zu schließen:

CloseKernels[];

[English]