Deutschlands energieeffizientester Rechner heißt Grete

Gebündelte Kompetenz für Künstliche Intelligenz

Die gestiegenen Ansprüche der Forschung im Bereich der Künstlichen Intelligenz (KI), kontinuierlich immer leistungsfähiger werdende Hardware und die steigende Verfügbarkeit von Daten und Algorithmen haben zu enormen Fortschritten im Rahmen der KI geführt. Um diesen Prozess für kritische Infrastrukturen, insbesondere in den Bereichen Energie und Medizin, weiter zu fokussieren und künftig als kompetenter Ansprechpartner zu fungieren, erforschen laut einer Medienmitteilung vom 23.11.2022 fünf Einrichtungen aus der Mitte Deutschlands, wie ein KI-Servicezentrum aufgebaut werden kann. Das Verbundprojekt „KI-Servicezentrum für sensible und kritische Infrastrukturen“ (KISSKI) unter Leitung der Universität Göttingen wird vom Bundesministerium für Bildung und Forschung über einen Zeitraum von rund drei Jahren mit 17 Millionen Euro gefördert.

NHR@Göttingen nimmt neues GPU-basiertes HPC-Cluster „Grete“ in Betrieb

Gebündelte Kompetenz für Künstliche Intelligenz © KISSKI

Spitzenplatzierung für Göttinger Supercomputer

In der neuesten Ausgabe der Green500-Liste der energieeffizientesten Rechner der Welt belegt das neue jetzt in Betrieb genommene System „Grete“ Platz 1 in Deutschland und Platz 12 weltweit. Die Platzierung basiert auf einer auf Energieeffizienz optimierten Messung, die der Anbieter des Systems, die MEGWARE Computer Vertrieb und Service GmbH mit Sitz in Chemnitz, durchgeführt hat. In der aktuellen TOP500-Liste der weltweit schnellsten Supercomputer belegt Grete mit einer Rechenleistung von 1,83 PFlop/s (Billiarden Rechenoperationen pro Sekunde) im Linpack-Benchmark Platz 470. „Grete“, benannt nach Grete Hermann (1901-1984), die als Doktorandin Emmy Noethers an der Universität Göttingen grundlegende Arbeiten für die Computeralgebra leistete, ist ein auf Grafikprozessoren (GPU) basiertes High-Performance-Computing-Cluster und erweitert das HPC-System „Emmy“, das die Gesellschaft für wissenschaftliche Datenverarbeitung mbH Göttingen (GWDG) seit 2018 für die Universität Göttingen betreibt, um eine besonders leistungsstarke und energieeffiziente Komponente.

Technisch gesehen ist das GPU-Cluster als neue Partition des vorhandenen NHR-Systems „Emmy” umgesetzt, dessen Betrieb 2018 für den Norddeutschen Verbund für Hoch- und Höchstleistungsrechnen (HLRN) mit der Installation einer ersten auf Intel-Prozessoren (CPUs) der „Skylake”-Generation basierenden Phase begann. Diese wurde 2020 um eine zweite Phase mit CPUs der „Cascade Lake”-Generation erweitert. Als NHR@Göttingen ist die Universität Göttingen / GWDG Mitglied im Verein für Nationales Hochleistungsrechnen – (NHR-Verein e.V.) und seit Beginn der NHR-Förderung in 2021 ist die Nutzung dieser Systeme deutschlandweit für die wissenschaftliche Forschung an Hochschulen möglich. Der Zugang kann niederschwellig durch die Beantragung eines persönlichen Accounts hergestellt werden, für höheren Bedarf an Rechenzeit können Projektanträge eingereicht werden, die quartalsweise begutachtet werden.

Prof. Julian Kunkel, stellvertretender Leiter der GWDG – Bereich High-Performance Computing: „Wir sind stets darum bemüht, für unsere Nutzer*innen den bestmöglichen Service zu bieten. Grete ergänzt die bestehende CPU-Partition mit einem energieeffizienten GPU-System und ermöglicht es somit, weitere Anwendungsbereiche zu erschließen und bspw. Deep-Learning-Anwendungen auszuführen”.

Am Standort Göttingen wird für den Betrieb aller HPC-Systeme eine Strategie maximaler Energieeffizienz verfolgt. Beim Design des Gesamtsystems leistet hierzu das Konzept einer Direktwasserkühlung (DLC), das sich bereits für das NHR-System „Emmy” bewährt hat, einen entscheidenden Beitrag, um den Overhead durch den Energiebedarf der Kühltechnik zu minimieren. Laut Green500-Benchmark, bei dem „Grete” 32,149 Gflops/W erzielte, handelt es sich damit aktuell um das zweiteffizienteste gelistete System auf Basis der NVIDIA A100 40 GB GPUs. Unter allen gelisteten NVIDIA-basierten Systemen belegt es Platz 5.

Zum Spitzenplatz 1 von „Grete“ als energieeffizientester Rechner in Deutschland sagt Axel Auweter, Mitglied der Geschäftsführung von MEGWARE: „Die Nachfrage nach energieeffizienten Systemen ist gerade in Deutschland aufgrund vergleichsweise hoher Energiepreise besonders groß. Insofern freuen wir uns, dass es uns gelungen ist, gerade in dieser Hinsicht abermals Maßstäbe zu setzen.“

Technische Details zu „Grete“

Das neue System umfasst im Kern 36 Knoten, die jeweils mit zwei AMD Epyc 7513 CPUs und so-mit 64 Kernen der „Milan”-Generation pro Knoten, 512 GB DDR4-Speicher, zwei 1 TB NVMe-SSDs und vier NVIDIA A100 GPUs ausgestattet sind. Jede dieser GPUs stellt 6.912 CUDA-Kerne und 432 Tensorkerne sowie 40 GB HBM2-Speicher zur Verfügung. Innerhalb eines Knotens sind die GPUs über SXM4-Sockel auf einem gemeinsamen NVIDIA HGX „Redstone“-Board per NVLink für schnellere GPU-zu-GPU-Kommunikation verbunden. Schließlich sind die GPU-Knoten durch ein InfiniBand-HDR-Hochgeschwindigkeitsnetzwerk mit 2 x 200 GBit/s pro Knoten untereinander sowie mit einer lokalen Flash-basierten Speicherlösung auf Basis von zwei DDN ES400NVX mit insgesamt ca. 130 TiB bereitgestellter Speicherkapazität und schließlich mit dem vorhandenen 8,5 PiB Storage des Systems „Emmy” verbunden.

->Quelle und weitere Informationen: