Mit“ ExaScaler“ für KI-Training und „Infinia“ für Inferenz will DDN Daten vom ersten Verarbeitungsschritt bis zur Modellbereitstellung innerhalb einer gemeinsamen Plattform verfügbar machen. Die Zusammenarbeit mit Nvidia dient dem Unternehmen als zentraler Beleg für den Betrieb großer KI-Infrastrukturen.
KI-Anwendungen stellen unterschiedliche Anforderungen an die zugrunde liegende Dateninfrastruktur. Während das Training großer Modelle einen leistungsfähigen parallelen Dateizugriff benötigt, gewinnen bei Inferenz und Retrieval-Augmented-Generation (RAG) niedrige Latenzen und der schnelle Zugriff auf Daten an Bedeutung. DDN positioniert seine Lösungen Exascaler und Infinia als zwei aufeinander abgestimmte Komponenten, die diese Anforderungen innerhalb einer gemeinsamen Datenplattform abdecken sollen.
Exascaler ist auf datenintensive HPC- und KI-Trainingsumgebungen ausgelegt. Infinia ergänzt das Portfolio um eine skalierbare Datenplattform, die DDN insbesondere für Inferenz-Workloads und den Zugriff auf Daten während der Modellausführung vorsieht. Nach Darstellung des Unternehmens, welches die Architektur ausführlich auf der IT Press Tour erläuterte, sollen Kunden dadurch Datenaufnahme, Vorbereitung, Training und Inferenz innerhalb einer zusammenhängenden Infrastruktur abbilden können.
Exascaler erweitert Lustre für den produktiven KI-Betrieb
Exascaler basiert auf dem parallelen Dateisystem Lustre. DDN ergänzt die Open-Source-Technologie um Funktionen und Software, die den Einsatz in großen, mandantenfähigen Umgebungen vereinfachen sollen. Dazu gehören unter anderem Multi-Tenancy und Quality of Service (QoS).
DDN zufolge erfordert der Betrieb von Lustre in großen Umgebungen erheblichen technischen Aufwand und spezialisiertes Personal. Exascaler soll die Bereitstellung und den Betrieb als vorkonfigurierte Lösung vereinfachen. Gleichzeitig engagiert sich DDN nach eigener Aussage stark in der Lustre-Community und trägt zur Weiterentwicklung des Dateisystems bei.
Die Skalierung der Infrastruktur steht dabei im Mittelpunkt. DDN verweist auf KI-Umgebungen, in denen sehr viele GPUs gleichzeitig auf die Speicherinfrastruktur zugreifen. Als Beispiel nennt das Unternehmen Mistral: Dort greife eine typische Umgebung mit bis zu 100.000 GPUs innerhalb eines einzelnen Clusters auf DDN zu. Die Bereitstellung erfolge über einen 4U-Controller.
Für DDN kommt es dabei nicht allein auf maximale Durchsatzwerte an. Entscheidend seien ebenso kürzere Trainingszeiten, schnellere Checkpoints und eine effizientere Nutzung der verfügbaren GPU-Ressourcen.
Nvidia als langjähriger Technologiepartner
DDN bezeichnet Nvidia als seinen wichtigsten Partner. Die Zusammenarbeit besteht nach Angaben des Unternehmens seit rund acht Jahren und entwickelte sich aus den gemeinsamen Aktivitäten im High-Performance-Computing. Mit der zunehmenden Bedeutung von GPUs für KI-Training und -Inferenz wurde die Kooperation weiter ausgebaut.
Nach Angaben von DDN laufen mehr als 9.000 GPUs innerhalb von Nvidia auf der Speicherinfrastruktur des Unternehmens. Das damit verbundene Datenvolumen beziffert DDN auf mehr als 20, annähernd 30 Petabyte.
Ein weiterer Anwendungsfall ist das Training von Nemotron-Modellen. DDN zufolge findet dieses Training auf der eigenen Infrastruktur statt. Das Unternehmen verweist außerdem auf Referenzarchitekturen für Nvidia-GPUs und darauf, dass entsprechende Speicherdesigns bei neuen GPU-Generationen gemeinsam mit Nvidia bereitgestellt werden.
Auch bei GPU-Cloud-Anbietern sieht DDN seine Technologie im Einsatz: Wenn Nvidia dort Rechenkapazität für eigene Entwicklungsarbeiten nutze, komme die DDN-Infrastruktur nach Darstellung des Unternehmens ebenfalls in den zugrunde liegenden Referenzarchitekturen zum Einsatz.
Infinia adressiert Inferenz und schnellen Datenzugriff
Während Exascaler vor allem auf parallele Datei-Workloads und das Training ausgerichtet ist, soll Infinia Anforderungen rund um Inferenz, RAG und den Zugriff auf Daten während der Modellausführung abdecken. DDN entwickelt die Plattform nach eigenen Angaben seit rund vier Jahren.
Infinia stellt verschiedene Zugriffsmöglichkeiten bereit. Dazu zählen S3- und Datei-Schnittstellen sowie eine Schnittstelle für Key-Value-Caches. Ein Software-Development-Kit (SDK) soll darüber hinaus individuelle Entwicklungen ermöglichen, ohne Kunden ausschließlich auf eine bestimmte Protokollschicht festzulegen.
Im Kern beschreibt DDN Infinia als verteilten, skalierbaren Key-Value-Store. Die verschiedenen Schnittstellen greifen auf diese Datenebene zu. Das soll insbesondere bei Inferenz-Workloads helfen, in denen Daten mit geringer Latenz bereitgestellt werden müssen und mehrere Mandanten dieselbe Infrastruktur nutzen können.
Die Key-Value-Cache-Schnittstelle entstand laut DDN unter Einbeziehung von Erkenntnissen aus der Zusammenarbeit mit Nvidia. Im Zusammenspiel mit Nvidia-Dynamo soll Infinia den Zugriff auf Daten für Inferenz-Anwendungen beschleunigen.
DDN nennt dafür eine durchschnittlich 4,2-fach höhere Token-Ausgaberate. Das Unternehmen präsentierte diesen Wert als Ergebnis eigener Vergleiche.
GPU-Auslastung und Durchsatz als Leistungskennzahlen
DDN führt die Leistungsfähigkeit seiner Infrastruktur auch auf eine möglichst hohe Auslastung der GPUs zurück. Das Unternehmen nennt eine typische GPU-Auslastung von 96 Prozent und Werte von rund 99 Prozent in mandantenfähigen Umgebungen.
Für eine 2U-Konfiguration gibt DDN eine Schreibleistung von 190 GBit/s an. Im Zusammenhang mit 2U- und 4U-Systemen nennt das Unternehmen Durchsatzwerte im Bereich von 190 bis 200 GBit/s.
Darüber hinaus stellt DDN Kosten- und Zeiteinsparungen in Aussicht. Das Unternehmen spricht von 42 Prozent niedrigeren Trainingskosten und davon, dass sich zahlreiche Aufgaben in ungefähr der halben Zeit erledigen ließen.
Neben Nvidia-GPUs unterstützt DDN nach eigenen Angaben auch Umgebungen mit Google-TPUs und AMD-GPUs. Referenzarchitekturen und Optimierungsbibliotheken sollen die Anpassung an unterschiedliche Hardwareplattformen erleichtern.
Ein weiterer Teil des Angebots ist die Bereitstellung von Exascaler als verwalteter Dienst in Google-Cloud. DDN betont, dass es sich dabei nicht um ein Angebot über den Google-Marketplace handelt, sondern um einen nativen Dienst innerhalb von Google-Cloud-Platform (GCP).
#DDN
