Hammerspace will Unternehmen den Einsatz bestehender Datenbestände für KI-Anwendungen erleichtern, ohne dafür komplette Datenbestände auf neue Speichersysteme kopieren zu müssen. Dazu führt die Plattform unterschiedliche Speicherumgebungen in einem gemeinsamen Dateisystem zusammen und automatisiert die Datenplatzierung zwischen lokalen NVMe-Laufwerken, Netzwerkspeicher, Archivsystemen und Cloud-Infrastrukturen. Das soll die Auslastung vorhandener Ressourcen verbessern und den Weg von KI-Prototypen in den produktiven Betrieb vereinfachen.
Klassische Speicherarchitekturen organisieren Daten häufig nach Anwendungen. Jede Umgebung bringt ihr eigenes Dateisystem und eigene Zugriffsmechanismen mit. Für KI-Workloads entsteht dadurch ein Problem: Die benötigten Daten liegen verteilt über verschiedene Systeme, Standorte und Leistungsstufen. KI-Pipelines müssen jedoch auf Informationen aus unterschiedlichen Quellen zugreifen können, etwa für die Qualitätskontrolle in der Fertigung, die Materialforschung oder die Wirkstoffentwicklung.
Hammerspace setzt deshalb auf eine Abstraktion des Dateisystems von der zugrunde liegenden Speicherinfrastruktur. Die Plattform stellt einen einheitlichen Datenraum bereit, über den Anwendungen und Nutzer auf Dateien zugreifen können, unabhängig davon, wo die Daten physisch gespeichert sind. Unterstützt werden unter anderem NFS, SMB, S3 und ein CSI-Treiber für containerisierte Workloads.
Nach Angaben des Unternehmens lassen sich vorhandene Speichersysteme einbinden, ohne deren Software oder Hardware verändern zu müssen. Zusätzliche Agenten auf den Speichersystemen seien dafür nicht erforderlich. Die bestehenden Daten können damit für unterschiedliche Anwendungen zugänglich werden, ohne zunächst vollständig auf eine neue Plattform migriert werden zu müssen.
Ein zentraler Bestandteil ist die Integration von Funktionen für parallele Dateisystemzugriffe in den Linux-Kernel. Hammerspace erläuterte auf der IT Press Tour, dass das Unternehmen seit acht bis neun Jahren daran arbeite, entsprechende Leistungsmerkmale über standardisierte Schnittstellen verfügbar zu machen. Dazu gehören Funktionen rund um NFS 4.2 mit Flex-Files und Parallel-NFS (pNFS). Das Unternehmen verweist darauf, dass Kunden dadurch keine proprietären Client-Komponenten installieren müssen, um die vorgesehenen Leistungsmerkmale zu nutzen.
Datenverschiebung im laufenden Betrieb
Die gemeinsame Dateisystemebene soll nicht nur unterschiedliche Speicherorte zusammenführen, sondern auch die Datenplatzierung automatisieren. Daten können im Hintergrund zwischen langsamen und schnellen Speichersystemen, verschiedenen Standorten und Cloud-Umgebungen verschoben werden, während Anwendungen weiterhin auf das Dateisystem zugreifen.
Die Orchestrierung orientiert sich laut Hammerspace an Richtlinien, Workflows, Job-Schedulern und erwarteten Anwendungszugriffen. Dadurch lassen sich Daten beispielsweise vor einem Rechenlauf auf leistungsfähigere Speichermedien bereitstellen oder Checkpoints nach der Verarbeitung in günstigeren Objektspeicher auslagern.
Dabei muss nicht zwangsläufig ein vollständiges Volume migriert werden. Die Plattform kann die Platzierung auf Dateiebene steuern und unterschiedliche Instanzen einer Datei entsprechend den Anforderungen an Leistung und Ausfallsicherheit verwalten. Hammerspace beschreibt diesen Ansatz als Möglichkeit, bestehende Datenbestände wie einen virtuellen Data-Lake nutzbar zu machen, ohne sie zuvor zentral zu kopieren.
Die physischen Grenzen der Speichertechnologie bleiben bestehen. Liegen Daten beispielsweise auf Band oder in einem Archiv mit langen Abrufzeiten, ist weiterhin eine entsprechende Vorbereitungszeit erforderlich. Die Automatisierung soll jedoch manuelle Kopierprozesse und die damit verbundene Koordination reduzieren.
Lokale NVMe-Ressourcen als zusätzliche Leistungsebene
Ein wesentlicher Ansatz ist die Nutzung lokaler NVMe-Laufwerke in GPU-Servern. Hammerspace fasst diese bislang häufig isolierten Speicherkapazitäten unter der Bezeichnung „Tier Zero“ zu einem gemeinsamen Namensraum zusammen. Dadurch sollen Unternehmen vorhandenen Hochleistungsspeicher besser nutzen und den Bedarf an zusätzlichem, netzwerkgebundenem Flash-Speicher reduzieren können.
Die Plattform besteht aus zwei zentralen Komponenten: Anvil-Metadatenservern und DSX-Knoten für Datendienste. Die Anvil-Server verwalten die Dateisystemmetadaten. DSX-Knoten übernehmen unter anderem den Protokollzugriff, die Datenbewegung und können selbst als Datenspeicher dienen. Bei parallelen Dateisystemzugriffen sind Metadaten und eigentliche Dateidaten voneinander getrennt.
Hammerspace nennt mehrere Anwendungsbeispiele für diesen Ansatz. An der Vanderbilt University waren rund 40 Petabyte Daten über unterschiedliche Speichersysteme verteilt. Hinzu kamen 80 GPU-Knoten mit lokalem NVMe-Speicher. Durch die Zusammenführung der Speicherressourcen konnte die Universität laut Hammerspace nahezu zehn Petabyte lokaler NVMe-Kapazität für die gemeinsame Nutzung erschließen. Die vorhandene Infrastruktur ließ sich dadurch besser auslasten, ohne zusätzliche Speichersysteme beschaffen zu müssen. Auch Forschungsprojekte können ihre Speicherressourcen nun flexibler zugewiesen bekommen, ohne andere Nutzer oder die bestehende Infrastruktur zu beeinträchtigen.
Ein nicht namentlich genanntes Telekommunikationsunternehmen nutzt eine ähnliche Architektur für einen GPU-Cluster mit 144 Knoten. Der Aufbau umfasst einen zwei Petabyte großen Hammerspace-Cluster mit zwei Anvil-Instanzen und sechs DSX-Datenknoten. Lokale NVMe-Ressourcen dienen als leistungsfähige Ebene, während Checkpoints in den Objektspeicher der Oracle-Cloud-Infrastructure (OCI) übertragen werden. Laut Hammerspace senkt die Kombination die Kosten, weil weniger zusätzliche Hochleistungsspeicherkapazität in der Cloud erforderlich ist.
Cloud- und standortübergreifende Datenbereitstellung
Die Plattform soll auch den Zugriff auf Daten über unterschiedliche Cloud- und Rechenzentrumsumgebungen hinweg vereinheitlichen. Hammerspace gibt an, nativ in Oracle-Cloud-Infrastructure, Google-Cloud-Platform, AWS und Microsoft-Azure zu laufen.
Bei einem weiteren Anwendungsfall unterstützt die Plattform Meta dabei, eine lokale Umgebung in die Cloud zu erweitern. Hammerspace zufolge soll die Lösung langfristig um 30 Petabyte wachsen und Amazon-FSx for Lustre in der Cloud ersetzen. In einem direkten Benchmark habe die Hammerspace-Lösung die benötigte Leistung erreicht beziehungsweise übertroffen. Die Anwender greifen weiterhin über NFS auf ihre Daten zu, während die Plattform den Zugriff auf den zugrunde liegenden Objektspeicher vermittelt. Damit können Arbeitslasten zwischen GPU-Ressourcen und Cloud-Umgebungen wechseln, ohne dass Nutzer ihre gewohnte Dateisystemsicht aufgeben müssen.
Ein europäisches KI-Unternehmen aus dem Gesundheitswesen baut laut der Präsentation während der IT Press Tour eine KI-gestützte Umgebung für Onkologie und medizinische Forschung auf. Das Projekt soll Bilddaten und weitere klinische Informationen nutzen. Die Architektur verbindet Azure-Blob-Storage mit lokalen Datenbeständen und GPU-Ressourcen bei den Anbietern Nebula und Nebius. Zum Einsatz kommen unter anderem Dagster, Ray und Pytorch. Der Ausbau ist von zunächst 128 auf mehr als 1.000 GPUs vorgesehen.
Einheitliche Datenrichtlinien und Schutzmechanismen
Die gemeinsame Metadatenebene soll nicht nur den Zugriff und die Datenbewegung vereinfachen, sondern auch Richtlinien für Datenschutz, Ausfallsicherheit und Kostensteuerung ermöglichen. Über Metadaten-Tags lassen sich beispielsweise personenbezogene Informationen oder Daten mit besonderen Anforderungen an die Datensouveränität kennzeichnen. Richtlinien sollen verhindern, dass solche Informationen unbeabsichtigt in KI-Workloads oder Cloud-Umgebungen außerhalb zulässiger Grenzen gelangen.
Auch Funktionen zur Datenreplikation und Snapshot-Verwaltung lassen sich laut Hammerspace über gemeinsame Richtlinien steuern. Dateien können abhängig von ihrer Klassifizierung an mehrere Speicherorte repliziert werden. Die Plattform dokumentiert dabei, wo sich die jeweiligen Dateninstanzen befinden, und unterstützt die Nachverfolgung von Zugriffen. Snapshots über unterschiedliche Speichersysteme hinweg sollen sich zudem auf kostengünstigeren Speicher auslagern lassen.
Hammerspace versteht sich nach eigener Aussage allerdings weder als reine Datensicherungsplattform noch als isolierte Migrationslösung oder Cloud-Gateway. Vielmehr seien solche Funktionen Bestandteil der übergreifenden Datenverwaltung. Bestehende Backup- und Storage-Lösungen können dadurch teilweise ergänzt werden; in bestimmten Einsatzszenarien könnten einzelne zusätzliche Werkzeuge entbehrlich werden.
Wirtschaftlichkeit produktiver KI im Mittelpunkt
Hammerspace betrachtet die Wirtschaftlichkeit von KI nicht allein anhand der Zeit bis zum ersten Token (Time to First Token, TTFT). Entscheidend sei vielmehr die gesamte Verarbeitungskette: Daten müssen gefunden, zugänglich gemacht, vorbereitet und rechtzeitig für die GPU-Verarbeitung bereitgestellt werden. Werden dafür neue Speichersysteme beschafft und Daten zunächst migriert, verlängert sich der Weg bis zum produktiven Einsatz.
Das Unternehmen spricht in diesem Zusammenhang von den „Three Clocks of AI Economics“. Im Mittelpunkt steht die These, dass nicht nur die reine Speicherleistung, sondern auch die Kosten und der Zeitaufwand für die Bereitstellung und laufende Versorgung der KI-Pipelines entscheidend sind.
Unzureichend ausgelastete GPUs verursachen nach Darstellung von Hammerspace erhebliche Kosten. Als Beispiel nennt das Unternehmen eine Auslastung von lediglich 30 Prozent: In diesem Fall blieben 70 Prozent der Investition ungenutzt. Durch automatisierte Datenbereitstellung und den Zugriff auf vorhandene Datenbestände sollen Unternehmen ihre GPU-Ressourcen besser auslasten können, ohne für jeden neuen KI-Anwendungsfall eine separate Speicherinfrastruktur aufbauen zu müssen.
Hammerspace zufolge scheitern viele KI-Projekte nicht am Proof of Concept, sondern beim Übergang in den Produktionsbetrieb. Das Unternehmen verweist auf die Aussage einer Technologieverantwortlichen aus dem Umfeld der Berkshire-Hathaway-Unternehmen, wonach 70 Prozent der KI-Projekte im Unternehmensumfeld nicht in Produktion gehen. Als Gründe nennt Hammerspace insbesondere die Kosten zusätzlicher Infrastruktur, die Komplexität von Datenmigrationen und das Risiko, laufende Geschäftsprozesse zu beeinträchtigen.
#Hammerspace
