Phison will größere KI-Modelle auch auf Systemen mit begrenztem Arbeitsspeicher ausführbar machen. Dafür kombiniert das Unternehmen speziell ausgelegten Flash-Speicher mit einer Software-Schicht, die Daten zwischen GPU-Speicher, DRAM und Flash verschiebt. Auf der IT Press Tour stellte Phison Weiterentwicklungen seiner Adaptive-Technologie sowie Fortschritte bei der Integration in KI-PCs und Anwendungen vor.
Zusätzliche Speicherebene für anspruchsvollere KI-Workloads
Herkömmliche KI-Systeme halten die benötigten Modelldaten überwiegend im GPU-Speicher und im DRAM. Sind diese Ressourcen ausgeschöpft, begrenzt das die Größe der ausführbaren Modelle und den Umfang der möglichen Workloads. Phison ergänzt diese Speicherhierarchie deshalb um eine Flash-basierte Ebene, die das Unternehmen als Adaptive-Cache-Memory bezeichnet.
Die technische Grundlage bildet eine SSD im M.2- oder U.2-Format. Ergänzend übernimmt die Adaptive-Middleware die Orchestrierung und verschiebt KI-Daten abhängig vom Bedarf zwischen GPU-Speicher, DRAM und Flash. Nach Angaben von Phison lassen sich dadurch größere Modelle und umfangreichere KI-Workloads ausführen, ohne zusätzliche GPUs oder mehr DRAM einsetzen zu müssen.
Höhere Schreibfestigkeit für den KI-Einsatz
Die Anforderungen an den Flash-Speicher unterscheiden sich laut Phison deutlich von denen herkömmlicher SSDs. Insbesondere beim KI-Training entstehen intensive Schreiblasten, die gewöhnliche Laufwerke schnell verschleißen lassen können. Phison setzt deshalb auf eine angepasste Firmware, eine erhöhte Schreibfestigkeit und einen speziellen Betriebsmodus. Das Unternehmen gibt an, die Auslegung von weniger als einem vollständigen Laufwerks-Schreibvorgang pro Tag bei herkömmlichen Laufwerken auf bis zu 100 vollständige Schreibvorgänge pro Tag erhöht zu haben. Zusätzlich arbeitet der Speicher im pSLC-Modus, um die Leistung gegenüber regulärem Flash zu steigern.
Die Middleware steuert außerdem die Schreibzugriffe, um die Belastung des Speichers zu begrenzen. Phison betont, dass die Kombination aus angepasster Hardware, Firmware und Software entscheidend sei. Ein gewöhnliches Flash-Laufwerk mit vergleichbarer Middleware sei nicht gleichwertig, da insbesondere Schreibfestigkeit, Latenz und die Abstimmung auf KI-Workloads eine Rolle spielten.
Für Systeme mit nur einem M.2-Steckplatz bietet Phison neben einer reinen Cache-Variante auch ein Hybridlaufwerk an. Dieses kombiniert TLC-Flash für den regulären Speicher mit einer pSLC-Partition für den Cache.
Mixture-of-Experts-Modelle mit weniger Arbeitsspeicher
Eine wesentliche Neuerung gegenüber der vorherigen Vorstellung von Adaptive ist laut Phison die Unterstützung größerer Mixture-of-Experts-Modelle (MoE). Diese Modelle aktivieren bei der Verarbeitung jeweils nur einen Teil ihrer Expertengewichte. Das reduziert den Rechenaufwand, verringert jedoch nicht zwangsläufig den gesamten Speicherbedarf des Modells.
Adaptive kann einen Teil dieser „Gewichte“ auf den Flash-Speicher auslagern und bei Bedarf dynamisch nachladen. Nach Angaben des Unternehmens lässt sich dabei bis zu etwa die Hälfte des Modells auf die zusätzliche Speicherebene verschieben.
Phison demonstrierte dies anhand eines Modells, das regulär rund 24 GByte Speicher benötigt. Mit Adaptive soll es auf einem System mit 16 GByte Arbeitsspeicher ausführbar sein. Das Unternehmen verwies dabei auf einen Kompromiss: Flash ist langsamer als DRAM, ermöglicht aber Workloads, die andernfalls nicht ausgeführt werden könnten. Für bestimmte agentische Anwendungen könne eine längere Bearbeitungszeit akzeptabel sein, sofern die Aufgabe überhaupt lokal ausführbar wird.
KV-Cache und größere lokale Modelle
Ein weiterer Anwendungsfall ist der KV-Cache. Er speichert Zwischenergebnisse der KI-Berechnung, damit diese bei der Verarbeitung weiterer Tokens nicht erneut berechnet werden müssen. Mit längeren Kontexten und komplexeren Aufgaben kann dieser Cache erheblich wachsen und den verfügbaren Speicher überfordern.
Adaptive lagert Teile des KV-Caches auf Flash aus und lädt benötigte Daten dynamisch nach. Darüber hinaus soll die Technologie das Fine-Tuning größerer Modelle innerhalb eines begrenzten Speicherbudgets ermöglichen.
Phison sieht darin eine Möglichkeit, anspruchsvollere KI-Anwendungen lokal auszuführen, ohne die Hardware zwangsläufig um zusätzliche GPUs oder DRAM erweitern zu müssen.
Zusammenarbeit mit Intel und PC-Herstellern
Phison arbeitet mit Intel daran, Adaptive in die Plattformen für KI-PCs zu integrieren. Nach einer gemeinsamen Plattformvalidierung wurde die Zusammenarbeit formalisiert. Beide Unternehmen entwickeln das Ökosystem weiter, um größere KI-Modelle auf lokalen Systemen ausführbar zu machen.
Nach Angaben von Phison wurden acht PC-OEMs in die Zusammenarbeit einbezogen. Sieben davon befanden sich zum Zeitpunkt der Präsentation in unterschiedlichen Phasen der Vorbereitung auf die Serienproduktion. Erste Systeme seien bereits in Festlandchina erhältlich gewesen. Die Integrationen erstrecken sich demnach über sechs verschiedene Siliziumplattformen und sind nicht auf Intel beschränkt.
Auch die Integration in Laufzeitumgebungen und Anwendungen ist Teil der Strategie. Phison arbeitet nach eigenen Angaben mit Anbietern von KI-Anwendungen zusammen, damit Adaptive auf den jeweiligen Plattformen genutzt werden kann.
Intel-AI-Playground mit Adaptive
Ein konkretes Beispiel ist der Intel-AI-Playground. Die Anwendung ermöglicht lokale Chat-Interaktionen, das Hochladen und Abfragen von Dokumenten sowie das Erstellen und Bearbeiten von Bildern.
Durch die Integration von Adaptive sollen größere und leistungsfähigere Modelle eingesetzt werden können. Das soll unter anderem anspruchsvollere Aufgaben und die lokale Retrieval-Augmented-Generation (RAG) mit umfangreicheren Dokumentenbeständen ermöglichen.
Phison präsentierte dazu einen aktuellen Test, der zwei Tage vor der Veranstaltung durchgeführt worden sei. Bei RAG auf der KI-Plattform mit Adaptive habe sich die Reaktionszeit nach Unternehmensangaben um den Faktor 39 verbessert. Die Präsentation hob insbesondere die verkürzte Zeit bis zur ersten Antwort hervor.
Die Anwendung ist laut Phison über Github verfügbar. Für die Nutzung der Adaptive-Funktionen wird ein entsprechendes Laufwerk vorausgesetzt.
#Phison
