Databricks gab auf dem „Data + AI Summit“ eine erweiterte Zusammenarbeit mit Nvidia bekannt, um Daten- und KI-Workloads zu optimieren, indem Nvidia-CUDA beschleunigtes Computing in den Kern der Data Intelligence Platform von Databricks integriert wird. Da Datenvorbereitung, -kuratierung und -verarbeitung für die Nutzung von Unternehmensdaten für generative KI-Anwendungen von entscheidender Bedeutung sind, zielt die Zusammenarbeit der beiden Unternehmen darauf ab, die Effizienz, Genauigkeit und Leistung von KI-Entwicklungspipelines für moderne KI-Fabriken zu steigern. Durch diese erweiterte Allianz fügt Databricks native Unterstützung für Nvidia-GPU-Beschleunigung auf der Databricks-Data-Intelligence-Platform hinzu. Die heutige Ankündigung baut auf der Zusammenarbeit von Databricks und Nvidia auf, um Unternehmen bereichernde Erfahrungen zu bieten, sei es durch das Training klassischer ML-Modelle, den Aufbau und die Bereitstellung generativer KI-Anwendungen oder die Optimierung digitaler Zwillinge.
„Wir sind begeistert, dass wir unsere Partnerschaft mit Nvidia weiter ausbauen können, um das Versprechen von Datenintelligenz für unsere Kunden einzulösen – von analytischen Anwendungsfällen bis hin zu KI”, sagt Ali Ghodsi, Mitbegründer und CEO von Databricks. „Gemeinsam mit Nvidia freuen wir uns darauf, jedem Unternehmen dabei zu helfen, seine eigenen KI-Fabriken auf Basis seiner eigenen Daten aufzubauen.“
„Daten sind der Treibstoff für die generative KI-Industrierevolution, daher ist die Reduzierung des Energiebedarfs für die Datenverarbeitung durch beschleunigtes Computing für nachhaltige KI-Plattformen unerlässlich“, sagt Jensen Huang, Gründer und CEO von Nvidia. „Databricks ist der Pionier der groß angelegten Datenverarbeitung. Indem wir die Nvidia-CUDA-Beschleunigung in den Kern-Computing-Stack von Databricks einbringen, legen wir den Grundstein dafür, dass Kunden auf der ganzen Welt ihre Daten nutzen können, um generative KI im Unternehmen zu betreiben.“
Mehr Preis/Leistung mit Photon und Nvidia
Databricks plant die Entwicklung nativer Unterstützung für Nvidia-beschleunigtes Computing in Databricks‘ vektorisierter Abfrage-Engine der nächsten Generation, Photon, um die Geschwindigkeit und Effizienz von Data-Warehousing- und Analyse-Workloads der Kunden zu verbessern.
Photon treibt Databricks-SQL an, Databricks‘ serverloses Data Warehouse mit branchenführender Preisleistung und Total Cost of Ownership (TCO). Databricks und Nvidia sind davon überzeugt, dass diese Zusammenarbeit zu einer neuen Dimension der Preis-Leistung führen wird.
Generative KI-Fabriken mit Nvidia-NIM erstellen
Auf der COMPUTEX wurde das Open-Source-Modell DBRX von Databricks als Nvidia-NIM-Microservice verfügbar gemacht. Nvidia-NIM Inferenz-Microservices stellen Modelle als vollständig optimierte, vorgefertigte Container zur Verfügung, die überall eingesetzt werden können, um die Produktivität von Unternehmensentwicklern drastisch zu erhöhen, indem sie eine einfache, standardisierte Möglichkeit bieten, generative KI-Modelle zu ihren Anwendungen hinzuzufügen.
DBRX, das im März 2024 auf den Markt kam, wurde vollständig auf Databricks aufgebaut und nutzt alle Tools und Techniken, die Kunden und Partnern von Databricks zur Verfügung stehen. Es wurde mit Nvidia-DGX-Cloud, einer skalierbaren End-to-End-KI-Plattform für Entwickler, trainiert. Unternehmen können DBRX mit Unternehmensdaten anpassen, um organisationsspezifische, qualitativ hochwertige Modelle zu erstellen, oder als Referenzarchitektur nutzen, um von Grund auf benutzerdefinierte DBRX-ähnliche Mixture-of-Expert-Modelle (MoE) zu erstellen.
Die Data-Intelligence-Platform von Databricks bietet die umfassendste Plattform für die Erstellung, Bewertung, Bereitstellung, Sicherung und Überwachung von generativen KI-Anwendungen von Anfang bis Ende. Mit dem datenzentrierten Ansatz von Databricks-Mosaic-AI für generative KI profitieren Kunden von einer offenen, flexiblen Plattform zur einfachen Skalierung generativer KI-Anwendungen auf ihren eigenen Daten, die sicher, genau und kontrolliert sind.
Aufbauend auf dem jüngsten Databricks-Momentum
Die heutige Ankündigung folgt auf die strategische Übernahme von Tabular durch Databricks, einem von Ryan Blue, Daniel Weeks und Jason Reid gegründeten Datenmanagement-Startup. Durch die Zusammenführung der ursprünglichen Schöpfer von Apache-Iceberg und Linux-Foundation Delta-Lake, den beiden führenden Open-Source-Lakehouse-Formaten, wird Databricks eine Vorreiterrolle bei der Datenkompatibilität einnehmen, sodass Unternehmen nicht mehr durch das jeweilige Format ihrer Daten eingeschränkt sind. Databricks hat außerdem kürzlich angekündigt, sein offenes Delta-Sharing-Ökosystem mit Produktinnovationen und strategischen Partnerschaften zu verdoppeln, um Kunden zu ermöglichen, Datensilos effizient aufzubrechen und KI-Innovationen freizusetzen.
Angetrieben von der steigenden Nachfrage nach Daten- und KI-Funktionen erzielte Databricks im Geschäftsjahr, das am 31. Januar 2024 endete, einen Umsatz von über 1,6 Milliarden US-Dollar, was einem Wachstum von über 50 Prozent im Vergleich zum Vorjahr entspricht.
#Databricks
