Auf dem Data & AI Summit 2024 kündigte Databricks die allgemeine Verfügbarkeit von “Predictive Optimization” an. Predictive-Optimierung nutzt Unity-Catalog und wird von der Data-Intelligence-Engine angetrieben, um die besten Optimierungen für Daten zu bestimmen und diese Operationen automatisch auf einer serverlosen Infrastruktur auszuführen. Die Vorteile für Data-Engineering-Teams liegen darin, dass sie die Wartungsvorgänge bisher manuell verwalten mussten. Die Data-Intelligence-Platform von Databricks übernimmt diese Aufgabe für Firmen, reduziert die Komplexität der Verwaltung und verbessert umgehend die Leistung und Kosteneffizienz.
Die Tabellenpflege ist eines der Schlüsselelemente zur Verbesserung der “Query Performance” und Kosteneffizienz im Data-Lake. Die Herausforderung für die Unternehmen besteht darin, dass die manuelle Pflege viel technisches Know-how, manuellen Aufwand und ständige Anpassungen erfordert, wenn sich die Daten und Anwendungsfälle des Unternehmens weiterentwickeln.
Data-Engineering-Teams müssen herausfinden, welche Optimierungen sie durchführen wollen. Dann stellt sich die Frage, welche Tabellen sie optimieren müssen. Sie müssen ebenfalls herausfinden, wie häufig die Optimierungen ausgeführt werden sollen. All diese Fragen bedürfen Antworten, bevor die Data-Teams den operativen Aufwand für die Durchführung dieser Optimierungen bewältigen können. Sie müssen beispielsweise die Aufträge planen, Fehlern finden und die zugrunde liegende Infrastruktur verwalten. Außerdem handelt es sich nicht um eine einmalige Einrichtung. Data-Teams müssen diese Aufträge kontinuierlich aktualisieren, wenn ihre Datenmengen wachsen, neue Tabellen hinzugefügt werden und sich die Zugriffsmuster ändern. Daten- und KI-Anwendungsfälle sind in den Unternehmen geradezu explodiert. Deshalb haben viele Unternehmen zu Protokoll gegeben, dass sie mit der Optimierung von Tabellen, die aufgrund der wachsenden Geschäftsanforderungen erstellt wurden, nicht Schritt halten können.
Predictive-Optimization bestimmt auf intelligente Weise den besten Zeitplan für Optimierungen, indem es den Unity-Catalog und die Data-Intelligence-Engine nutzt. Das KI-Modell nimmt die Abfragemuster des Unternehmens und kombiniert sie mit Faktoren wie Datenlayout, Tabelleneigenschaften und Leistungsmerkmalen, um die wirksamsten Optimierungen zu ermitteln.
Preview-Kunden wie Anker berichten von einer 2-fachen Verbesserung der Abfrageleistung und Storage-Einsparungen von 50 Prozent: “Databricks Predictive-Optimizations hat unseren Unity-Catalog Speicher auf intelligente Weise optimiert, wodurch wir 50 Prozent der jährlichen Speicherkosten einsparen und gleichzeitig unsere Abfragen um mehr als das Zweifache beschleunigen konnten. Die Software lernt, unsere größten und meistgenutzten Tabellen zu priorisieren. All dies geschieht automatisch, was unserem Team wertvolle Zeit spart”, erklärt Shu Li, Data Engineering Lead bei Anker.
Alessandro Caronia, Infrastructure Operations Manager und Simona Fiazza, End to End Operations Manager bei Plenitude, erklärten zu den Auswirkungen auf die Kosteneffizienz: “Databricks Predictive Optimization hilft der FinOps-Gruppe konsequent, die Speicherkosten zu minimieren. Wir haben sofort einen Rückgang der Speicherkosten um 26 Prozent festgestellt und erwarten in Zukunft weitere Einsparungen. Die Funktion hat es uns ermöglicht, Prozesse, Skripte und manuelle Wartungsvorgänge abzuschaffen, was uns eine größere Skalierbarkeit ermöglicht.”
In naher Zukunft wird Predictive-Optimization standardmäßig für alle von Unity-Catalog verwalteten Tabellen aktiviert sein, so dass Data-Teams optimierte Datenlayouts, effiziente Speicherung und mehr erhalten.
#Databricks
