Databricks hat die allgemeine Verfügbarkeit von Serverless-Compute für Notebooks, Jobs und Delta-Live-Tables (DLT) auf AWS und Azure angekündigt. Unternehmen schreiben den Code und sind nun in der Lage, Workloads schnell zu starten, die Skalierung der Infrastruktur zu automatisieren und nahtlose Versions-Upgrades der Databricks-Runtime durchzuführen. Mit Serverless bekommen Kunden nur die geleistete Rechenarbeit berechnet im Gegensatz zu der Zeit für die Beschaffung und Initialisierung von Instanzen bei Cloud-Anbietern.
Die Konfiguration und Verwaltung von Datenverarbeitungssystemen wie Spark-Clustern war lange Zeit eine Herausforderung für Data-Engineers und Data-Scientists. Die Zeit, die für die Konfiguration und Verwaltung von Rechenleistung aufgewendet wird, ist Zeit, die nicht für die Wertschöpfung des Unternehmens genutzt wird. Die Auswahl des richtigen Instanztyps und der richtigen Größe ist zeitaufwändig und erfordert Experimente, um die optimale Wahl für eine bestimmte Arbeitslast zu treffen. Das Herausfinden von Cluster-Richtlinien, automatischer Skalierung und Spark-Konfigurationen verkompliziert diese Aufgabe zusätzlich und erfordert darüber hinaus Fachwissen. Sobald die Cluster eingerichtet und in Betrieb sind, muss noch Zeit für die Wartung und Abstimmung der Leistung und die Aktualisierung der Databricks-Runtime-Versionen aufgewendet werden. Nur dann können Unternehmen auch von den neuen Funktionen profitieren.
Leerlaufzeit – Zeit, die nicht mit der Verarbeitung von Arbeitslasten verbracht wird, für die Unternehmen aber trotzdem zahlen – ist ein weiteres kostspieliges Ergebnis der Verwaltung einer eigenen Recheninfrastruktur. Während der Initialisierung und Skalierung von Rechenkapazitäten müssen Instanzen hochgefahren werden, Software, einschließlich Databricks-Runtime, muss installiert werden. Unternehmen bezahlen den Cloud-Anbieter für diese Zeit. Und wenn ein Unternehmen zu viele Instanzen oder Instanztypen mit zu viel Arbeitsspeicher, CPU usw. einsetzt, wird die Rechenkapazität nicht voll ausgelastet, und dennoch zahlen sie für die gesamte bereitgestellte Rechenkapazität. Die Beobachtung dieser Kosten und Komplexität bei Millionen von Workloads war der Anlass, die Serverless-Compute Innovationen zu entwickeln.
Mit Serverless-Compute entfällt die Komplexität der Delegierung von Berechtigungen über komplexe Cloud-Richtlinien und -Rollen hinweg, um den Lebenszyklus von Instanzen zu verwalten. Databricks verwaltet eine große, sichere Anzahl von Compute, die für Workloads benötigt werden.
Databricks hat die folgenden Schritte unternommen, um Unternehmen bei der Nutzung von Serverless-Compute zu unterstützen:
- Google-Cloud-Unterstützung: Databricks hat mit einer privaten Vorschau für serverloses Computing in der Google-Cloud begonnen; die öffentliche Vorschau und GA-Ankündigungen werden folgen.
- Private Netzwerke und Egress-Kontrollen: Unternehmen können sich mit Ressourcen innerhalb des privaten Netzwerks verbinden und kontrollieren, worauf die Serverless-Compute-Ressourcen im öffentlichen Internet zugreifen können.
- Durchsetzbare Attribution: Unternehmen stellen sicher, dass alle Notebooks, Workflows und DLT-Pipelines angemessen gekennzeichnet sind, damit sie die Kosten bestimmten Kostenstellen zuordnen können, z. B. für Rückbelastungen.
- Umgebungen: Admins können eine Basis Umgebung für den Arbeitsbereich mit Zugriff auf private Repositories, spezifische Python- und Bibliotheksversionen und Umgebungsvariablen festlegen.
- Kosten vs. Leistung: Serverless-Compute ist derzeit für schnelle Starts, Skalierung und Leistung optimiert. Benutzer werden bald in der Lage sein, auch andere Ziele wie niedrigere Kosten anzugeben.
- Scala-Unterstützung: Benutzer werden in der Lage sein, Scala-Workloads auf Serverless-Compute auszuführen. Um sich auf den reibungslosen Wechsel zu Serverless vorzubereiten, sobald dieser verfügbar ist, können sie ihre Scala-Workloads auf klassisches Compute mit Shared-Access-Modus verschieben.
#Databricks
