Databricks konzentriert sich auf die Demokratisierung von Daten und KI für Unternehmen. Seit dem Debüt von ChatGPT im vergangenen November und der kürzlichen Einführung von Dolly 2.0 stellt sich die Frage, wie sich die Leistung von KI und großen Sprachmodellen (LLMs) nutzen lässt. Darüber hinaus geht es auch darum, wie in diesem Kontext Sicherheit und Datenschutz umgesetzt werden.
Nun hat das Unternehmen eine endgültige Vereinbarung zur Übernahme von Okera, der weltweit ersten KI-zentrierten Data-Governance-Plattform, angekündigt. Okera löst die Datenschutz- und Governance-Herausforderungen im gesamten Spektrum von Daten und KI. Es vereinfacht die Datensichtbarkeit und -transparenz und hilft Unternehmen, ihre Daten zu verstehen und Bedenken hinsichtlich ihrer Voreingenommenheit auszuräumen.
Wie verändert die KI die Data-Governance?
Historisch gesehen beruhen Data-Governance-Technologien, unabhängig von ihrer Komplexität, auf der Durchsetzung der Kontrolle auf einer schmalen Ebene und erfordern, dass die Workloads in den “Walled Garden” auf dieser Ebene passen. So stützen sich beispielsweise Cloud-Data-Warehouses auf SQL für die Zugriffskontrolle. Dies ist so lange effizient, wie alle Workloads in SQL passen. Dies war einige Jahrzehnte lang der Fall, als die primären Datenanwendungen in der Tat SQL-zentriert waren, z. B. Business-Intelligence-Berichte, die SQL-Abfragen generierten.
Bei KI, insbesondere von maschinellen Lernmodellen und LLM, ist dieser Ansatz nicht mehr ausreichend. Erstens steigt die Zahl der Datenbestände, die ein Unternehmen verwalten muss, exponentiell an, da viele der in der KI verwendeten Datenquellen maschinell und nicht von Menschenhand generiert werden. Zweitens ist angesichts der rasanten Entwicklung der KI-Landschaft kein einzelnes Unternehmen in der Lage, einen Walled Garden zu schaffen, der aussagekräftig genug ist, um den Stand der Technik zu erfassen. Ein Anbieter kann die Zugriffskontrolle für seine eigene SQL-basierte Data-Warehouse-Engine erzwingen, wäre aber nicht in der Lage, jede einzelne Open-Source-Bibliothek zu ändern, um sicherzustellen, dass sie die besondere Kontrolle eines Walled-Garden einhält. Dies bedeutet, dass KI-spezifische Governance-Belange wie Provenance und Bias außerhalb der Reichweite herkömmlicher Data-Governance-Plattformen liegen.
Okera’s KI-zentrierte Governance-Technologien
Die Plattform bietet zwei einzigartige Technologien, mit denen die Herausforderungen der Data Governance in dieser neuen Welt bewältigt werden können.
Erstens bietet sie eine intuitive, KI-gestützte Schnittstelle zur automatischen Erkennung, Klassifizierung und Kennzeichnung sensibler Daten, wie personenbezogener Informationen. Anhand dieser Tags können Data-Governance-Verantwortliche auf einfache Weise die Einhaltung von Richtlinien bewerten und No-Code-Zugriffsrichtlinien erstellen, die die Transparenz und Kontrolle über Daten verbessern. Sie bietet darüber hinaus ein Self-Service-Portal zur schnellen Prüfung und Analyse der Nutzung sensibler Daten, so dass Unternehmen in der Lage sind, Datenverwendungsmuster zuverlässig zu überwachen und zu verfolgen. Dies trägt dazu bei, dass Governance-Richtlinien konsistent angewandt werden, selbst bei der explosionsartigen Zunahme von Datenbeständen, von denen viele durch KI generiert werden können.
Zweitens hat Okera eine neue Isolationstechnologie entwickelt, die beliebige Workloads unterstützen kann und gleichzeitig die Governance-Kontrolle ohne Leistungseinbußen durchsetzt. Diese Technologie befindet sich in der privaten Vorschau und wurde von einer Reihe gemeinsamer Kunden speziell für ihre KI-Workloads getestet. Sie ist der Schlüssel, um sicherzustellen, dass Unternehmen das gesamte Spektrum an Anwendungen in der neuen Welt effizient abdecken können. Wir werden in Kürze weitere technische Details zu dieser neuen Technologie bekannt geben.
Unity-Catalog
Das Lakehouse hilft bei der gemeinsamen Entwicklung von Daten- und KI-Anwendungen und beim Aufbau von LLMs. Im Mittelpunkt steht die Vereinheitlichung dieser Workloads auf einer Plattform. Die Grundlage der Lakehouse-Vision bildet Unity-Catalog, die Data-Governance-Schicht für alle Daten- und KI-Workloads. Databricks wird die KI-zentrierten Governance-Technologien in Unity Catalog integrieren.
Unternehmen werden davon profitieren, dass sie KI nutzen können, um all ihre Daten, Analysen und KI-Ressourcen (einschließlich ML-Modelle und Modellfunktionen) mit attributbasierten und absichtsbasierten Zugriffsrichtlinien zu erkennen, zu klassifizieren und zu verwalten. Darüber hinaus profitieren sie von einer durchgängigen Datenbeobachtung im Lakehouse, die es ihnen ermöglicht, die Nutzung sensibler Daten über Analyse- und KI-Anwendungen hinweg zentral zu prüfen und zu melden und die Datenverknüpfung automatisch bis auf Spaltenebene zu verfolgen.
Mit diesen Erweiterungen erhalten Unternehmen einen ganzheitlichen Überblick über ihren Datenbestand über alle Clouds hinweg und können ein einziges Berechtigungsmodell verwenden, um Zugriffsrichtlinien zu definieren, KI-Anwendungsfälle zu beschleunigen und eine einheitliche Governance im gesamten Lakehouse sicherzustellen. Diese bevorstehende Übernahme wird es dem Anbieter auch ermöglichen, APIs für umfassendere Richtlinien bereitzustellen, die andere Data-Governance-Partner nutzen können, um nahtlose Lösungen zu bieten.
„Wir haben Okera gegründet, um datengesteuerten Unternehmen zu helfen, den legitimen Datenzugriff zu beschleunigen und gleichzeitig die Risiken für die Datensicherheit zu minimieren und die Einhaltung gesetzlicher Vorschriften zu gewährleisten. Da die Datenmenge, -geschwindigkeit und -vielfalt über verschiedene Anwendungen hinweg immer weiter zunimmt, müssen CIOs, CDOs und CEOs diese beiden oft widersprüchlichen Initiativen unter einen Hut bringen – ganz zu schweigen davon, dass die Verwaltung von Zugriffsrichtlinien über mehrere Clouds hinweg in der Vergangenheit mühsam und zeitaufwändig war. Viele Unternehmen verfügen nicht über genügend technisches Talent, um Zugriffsrichtlinien in großem Umfang zu verwalten, insbesondere angesichts der explosionsartigen Zunahme von LLMs. Was sie brauchen, ist eine moderne, KI-zentrierte Governance-Lösung. Wir freuen uns sehr, dem Databricks-Team beizutreten und unsere Erfahrung bei der Entwicklung sicherer, skalierbarer und einfacher Governance-Lösungen für einige der zukunftsorientiertesten Unternehmen der Welt einzubringen“, sagt Nong Li, Mitbegründer und CEO von Okera.
#Databricks
