Databricks kündigt mehrere Neuerungen für Mosaic-AI an, die Kunden bei der Erstellung von produktionsreifen generativen KI-Anwendungen unterstützen. Databricks investiert in Mosaic-AI in drei Schlüsselbereichen: Unterstützung beim Aufbau zusammengesetzter KI-Systeme, Funktionen zur Verbesserung der Modellqualität und neue KI-Governance-Tools. Die daraus resultierenden Innovationen geben den Kunden die Sicherheit, Anwendungen in Produktionsqualität zu erstellen und zu messen, um die Versprechen der generativen KI für ihr Unternehmen zu erfüllen.
Unternehmen tun sich schwer damit, generative KI-Projekte aus Datenschutz-, Qualitäts- und Kostengründen von der Pilotphase in die Serienproduktion zu überführen. Zwar haben sich die Basismodelle alle deutlich verbessert, doch haben sie immer noch Schwierigkeiten, qualitativ hochwertige Ergebnisse zu liefern. Die leistungsstärksten Modelle können immer noch Antworten geben, die ungenau oder unsicher sind oder vertrauliche Daten preisgeben. Um diese Herausforderungen zu bewältigen, gehen Unternehmen dazu über, nicht nur ein einziges, großes Modell einzusetzen, sondern zusammengesetzte KI-Systeme zu verwenden. Bei diesem Ansatz kommen mehrere Komponenten zum Einsatz, darunter verschiedene Modelle, Retriever, Vektordatenbanken und Tools für Bewertung, Überwachung, Sicherheit und Governance. Infolgedessen bieten zusammengesetzte KI-Systeme eine viel höhere Produktionsqualität und ermöglichen es Unternehmen, präzisere, sicherere und besser kontrollierte KI-Anwendungen effizient bereitzustellen.
„Wir glauben, dass zusammengesetzte KI-Systeme der beste Weg sein werden, um die Qualität, Zuverlässigkeit und Messung von KI-Anwendungen in Zukunft zu maximieren, und möglicherweise einer der wichtigsten Trends in der KI im Jahr 2024 sein werden“, sagt Matei Zaharia, Mitbegründer und CTO bei Databricks. „Databricks ist einzigartig positioniert, um diese Trends mit den Investitionen zu nutzen, die wir tätigen, um die Qualität zu verbessern und das Modell mit Echtzeitdaten, Agenten und Tools zu erweitern, um ihm neue Fähigkeiten zu geben, die es noch nicht kennt.“
Um Kunden bei der Entwicklung produktionsreifer generativer KI-Anwendungen zu unterstützen, bringt Databricks das Mosaic-AI-Agent-Framework, das Mosaic-AI-Quality-Lab, den Mosaic-AI-Tools-Catalog, das Mosaic-AI Model-Training und das Mosaic-AI-Gateway auf den Markt.
Mosaic-AI-Agent-Framework und Mosaic-AI-Tools-Catalog helfen Unternehmen bei der Entwicklung komplexer KI-Systeme
Databricks führt mehrere neue Funktionen ein, um Kunden bei der Bereitstellung von unternehmensfähigen Compound-AI-Systemen zu unterstützen. RAG ist eine Art von zusammengesetztem KI-System, da es mehrere Komponenten wie eine Vektordatenbank und Tools für die Überwachung, Bewertung, Sicherheit und Governance verwendet, um die Genauigkeit des LLM zu verbessern. Im Mai kündigte Databricks die allgemeine Verfügbarkeit von Mosaic-AI-Vector-Search an, einer serverlosen Vektordatenbank, die nahtlos in die Data-Intelligence-Platform integriert ist. Das Mosaic-AI-Agent-Framework erleichtert Entwicklern schnell und sicher hochwertige RAG-Anwendungen zu erstellen, indem sie Basismodelle und ihre Unternehmensdaten verwenden. Sie können die Qualität ihrer RAG-Anwendung mit dem Mosaic-AI Quality-Lab bewerten, schnell iterieren und ihre Anwendung problemlos erneut bereitstellen. Mosaic-AI-Quality-Lab ist ein KI-gestütztes Evaluierungstool, das automatisch feststellt, ob die Ergebnisse qualitativ hochwertig sind, und eine intuitive Benutzeroberfläche bietet, um Feedback von menschlichen Stakeholdern zu erhalten. Zusammengenommen helfen diese Funktionen Unternehmen dabei, generative KI-Lösungen in Produktionsqualität einzusetzen.
Compound-AI-Systeme nutzen häufig Tools als Funktionen, die diese Systeme mit neuen Fähigkeiten ausstatten, um mit der Welt zu interagieren, wie intelligentes Generieren und Ausführen von Code, Durchsuchen des Internets, Aufrufen von APIs und mehr. Mit Mosaic-AI-Tools-Catalog können Unternehmen Tools mit Databricks-Unity-Catalog verwalten, freigeben und registrieren. Dadurch wird sichergestellt, dass Modelle, die mit Tools ausgestattet sind, diese auf sichere und kontrollierte Weise nutzen können, und dass diese Tools im gesamten Unternehmen auffindbar sind.
Mosaic-AI-Model-Training ermöglicht die Feinabstimmung von Basismodellen, erhöht die Modellqualität und senkt die Kosten
Mit Mosaic-AI-Model-Training werden Open-Source-Basismodelle mit den privaten Daten eines Unternehmens feinabgestimmt und mit neuem, für den jeweiligen Bereich oder die jeweilige Aufgabe spezifischem Wissen versehen. Diese fein abgestimmten Modelle befinden sich vollständig im Besitz und unter der Kontrolle des Kunden und liefern qualitativ hochwertigere Ergebnisse für bestimmte Anwendungsfälle, da sie mit den privaten Daten des Unternehmens für spezielle Aufgaben trainiert wurden. Kleinere Modelle, die durch Model Training feinabgestimmt wurden, sind nicht nur genauer für bestimmte Bereiche, sondern auch schneller und kostengünstiger als größere proprietäre Modelle, da sie weniger Parameter haben und weniger Rechenleistung benötigen.
Mosaic-AI-Gateway bietet Governance für alle GenAI-Anwendungen und -Modelle
Mosaic-AI-Gateway bietet eine einheitliche Schnittstelle zum Abfragen, Verwalten und Bereitstellen beliebiger Open-Source- oder proprietärer Modelle, so dass Kunden die großen Sprachmodelle (LLMs), die ihre Anwendungen antreiben, einfach wechseln können, ohne komplizierte Änderungen am Anwendungscode vornehmen zu müssen. Die Lösung unterstützt die Nachverfolgung der Nutzung und Leitplanken, so dass Unternehmen nachverfolgen können, wer das Modell aufruft, Ratenbeschränkungen einrichten können, um die Ausgaben ihrer Unternehmensnutzer zu kontrollieren, und unabhängig vom verwendeten Modell nach Sicherheit und persönlich identifizierbaren Informationen (PII) filtern können. Und schließlich bietet es integrierte Governance- und Überwachungsfunktionen, um die Qualität kontinuierlich zu gewährleisten.
„Corning ist ein materialwissenschaftliches Unternehmen – unsere Glas- und Keramiktechnologien werden in vielen industriellen und wissenschaftlichen Anwendungen eingesetzt, daher ist das Verständnis und die Nutzung unserer Daten von entscheidender Bedeutung. Wir haben einen KI-Forschungsassistenten entwickelt, der Databricks-Mosaic-AI-Agent-Framework nutzt, um Hunderttausende von Dokumenten zu indizieren, darunter auch Daten des US-Patentamts“, sagt Denis Kamotsky, Principal Software Engineer bei Corning. „Für uns war es extrem wichtig, dass unser LLM-gestützter Assistent Fragen mit hoher Genauigkeit beantwortet – so konnten unsere Forscher die Aufgaben, an denen sie arbeiteten, finden und weiterverfolgen. Um dies zu realisieren, nutzten wir Databricks-Mosaic-AI-Agent-Framework, um eine generative KI-Lösung zu entwickeln, die mit den Daten des US-Patentamts angereichert wurde. Durch den Einsatz der Data-Intelligence-Platform von Databricks konnten wir die Abfragegeschwindigkeit, die Qualität der Antworten und die Genauigkeit deutlich verbessern.“
„Ford Direct steht an der Spitze des digitalen Wandels in der Automobilbranche. Wir sind die Datendrehscheibe für Ford- und Lincoln-Händler und mussten einen einheitlichen Chatbot erstellen, der unseren Händlern hilft, ihre Leistung, Bestände, Trends und Kundenbindungskennzahlen zu bewerten. Databricks-Mosaic-AI-Agent-Framework ermöglichte es uns, unsere proprietären Daten und Dokumentationen in unsere generative KI-Lösung zu integrieren, die RAG verwendet“, sagte Tom Thomas, VP of Analytics bei Ford Direct. „Die Integration von Mosaic-AI mit Databricks-Delta-Tables und Unity-Catalog ermöglichte es uns, unsere Vektorindizes in Echtzeit zu aktualisieren, während unsere Quelldaten aktualisiert wurden, ohne dass wir unser eingesetztes Modell berühren mussten.“
„Als führender globaler Hersteller nutzt Lippert Daten und KI, um hochentwickelte Produkte, maßgeschneiderte Lösungen und bestmögliche Erfahrungen zu entwickeln“, sagt Kenan Colson, VP Data & AI, Lippert. „Das Mosaic-AI-Agent-Framework war für uns ein entscheidender Faktor, denn es ermöglichte uns, die Ergebnisse unserer GenAI-Anwendungen zu evaluieren und die Genauigkeit unserer Ergebnisse zu demonstrieren, während wir die vollständige Kontrolle über unsere Datenquellen behielten. Dank der Data-Intelligence-Platform von Databricks bin ich zuversichtlich, dass wir es in der Produktion einsetzen können.“
#Databricks
