KI-Agenten bereitstellen und skalieren

Laut dem Economist Impact Report “Unlocking enterprise AI ” nutzen bereits 85 Prozent der Unternehmen weltweit generative KI. Andererseits stehen sie vor erheblichen Herausforderungen bei der Skalierung dieser Projekte über die Pilotphase hinaus. Trotz der rasanten Entwicklung im Bereich generativer KI in den letzten zwei Jahren haben viele Unternehmen weiterhin Schwierigkeiten, KI-Agenten in hochwertigen Anwendungsfällen einzusetzen. Grund hierfür sind Bedenken hinsichtlich Governance, Genauigkeit und Sicherheit

Unternehmen auf der ganzen Welt suchen nach Lösungen, um KI-Agenten von ersten Pilotprojekten in die Produktionsphase zu überführen und sie für ihre Business-Cases zu skalieren. Auch wenn viele Unternehmen GenAI-Lösungen in risikoarmen Anwendungsfällen mit begrenztem Umfang einsetzen können, trauen sich die meisten nicht, sie für externe oder interne Use Cases einzusetzen, die ein gewisses finanzielles Risiko bergen.

Databricks führt Neuerungen ein, die Unternehmen dabei helfen, KI-Agenten zu skalieren und mit Vertrauen einzusetzen:

• Zentralisierte Governance für alle KI-Modelle: Integrieren und verwalten Sie sowohl Open-Source- als auch kommerzielle KI-Modelle an einem Ort mit Mosaic-AI-Gateway-Unterstützung für benutzerdefinierte LLM-Anbieter (Public-Preview).
• Nahtlose Integration in bestehende App-Workflows: Die AI/BI-Genie-Conversation-API-Suite (Public-Preview) ermöglicht es Entwicklern, auf natürlicher Sprache basierende Chatbots direkt in benutzerdefinierte Anwendungen oder beliebte Produktivitätstools wie Microsoft Teams, Sharepoint und Slack einzubetten.
• Effizientere Arbeitsabläufe durch menschliche Expertise: Die aktualisierte Agent-Evaluation-Review-App (Public-Preview) erleichtert es Fachleuten mit Domain-Wissen, gezieltes Feedback zu geben, Spuren zur Kennzeichnung zu senden und die Bewertungskriterien anzupassen.
• Batch-Inferenz ohne Provisionen: Eine neue Möglichkeit, Batch-Inferenzen mit Mosaic-AI mit einer einzigen SQL-Abfrage auszuführen (Public-Preview) – dadurch entfällt die Notwendigkeit, eine Infrastruktur bereitzustellen, während eine nahtlose Integration unstrukturierter Daten ermöglicht wird.

Der Umfang des Mosaic-AI-Gateways zur Unterstützung beliebiger LLM-Endpunkte wurde erweitert, so dass Unternehmen auch Endpunkte von ihrem eigenen internen Gateway einbringen können. Unternehmen profitieren so von allen Vorteilen, ohne auf maßgeschneiderte Funktionen verzichten zu müssen, die sie in ihre eigenen Systeme integriert haben.

Zusätzlich ermöglicht die Genie-Conversation-API-Suite den Nutzern, Einblicke in ihre Daten in natürlicher Sprache von verschiedenen Plattformen aus zu erhalten, darunter Databricks-Apps, Slack, Teams, Sharepoint und kundenspezifische Anwendungen. Mit der Genie-API können Benutzer programmatisch Aufforderungen übermitteln und Einblicke erhalten, genau wie sie es in der Genie-Benutzeroberfläche tun würden. Dank der zustandsorientierten API bleibt der Kontext über mehrere Folgefragen hinweg innerhalb eines Konversations-Threads erhalten, was eine nahtlose und intelligente Interaktion ermöglicht.

Diese neuen Funktionen helfen Unternehmen, KI-Agenten in hochwertigen, unternehmenskritischen Anwendungen einzusetzen – mit höchster Präzision, Governance und Benutzerfreundlichkeit.

Die während der “Week of Agents” vorgestellten Innovationen adressieren zentrale Herausforderungen und ermöglichen Unternehmen, KI-Agenten zuverlässig über Pilotprojekte hinaus in die Produktion zu bringen.

#Databricks