Unternehmensweite Automatisierung und Kontrolle der KI-gestützten Softwarebereitstellung

„JFrog ML“ von JFrog fördert mit KI-Sicherheit verbundene MLOps-Praktiken – Vereinheitlichung von Entwickler-, Data Science- und Operations-Teams mit unternehmensweiter Automatisierung.

KI-Initiativen in Unternehmen sehen sich zunehmend mit Herausforderungen in Bezug auf Sicherheit, Skalierbarkeit und Management konfrontiert. Derzeit ist JFrog die weltweit einzige Plattform, die die sichere Bereitstellung von Machine-Learning-Technologien, neben allen anderen Anwendungskomponenten, in einer einzigen Lösung anbietet. JFrog-ML ist die erste Ergänzung der Plattform, die sich aus der Übernahme von QWAK.ai im Jahr 2024 ergeben hat.

Durch die nahtlose Verknüpfung von Machine-Learning (ML)-Verfahren mit traditionellen DevSecOps-Entwicklungsprozessen können Unternehmen sicherstellen, dass ihre Modelle nahtlos bereitgestellt, gesichert und gewartet werden, wodurch sich die Leistung und Zuverlässigkeit der Modelle in realen, produktiven Anwendungen verbessern soll. Die Bereitstellung von JFrog-ML ist Teil von JFrogs Einsatz, die Nachfrage nach skalierbareren, sichereren KI-Anwendungsbereitstellung zu befriedigen – so wie schon die Integrationen mit Hugging-Face, AWS-Sagemaker, MLflow (entwickelt von Databricks) und Nvidia-NIM.

„Mit zunehmender Nachfrage nach KI-gesteuerten Anwendungen, wachsen die Bedenken hinsichtlich der Fähigkeit, diese neue Domäne auch an allen Abschnitten kontrollieren und verwalten zu können – von MLOps bis zur ML-Sicherheit. Unser Team von Sicherheitsforschern war das erste, das neue, bösartige Zero-Day-ML-Modelle in Hugging-Face aufgespürt und beseitigt hat “, so Alon Lev, VP & GM, MLOps bei JFrog. „Um Modelle in die Produktion zu bringen, kombiniert JFrog-ML ein überragendes, unkompliziertes und problemloses Nutzererlebnis mit dem erforderlichen Maß an Vertrauen und Provenienz, das Unternehmen von JFrog erwarten, so dass sie ihre KI-Initiativen mit gutem Gewissen beschleunigen können .“

Die Entwicklung von ML-Modellen und ihre Überführung in die Produktionsreife ist ein äußerst komplexer Prozess, der sowohl technisches Fachwissen als auch ein tiefgreifendes Verständnis von Softwarebereitstellung erfordert. Um Zuverlässigkeit und Effizienz in einer Live-Umgebung gewährleisten zu können, müssen Modelle sorgfältig geplant und getestet werden. Darüber hinaus arbeiten die Data-Scientists, die die Modelle erstellen, nicht allein. Sie benötigen Dateningenieure, um Daten zu strukturieren und aufzubereiten, Softwareingenieure, um Modelle als Microservices bereitzustellen, und DevSecOps-Teams, um eine reibungslose und sichere Integration in die Produktion zu ermöglichen. JFrog-ML hilft dabei, diese oft lähmenden Herausforderungen mit einem strukturierten Rahmen zu überwinden. Er wurde entwickelt, um die gesamte Organisation zu unterstützen und sicherzustellen, dass Modelle erfolgreich aus ihren experimentellen Phasen herausgeführt werden.

„Die Einrichtung und Aufrechterhaltung robuster ML-Workflows erfordert eine komplexe Infrastruktur, von der Funktionsentwicklung bis hin zur Modellbereitstellung und Modellüberwachung. JFrog ML wurde entwickelt, um all dies zu ermöglichen. JFrog-Artifactory kommt dabei als Modell-Registry, JFrog-Xray zum Scannen und Sichern von ML-Modellen zum Einsatz. Durch die Bereitstellung einer einheitlichen Plattform für DevOps, DevSecOps und MLOps wird die Nutzereffizienz verbessert “, so Yuval Fernbach, VP & CTO bei JFrog. „KI entwickelt sich weiter. Unternehmen können JFrog-ML nutzen, um ihre Infrastruktur kontinuierlich anzupassen und alle Entwicklungen zu unterstützen – von traditionellen ML-Modellen bis hin zu hochmodernen GenAI-Anwendungen .“

Dadurch, dass ML-Modelle von Beginn an als Softwarepaket behandelt werden und dadurch, dass ML-Modellmanagement und Softwareentwicklung in einer einzigen Source of Truth zusammengeführt werden, können Reibungen und Fehler zwischen den einzelnen Entwicklungsphasen und -Teams erheblich reduziert werden. JFrog-ML bietet eine KI-Entwicklung und -Bereitstellung mit voller Nachvollziehbarkeit, Steuerbarkeit und Sicherheit.

Zu den wichtigsten Features zählen:

• Eine einheitliche DevOps-, DevSecOps- und MLSecOps-Plattform: JFrog-ML bietet, als Teil der JFrog-Plattform, eine ganzheitliche Sicht auf die gesamte Software-Lieferkette – von traditionellen Softwarepaketen bis hin zu LLMs und GenAI – wodurch KI-Pipelines gestrafft werden und sichergestellt wird, dass Modelle, ebenso wie andere Software-Artefakte, sicher verwaltet werden.
• Geschützte ML-Modelle: Ermöglicht KI-Innovationen und sorgt gleichzeitig für die Sicherheit von Unternehmen – mit der einzigen Plattform, die ein standardmäßiges Modellsicherheitsscanning auf bösartige oder anfällige Modelle bietet, die von Ihrem Unternehmen generiert wurden – oder aus Open Source importiert wurden.
• Ein einheitliches Aufzeichungsystem für KI: Als Teil der JFrog Software Supply Chain-Plattform verwaltet JFrog ML ML-Modelle und -Datensätze zusammen mit anderen Bausteinen, wie Containern und Python-Paketen und schafft so einen einzigen Ort, um anpassbare Sicherheits- und Compliance-Richtlinien während des gesamten KI-Entwicklungsprozesses durchzusetzen.
• Intuitive Modellbereitstellung für die Produktion: JFrog ML hilft dabei, KI-Initiativen mit vereinfachten Modellentwicklungs- und -bereitstellungsprozessen voranzutreiben, indem es Data-Science- und ML-Engineering-Teams dabei unterstützt, die Modellbereitstellung in der Produktion zu beschleunigen und gleichzeitig die Sicherheit drastisch zu verbessern und die Modellverwaltung, das Rollback und die Neubereitstellung zu vereinfachen.
• Modelltraining und Qualitätsüberwachung: Vollständige Verwaltung von Datensätzen und Unterstützung von Funktionsspeichern.
• Vertrauenswürdige ML-Umgebung: JFrog ML erstellt ein reproduzierbares Artefakt jedes mit der JFrog-Plattform erstellten Modells und ermöglicht so Sicherheitsscans und automatisierte Qualitätsprüfungen, um sicherzustellen, dass Modelle genauso streng geprüft werden, wie andere Softwarekomponenten auch.
• Unterstützung für Nvidia-NIM KI-Modelle auf Enterprise-Niveau : Der JFrog ML-Katalog wird auch die Bereitstellung von NIM-basierten Modellen als Teil seiner Modellbibliothek enthalten, was eine Bereitstellung mit nur einem Klick erlauben wird.

#JFrog