4 Wege, wie Unternehmen in Zukunft vom Prinzip Data in Motion profitieren können

Der Experte, um Daten in Bewegung zu versetzen, Confluent, ist vor Kurzem ein erfolgreicher IPO gelungen. Der Zuspruch zeigt, wie präsent das Thema der Verarbeitung von Daten, die sich im ständigen Datenfluss bewegen – im Gegensatz zu jenen Daten, die langfristig gespeichert werden –  bereits ist. Sogenannte Data in Motion sind heute wichtiger denn je – nicht nur, um sich in der modernen, digitalen Ökonomie einen Wettbewerbsvorteil zu verschaffen, sondern auch, um Kundenerwartungen gerecht zu werden und ihnen eine überzeugende Digital-Customer-Experience zu verschaffen.

Cloud-native Funktionen sind der Schlüssel zum Betrieb moderner Datenplattformen und sollten überall dort zur Verfügung stehen, wo Anwendungen und Daten eines Unternehmens liegen. Um in der heutigen globalen Wirtschaft zu punkten, müssen Unternehmen außergewöhnliche Kundenerlebnisse und datengesteuerte Backend-Abläufe bieten. Wie das technisch gelingen kann, zeigen die folgenden Beispiele.

 

Buzzword: Was heißt Cloud-native für Kafka?

Die Bezeichnung Cloud-native ist im Fall von Apache-Kafka und Confluent klar definiert: Wenn Nutzer festlegen, was auf ein System zutrifft, um den größtmöglichen Nutzen daraus zu ziehen, muss das System automatisch lernen, wie es diesen Zweck erfüllt. Nur dann kann es Cloud-native sein. Des Weiteren müssen Anwendungen diese drei Eigenschaften besitzen: Sie müssen verlässlich, elastisch und sicher sein. Konkret heißt das, dass sich Cloud-native Plattformen selbst auf Fehler überprüfen und Prozesse verwalten können sowie per Klick skalierbar sind – je nachdem wie groß der Bedarf zu einem gewissen Zeitpunkt ist. Gleichzeitig garantieren sie mittels Verschlüsselung die Sicherheit der Daten, die sich in Bewegung befinden. Diese Prozesse müssen automatisiert stattfinden, ohne dass eine manuelle Instruktion erforderlich ist. Dadurch wird nicht nur die Infrastruktur von Unternehmen verbessert und die Fehlerquote minimiert. Unternehmen erhalten ebenso die Möglichkeit, in Echtzeit auf Veränderungen im Datenstroms zu reagieren, ohne die gesamte Datenbewegung zu stoppen.

 

Apache-Kafka in Deutschland: Data-Scientists erhalten ein mächtiges Werkzeug

Selbst Data-Scientists, die in der Regel nicht viel mit herkömmlichem Programmieren zu tun haben, können stark von Kafka profitieren, wie Baader zeigt. Der Maschinenhersteller für die Lebensmittelverarbeitung war eines der ersten Unternehmen auf dem deutschen Markt, das mithilfe von Confluent und Apache-Kafka seinen gesamten Datenverkehr in Bewegung versetzt hat. Durch die Implementierung von Streaming-Anwendungen konnten Data-Scientists die Transportprozesse einer Lebensmittelfabrik effizienter gestalten. Der hierfür entwickelte Transport-Manager besteht aus einigen Microservices, die auf Kafka-Streams und mehreren ksqlDB-Abfragen basieren: Sie erhalten kontinuierlich Daten auf jedem Schritt des Transportweges und laufen auf einer verwalteten ksqlDB in der Confluent-Cloud. Für Data-Scientists, die das erste Mal mit Apache-Kafka arbeiten, ist es wichtig, simpel anzufangen und sich langsam an komplexere Prozesse heranzuwagen.

 

Schneller und strukturierter: Apache-Kafka und das Data-Mesh

Data-Mesh ist ein Organisationsparadigma und eine Art Weiterentwicklung von herkömmlichen Data-Lakes, das auf Dezentralisierung und hohe Datenqualität setzt. Es ist ein Ansatz, der darauf fokussiert ist, wie sich bestehende Systeme entwickeln und wachsen können. Ein Data-Mesh zielt darauf ab, das riesige Datenvolumen innerhalb eines Unternehmens besser zu strukturieren und nutzbar zu machen. Für die Umsetzung eines Data-Mesh mit Apache-Kafka sind folgende Kernkonzepte wichtig:

  • Domain-driven Decentralization: Kafka bietet die Möglichkeit einer einheitlichen Kommunikation zwischen verschiedenen Domänen. Nicht immer sind nur die Teams, die sich am besten mit den jeweiligen Daten auskennen, für diese verantwortlich oder im Besitz der Daten. Durch das Data-Mesh können sich verschiedene Teams austauschen und Probleme so am Ursprung bekämpfen.
  • Data-as-a-Product: Data, Code und Infrastruktur formen ein Data-Product. Durch Kafka werden Konsumenten und Produzenten der Daten getrennt, um für klare Strukturen zu sorgen, die höchst skalierbar sind. Nur der öffentliche Data Stream wird von Kafka genutzt, sodass sich Nutzer jederzeit daran bedienen können. Daten werden so zu einem hochwertigen und gut verwertbaren Produkt.
  • Self-Service Data-Platform: Wenn Daten gebraucht werden, hat jeder die Möglichkeit an sie heranzukommen. Das Ziel ist es, Domänen durch schnelle Datenbereitstellung in ihrer Ausführung zu autonomisieren, indem Kafka Echtzeit- und historische Daten in einem einzigen System bereitstellt. Durch Anwendungen wie Confluent-Cloud sind die dabei entstehenden Datenmengen kein Problem.
  • Federate-Governance: Wichtig ist, einen einheitlichen Standard zwischen den Domänen zu schaffen. Kafka ist hier hilfreich, weil dadurch historische Daten retroaktiv angepasst werden können, um diesem Standard zu entsprechen. Auch Fehleridentifizierung und Behebung sind durch Kafka Streams deutlich einfacher und folgen einem einheitlichen Prinzip.

Darüber hinaus gilt es zu bedenken, dass die Implementierung eines Data-Mesh-Ansatzes ein Prozess ist, der stufenweise passieren muss und auf bestimmten Idealen basiert.

 

Confluent für Kubernetes – Cloud-native Cloud-Services

Während der diesjährigen Kafka-Summits-EMEA stellte Confluent ein großes Update für Confluent for Kubernetes vor, eine Weiterentwicklung des Kubernetes-Operators. Durch die neue API können IT-Teams nun sowohl Kafka, als auch den Kubernetes-Cluster auf dem es läuft, in einer Onpremises Umgebung benutzen. Confluent for Kubernetes bietet eine vollständige, deklarative, API-gesteuerte Erfahrung, für die Bereitstellung und Selbstverwaltung der Confluent-Plattform als Cloud-natives System. Agile Entwickler- und zentrale Plattform-Teams profitieren von der Automatisierung von Verwaltungsprozessen, in jeder notwendigen Umgebung. Data-in-Motion-Workloads können so effizient genutzt und nach Bedarf skaliert werden.

#Confluent