Echtzeit-Analysen von Logistik- und Transportdaten, E-Payment-Transaktionen, Kundenkommunikation im Einzelhandel, Predictive-Maintenance: Je schneller Daten verarbeitet und bereitgestellt werden, desto mehr profitieren davon Unternehmen und ihre Kunden. In unserer modernen, hochvernetzten und schnelllebigen Welt sollten Daten nicht mehr für längere Zeit in Data-Lakes oder Datenbanken verharren – der Mehrwert und folglich wichtige Chancen gehen dadurch verloren. Vielmehr sollten diese Prozesse stattfinden, solange sich die Daten in Bewegung befinden (Data in Motion). Apache-Kafka ist heute der de facto Standard, wenn es um Daten-Streaming und die Echtzeit-Verarbeitung von Data in Motion geht.
Kai Waehner, Field CTO bei Confluent, stellt die vier wichtigsten Use-Cases für Daten-Streaming vor, mit denen Unternehmen in diesem Jahr ihre Prozesse zur Datenverarbeitung und -bereitstellung auf ein neues Level anheben werden.
Von Lambda- zu Kappa-Architektur: Event-basierte Echtzeit-Datenverarbeitung
Wenn es um den Aufbau einer neuen IT-Infrastruktur geht, greifen viele IT-Abteilungen heute noch auf die bewährte Lambda-Architektur zurück. Sie besteht aus zwei parallelen Schichten (dem Batch- und dem Speed-Layer) und ist dadurch in der Lage Teile der großen Datenmengen in Echtzeit zu verarbeiten. Die Lambda-Architektur ist mit einigen Einschränkungen verbunden: Zum einen handelt es sich dabei um eine sehr komplexe Architektur, da Batch- und Streaming-Verarbeitung unterschiedliche Codebasen benötigen, die jeweils Wartung und Synchronisierung erfordern. Außerdem führt der Einsatz von drei Layern dazu, dass Daten mehrfach verarbeitet werden müssen, was zu einem höheren Betriebsaufwand und steigenden Kosten führt. Unternehmen werden daher zunehmend auf eine Kappa-Architektur umsteigen: Sie ist ebenfalls in der Lage, die Echtzeit-Verarbeitung großer Datenmengen zu stemmen. Dafür nutzt Kappa jedoch nur eine einzige, auf einer Codebasis basierende, skalierbare Infrastruktur, bei der die Applikationen Daten sowohl im Batch- als auch Streaming-Verfahren verarbeiten können. Da es sich bei Kappa um eine Event-getriebene Architektur handelt, lässt sich die Event-Streaming-Plattform Apache Kafka hervorragend als zentrales Nervensystem der Architektur einfügen.
Höhere Kundenzufriedenheit durch hyperpersonalisierten Omnichannel
Apache-Kafka wird in Sachen Kundenzufriedenheit sowohl über Online- als auch Offline-Kommunikationskanäle eine immer größere Rolle spielen. Die flexible und höchst skalierbare Infrastruktur bildet die Grundlage für Echtzeit-Verarbeitung, -Integration und -Korrelation von Data in Motion. Außerdem können verschiedene Unternehmensbereiche dank der Entkopplung von Systemen auf sämtliche Kafka-Cluster und somit alle generierten Daten zugreifen – egal ob die Daten im Produktionslager des Partners, dem regionalen Logistikzentrum, oder im Laden verarbeitet und gespeichert werden. Im Retail-Bereich sind demnach von der Produktherstellung über Marketing und Sales bis hin zu Aftersales verschiedene Use-Cases denkbar. Während der Produktion können Kunden je nach Branche beispielsweise den Status des Herstellungs- und Lieferungsprozesses beobachten und wissen genau, wann sie mit ihrem Einkauf rechnen können. Die Marketing-Abteilung ist in der Lage, Online- und Offline-Kundendaten in Echtzeit zu korrelieren. Machine-Learning-Modelle lassen sich effizient mit Daten speisen und trainieren, um Kunden passendere Produkte und Services zu empfehlen oder den Wartungsprozess von Produkten zu optimieren (Predictive-Maintenance).
Multi-/Hybrid Cloud, Multi-Region oder Edge: Kafka verbindet
Nicht nur die Workforces von Unternehmen arbeiten angesichts der Entwicklungen der letzten Jahre verteilter: Auch Geschäftsbereiche und IT-Infrastrukturen erstrecken sich heute über verschiedene IT-Umgebungen sowie über mehrere Regionen und Kontinente. Dadurch entsteht zunehmend der Bedarf an Technologien, die die verschiedenen Systeme und Lokalitäten effektiv und kosteneffizient miteinander verbinden und Echtzeit-Datenbereitstellung ermöglichen. Zum Beispiel setzen immer mehr Unternehmen auf hybride oder Multi-Cloud-Umgebungen. Apache-Kafka gewährleistet in einer solchen Umgebung die Verarbeitung und Integration von Data in Motion unabhängig vom Provider. In einigen anderen Fällen reicht beispielsweise ein Kafka-Cluster für überregionale Zusammenarbeit nicht mehr aus. Mithilfe von Replizierung lassen sich lokal verarbeitete Daten in mehrere Cluster übertragen, damit verteilte Geschäftsbereiche auf diese zugreifen können. Darüber hinaus lässt sich Apache Kafka ebenfalls im eigenen Datacenter oder sogar außerhalb „at the Edge“ (beispielsweise in einer Fabrik oder in einem Fahrzeug) deployen und garantiert hier die gleiche offene, flexible und skalierbare Architektur wie in einer Cloud- oder Onpremises-Umgebung. Davon profitieren unter anderem der Einzelhandel, Mobilfunkanbieter, der Nah- und Fernverkehr sowie ‚smarte‘ Fertigungsbetriebe.
Cybersicherheit in Echtzeit
Laut IBM brauchten Unternehmen 2020 durchschnittlich 228 Tage, um eine Cyberattacke zu identifizieren – ein viel zu langer Zeitraum, bei dem personenbezogene oder unternehmenskritische Daten, Privatsphäre und die Sicherheit sämtlicher Systeme auf dem Spiel stehen. Doch wie passt Apache Kafka zum Thema Cybersicherheit, wenn es sich dabei um eine Event-Streaming-Plattform und nicht um ein reines Cybersecurity-Tool handelt? Bei der Reaktion auf cyberkriminelle Aktivitäten und Anomalien geht es vor allem darum, diese schnell zu erkennen (Mean Time to Detect) und ebenso schnell zu handeln (Mean Time to Response). Folglich müssen Unternehmen diese Zeitspannen drastisch verkürzen. Dafür müssen Daten aus sämtlichen Unternehmensbereichen in Echtzeit integriert, verarbeitet, analysiert, korreliert sowie über das gesamte Unternehmen hinweg transportiert und integriert werden. Data in Motion wird daher zu einem wichtigen Bestandteil von Cybersicherheitsstrategien. Apache Kafka gewährleistet auf skalierbare und hochverfügbare Weise die Verarbeitung, Korrelierung und Integration dieser Daten, um Anomalien schnell identifizieren und beheben zu können. Daher bildet Event Streaming oftmals die Grundlage für den Aufbau einer modernen, skalierbaren Cyber-Architektur und dient als Kombination mit spezifischen Security-Lösungen.
#Confluent
