Im Rahmen des Projekts wurde unser Fokus darauf gelegt, die Führungskompetenzen des Teams durch gezielte Beratungsleistungen zu stärken und weiterzuentwickeln. Dazu gehörte nicht nur die Beratung bezüglich des optimalen Team Setups und dessen fortlaufender Entwicklung, sondern auch die Unterstützung bei der Auswahl und Implementierung relevanter Technologien.
In diesem Projekt hat uns unser Kunde mit der Erweiterung und Optimierung seines bestehenden, über Jahre gewachsenen Oracle Data Warehouse beauftragt. Ziel war es, die Effizienz und Skalierbarkeit der Datenverarbeitung und -speicherung signifikant zu verbessern. Ein zentraler Bestandteil des Auftrags umfasste die Migration bestimmter Teile des Data Warehouse in die Microsoft Azure Cloud, um von den Vorteilen einer modernen Cloud-Infrastruktur zu profitieren, wie etwa verbesserte Zugänglichkeit, Flexibilität und Kosteneffizienz.
Im Rahmen der unternehmensweiten Einführung eines Data Warehouse haben wir die ambitionierte Aufgabe übernommen, eine solide und zukunftsfähige Datenmanagementlösung zu etablieren. Dieses Projekt basiert auf dem leistungsstarken Microsoft SQL Server BI Stack, der für seine umfassenden Analyse-, Reporting- und Datenverarbeitungsfähigkeiten bekannt ist. Ziel war es, durch die Implementierung dieser Technologie eine einheitliche Datenbasis zu schaffen, die es dem Unternehmen ermöglicht, schneller und effizienter auf Marktveränderungen zu reagieren und fundierte Entscheidungen auf Basis von Echtzeitdaten zu treffen.
In diesem Projekt befassten wir uns mit der Herausforderung, einen Datalake zu implementieren, der auf Open Source Tools basiert. Um in der Lage zu sein, ein detailliertes Konzept für diese Architektur zu entwickeln, bestand der erste Schritt aus einer umfassenden Bestandsaufnahme. Es entstand ein Konstrukt, welches speziell darauf ausgelegt ist, unterschiedliche Datenformate effizient zu sammeln und in einem zentralisierten Speicherpool zu speichern.
Ein zentrales Element dieses Vorhabens war die Integration von MaxScale, einem leistungsfähigen Proxy-Server, in die bereits bestehende produktive Infrastruktur des Kunden. Diese Maßnahme zielt darauf ab, die Verwaltung der Datenverkehrslast zu optimieren und die Ausfallsicherheit zu erhöhen. Zusätzlich haben wir ein robustes Cluster-System entwickelt, das aus mehreren Instanzen von MariaDB Enterprise besteht.
