info@sti-consulting.de

Open Source Data Lake

In diesem Projekt befassten wir uns mit der Herausforderung, einen Datalake zu implementieren, der auf Open Source Tools basiert. Um in der Lage zu sein, ein detailliertes Konzept für diese Architektur zu entwickeln, bestand der erste Schritt aus einer umfassenden Bestandsaufnahme. Es entstand ein Konstrukt, welches speziell darauf ausgelegt ist, unterschiedliche Datenformate effizient zu sammeln und in einem zentralisierten Speicherpool zu speichern.

Branche

SaaS Anbieter

Standort

München / Remote

Zeitraum

6 Monate
Innerhalb eines ambitionierten Zeitrahmens von nur drei Monaten gelang es uns, den Datalake nicht nur zu konzipieren und zu implementieren, sondern auch erfolgreich zum Go Live zu führen. Darüber hinaus konnten wir durch die Konzeption und Erstellung verschiedener Berichte und Dashboards einen signifikanten Mehrwert schaffen. Diese maßgeschneiderten Analysewerkzeuge bieten dem Kunden nun die Möglichkeit, Einsichten in Echtzeit zu gewinnen und datengetriebene Entscheidungen mit einer bisher unerreichten Präzision zu treffen.
Die Implementierungsphase umfasste sowohl die technische Einrichtung als auch die Bereitstellung des Datalakes in einer Cloud-Umgebung, um Skalierbarkeit und Zugänglichkeit zu gewährleisten. Ein weiterer wesentlicher Bestandteil unseres Projekts war die Ermöglichung von klassischem Reporting basierend auf den im Datalake gespeicherten Daten, was einen erheblichen Mehrwert für die datengesteuerte Entscheidungsfindung des Kunden darstellt. Durch diesen ganzheitlichen Ansatz konnten wir eine robuste Lösung schaffen, die nicht nur die aktuellen Anforderungen erfüllt, sondern auch eine flexible Basis für zukünftige Datenanforderungen bietet.
Ein herausforderndes Risiko stellte das begrenzte Budget dar, das uns zwang, äußerst ressourceneffizient zu planen und zu handeln. Jede Entscheidung musste daher nicht nur unter technischen, sondern auch unter finanziellen Gesichtspunkten sorgfältig abgewogen werden. Ein weiteres kritisches Risiko war der kurze Umsetzungszeitraum, der uns unter erheblichen Zeitdruck setzte. Dies erforderte eine präzise Projektplanung und -steuerung, um Verzögerungen zu vermeiden und dennoch eine hohe Qualität der Arbeitsergebnisse zu gewährleisten. Schließlich stellte die Simulation von klassischen Warehouse-Komponenten auf dem Datalake eine technische Herausforderung dar. Die Realisierung dieser Funktionalitäten innerhalb eines Datalake-Umfelds erforderte innovative Ansätze und eine tiefe technische Expertise, um die erforderliche Leistungsfähigkeit und Flexibilität ohne Kompromisse zu erreichen.

Für die nächste Phase des Projekts stehen zwei wesentliche Aufgaben im Fokus: die fortlaufende Erstellung von Reports und die Maintenance des Datalakes. Die kontinuierliche Entwicklung zusätzlicher Berichte und Dashboards zielt darauf ab, die spezifischen Anforderungen verschiedener Stakeholder im Unternehmen zu erfüllen, indem sie relevante Daten in verständlicher und handlungsorientierter Form darstellen.

Parallel dazu ist die regelmäßige Wartung und Pflege des Datalakes von entscheidender Bedeutung, um seine Leistungsfähigkeit, Sicherheit und Skalierbarkeit sicherzustellen. Diese Aufgabe umfasst unter anderem die Überwachung der Systemgesundheit, die Aktualisierung der Softwarekomponenten, die Sicherstellung der Datenqualität sowie die Anpassung der Infrastruktur an sich ändernde Anforderungen.

WEITERE PROJEKTE

DAS KÖNNTE SIE
AUCH INTERESSIEREN

Sollprozess Workshop – New Route Activation

Digital Excellence
Aufgabe:
Im Rahmen eines zweitägigen Workshops bei der CargoBeamer AG in Leipzig unterstützten wir bei der strukturierten Neugestaltung des Route activation Prozesses. Ziel war es, den bestehenden IST-Prozess kritisch zu hinterfragen, einen optimierten SOLL-Prozess zu entwickeln und diesen gemeinsam mit den Stakeholdern verbindlich festzulegen. Durch die methodische Moderation, gezielte Komplexitätsreduktion und eine klare Entscheidungsstruktur konnten wir die Grundlagen für ein zukunftsfähiges Warehouse Management schaffen. Abschließend wurde der neue Prozess visuell aufbereitet und dokumentiert.
> weiterlesen

Optimierung durch die Implementierung eines WMS

Digital Excellence
Aufgabe:

Die Aufgabe bestand in der Integration eines Warehouse Management Systems (WMS) in mehreren Lagern, um die Steuerung und Überwachung der Lagerprozesse zu optimieren. Ziel war es, eine zentrale Plattform zu schaffen, die Bestandsverwaltung, Wareneingang, Kommissionierung und Versand effizienter gestaltet und die Transparenz über alle Lagerstandorte hinweg erhöht.

Zusätzlich wurde die Erarbeitung und Implementierung von zusätzlichen Logiken erforderlich, um spezifische Anforderungen der jeweiligen Lagerstandorte abzubilden. Diese individuellen Anpassungen sollten sicherstellen, dass das System flexibel auf unterschiedliche Prozessabläufe reagieren kann und eine nahtlose Integration in die bestehende IT-Infrastruktur ermöglicht wird.

> weiterlesen

Verbesserung der IT-Security im Bereich Infrastructure & Workplace

Digital Excellence
Aufgabe:

Im Rahmen eines Projekts zur Verbesserung der IT-Security im Bereich Infrastructure & Workplace wurde STI mit mehreren zentralen Aufgaben beauftragt. Der Schwerpunkt lag dabei auf der Stabilisierung und Absicherung der IT-Infrastruktur sowie der Optimierung der Sicherheitsprozesse.

Ein wesentliches Element des Projekts war das Projektmanagement, das die Koordination aller Teilprojekte sowie die Einhaltung von Zeitplänen und Budgets sicherstellte.

Ein weiterer Fokus lag auf dem Active Directory Management, insbesondere in den Bereichen Account Remediation & Transformation sowie der Durchführung von XMCO-Audits. Ziel war es, die Benutzer- und Zugriffsverwaltung zu optimieren und Sicherheitslücken im Identitätsmanagement zu schließen.

Zusätzlich übernahm STI die Erstellung von Berichten und die Überwachung des externen und internen Vulnerability Managements. Dies ermöglichte eine frühzeitige Erkennung von Schwachstellen und die Ableitung geeigneter Maßnahmen zur Risikominimierung.

Schließlich unterstützte STI das Projektteam beim Teilprojekt Hardening, das auf die Stabilisierung der Systeme sowie die Erhöhung der IT-Sicherheit abzielte. Dazu gehörten die Erstellung, Aufbereitung und Analyse von Berichten aus Tools wie Qualys, um fundierte Entscheidungen zur weiteren Verbesserung der Sicherheitsarchitektur zu treffen.

> weiterlesen
JETZT BERATEN LASSEN