Das Wissensportal für IT-Professionals. Entdecke die Tiefe und Breite unseres IT-Contents in exklusiven Themenchannels und Magazinmarken.

heise conferences GmbH

(vormals SIGS DATACOM GmbH)

Lindlaustraße 2c, 53842 Troisdorf

Tel: +49 (0)2241/2341-100

kundenservice@sigs-datacom.de

Ein Data Lakehouse On-Premises? - Der erfolgreiche Weg zu einer modernen Datenarchitektur

Seit 2012 setzte die öffentliche Verwaltung erfolgreich auf ein Data Warehouse, um datengetriebene Prozesse zu optimieren und komplexe Abfragen effizient zu bewältigen. Technologisch basierte die Lösung auf dem Microsoft Analytics Platform System (APS) – einer spezialisierten On-Premises-Datenbank für Massendatenverarbeitung bzw. Massive Parallel Processing (MPP). Doch mit dem angekündigten Support-Ende für APS und dem damit verbundenen Anstieg der Betriebskosten war schnell klar: Eine neue, zukunftsfähige Datenplattform musste her. Daher wurde eine neue Data-Lakehouse-Architektur ausgewählt, definiert und ein Migrationsplan erstellt. Das zur Verfügung stehende Zeitfenster war mit nicht einmal einem Jahr recht knapp, sodass an eine Komplettmigration aufgrund der Vielzahl der Prozesse und Berichte nicht zu denken war. Schließlich sollten die bis zu 1.000 täglichen Nutzer auch weiterhin performant auf den Datenschatz zugreifen können. In diesem Beitrag erfahren Sie, wie das Projektvorgehen gestaltet wurde, welche Herausforderungen das Projektteam bewältigen musste und wie am Ende das Projekt erfolgreich abgeschlossen werden konnte. Die Weichen für die Zukunft sind gestellt. Die Weiterentwicklung und die neuen Möglichkeiten des nun vorhandenen On-Premises Data Lakehouse können nun erschlossen werden.

In den frühen 2010er-Jahren, als der Hype um Big-Data-Lösungen gerade so richtig Fahrt aufnahm, entschied sich unser Kunde für ein traditionelles Data Warehouse, um täglich Millionen von Zeilen mit Gesundheitsdaten zu verarbeiten. Heute, ein gutes Jahrzehnt später, setzt dieselbe Organisation auf ein Spark-Cluster. Ist der öffentliche Sektor einfach immer zehn Jahre zu spät oder gibt es andere Gründe für diese Entwicklung? Dieser Beitrag beleuchtet die Gründe und das Vorgehen bei der er…