Das Wissensportal für IT-Professionals. Entdecke die Tiefe und Breite unseres IT-Contents in exklusiven Themenchannels und Magazinmarken.

SIGS DATACOM GmbH

Lindlaustraße 2c, 53842 Troisdorf

Tel: +49 (0)2241/2341-100

kundenservice@sigs-datacom.de

Wie das Datenknäuel entwirren?: "Data Mesh" von Z. Dehghani

Daten sind der große Schatz, der gehoben werden möchte, und das neue Öl für viele KI-Anwendungen. Mit Data Mesh gibt es erstmals ein Konzept, das das System von der Datennutzung her denkt und dabei von erfolgreichen Ideen in der modernen Softwareentwicklung profitiert. Wir begeben uns mit der Buchrezension auf eine Reise in dieses Universum.

Author Image
Frank Pientka

Principal Software Architect


  • 24.11.2024
  • Lesezeit: 4 Minuten
  • 47 Views

Bei dem Buch „Data Mesh“, das nun in einer deutschen Übersetzung vorliegt, handelt es sich fünf Jahre nach der Vorstellung der Idee [1] um das Standardwerk zu diesem Thema. Viele weiterführende Produkte [2] und Spezifikationen [3, 4] sind hieraus entstanden.

Data Mesh führt die Ideen von Domain-Driven Design, Self-contained Systems, Team Topologies und Product Thinking fort und wendet diese auf die Welt der Daten an. Data Mesh ist der nächste logische Schritt in der Dezentralisierung der analytischen Datenarchitektur. Der erste der fünf Teile des Buchs stellt die vier grundlegenden Prinzipien vor. Diese bauen aufeinander auf. Wie sie zusammenhängen, verdeutlichen zwei Bilder.

Die interessantesten Kapitel befinden sich im Teil IV, in dem es darum geht, wie man Datenprodukte entwirft. Hier beschreibt die Autorin, wie man Daten konsumieren, transformieren und bereitstellen kann. Ein wichtiger Punkt für das Auffinden, Verstehen und Kombinieren von Daten ist eine einheitliche Selbstbedienungsdatenplattform. Dadurch lassen sich Koordinationsund Kontrollaufwände auf ein Minimum reduzieren, um so ein besseres Kosten-Nutzen-Verhältnis bei größerer Agilität zu erreichen. Darüber lassen sich dezentral Daten verwalten, Regeln überprüfen und beobachten, um den Lebenszyklus der Daten zu begleiten.

Mit Data Lakehouse und Datenfabrik gibt es immer wieder Versuche, das alte Data Warehouse (DWH) neu zu erfinden. Diese Herangehensweise ist oft sehr herstellerspezifisch und technisch und damit zu wenig an den fachlichen Anforderungen orientiert. Trotzdem können solche Produkte erfolgreich mit Data Mesh kombiniert werden. Data Mesh bietet eine solide Basis, um eine dezentrale Datenarchitektur zu entwerfen. Die Besonderheiten der Data-Mesh-Plattform und ihre Unterschiede zu anderen Ansätzen sind in der Abbildung 4-2 gut dargestellt.

Das Data Mesh fördert, im idealen Fall, eine Kultur der Neugierde und des Experimentierens mit Daten, was gerade mit der Verwendung von Machine Learning ein neues Interesse geweckt hat.

Fazit

Dieses Buch ist das Standardwerk auf dem Gebiet des Data Mesh. Deswegen ist es gut, dass es in einer ansprechenden deutschen Übersetzung (sogar mit farbigen Bildern, anders als das Original, und einer begleitenden Webseite [5]) vorliegt. Es ist ein Werk, was man nicht oft genug lesen kann, da man dort immer wieder großartige, umsetzbare Konzepte findet. Inzwischen gibt es auch Produkte, Standards und Zusatzartikel, die helfen, das Thema leichter umzusetzen und das eigene Datenknäuel zu entwirren oder noch besser ein Produkt mit Verträgen daraus zu machen.

Cover Data Mesh

Titel: Data Mesh. Eine dezentrale Datenarchitektur entwerfen
Autor: Zhamak Dehghani, Übersetzung von J. Christ, S. Harrer
Seiten: 388
Verlag: O'Reilly
Jahr: 2023
ISBN: 978-3-96009-207-0

Online-Ressourcen

[1] Z. Dehghani, How to Move Beyond a Monolithic Data Lake to a Distributed Data Mesh, 20.5.2019, martinfowler.com/articles/data-monolith-to-mesh.html

[2] Data Mesh Manager, www.datamesh-manager.com

[3] Data Contract Specification, datacontract.com

[4] Open Data Product Specification (ODPS) 3.0, opendataproducts.org

[5] Webseite der deutschen Übersetzer, www.datamesh-architecture.com

. . .

Author Image

Frank Pientka

Principal Software Architect
Zu Inhalten

Frank Pientka arbeitet als Principal Software Architect bei der T-Systems GmbH. Dort sorgt er für mehr Qualität in der Software und kümmert sich als Gründungsmitglied des iSAQB um eine verbesserte Ausbildung und Zertifizierung von Architekten. Seit mehr als drei Jahrzehnten unterstützt er Firmen bei der Umsetzung effizienter und innovativer Software.


Artikel teilen

Nächster Artikel
LLMs mit Spring AI integrieren