Der Begriff ‚Data Lake‘ ist unter Data Scientists weit verbreitet. Ein Data Lake ermöglicht es den Unternehmen, die Gesamtheit ihrer Daten auf effiziente und effektive Weise zu speichern, abzurufen und zu nutzen. Data Lakes sind ein leistungsfähiges Werkzeug für Datenanalysten und Entwickler, das es ihnen ermöglicht, enorme Mengen an multiformatierten, unstrukturierten Daten zu speichern und dabei die Notwendigkeit von Silos zu vermeiden.
Passen allerdings die Data Scientists nicht auf, kann aus einem Data Lake (See) sehr schnell ein Data Swamp (Sumpf) werden. Ein Sumpf ist schwer zu durchqueren, und es ist nicht möglich, etwas Sinnvolles damit anzufangen. Auf einem Sumpf ist noch nie etwas Dauerhaftes gebaut worden. Stefan Käser, Solution Architect bei DoubleCloud, beschreibt das Verhältnis zwischen Data Lake und Data Swamp aus Sicht eines Praktikers. Er gibt Tipps, wie Unternehmen verhindern, dass sich ihr „Datensee“ in einen „Datensumpf“ verwandelt. Und wie sie andererseits einen bereits vorhandenen Sumpf in einen See transformieren.
Vom Marketing-Gag zum Analyse-Standard
Data Lakes gibt es schon seit ein paar Jahren. Obwohl sie mittlerweile zum Standard gehören, wurden sie zu Beginn ihrer Entwicklung vielerorts als Marketing-Gag abgetan. Das Problem war, dass der Begriff Data Lake damals in keinem Standardlexikon für Datenspeicherung oder -architektur auftauchte, was bedeutete, dass der Begriff unterschiedliche Bedeutungen haben konnte. Inzwischen hat sich der Begriff soweit standardisiert, dass es eine klare Definition gibt. Data Lakes speichern enorme Mengen an unstrukturierten (und oft auch strukturierten), rohen oder definierten Daten in einem nativen Format ohne Schema für die Speicherung und ermöglichen gleichzeitig den On-Demand-Zugriff auf diese Daten.
Ein Data Swamp ist immer noch ein Data Lake, nur ein schlecht konzipierter, mit wenig bis gar keiner unterstützenden Dokumentation, der selten, wenn überhaupt, gewartet wird. Das unvorteilhafte Design, die fehlende Dokumentation und der fehlende Support erschweren das Abrufen von Daten erheblich, machen es mitunter sogar unmöglich, zumindest in einem angemessenen Zeitrahmen. Können die Daten nicht korrekt abgerufen werden, lassen sie sich auch nicht analysieren. Dann wiederum zahlen Unternehmen Geld für das Speichern nutzloser Daten.
Strukturierte und unstrukturierte Daten im Team
Data Lakes haben eine Vielzahl von Funktionen. Sie können als Repository für eine zufällige Auswahl an Daten (Audiodateien, Videodateien, Dokumente, Protokolldateien usw.) dienen und sicherstellen, dass diese in einer für Audits konformen Weise gespeichert werden. Data Scientists und Ingenieure in einem Unternehmen können sie nutzen, um gleichzeitig auf strukturierte und unstrukturierte Daten zuzugreifen, um neue Analysemodelle zu testen. Sie können auch zur Integration von Daten aus operativen und transaktionalen Systemen verwendet werden. Während die meisten Nutzer von Business-Intelligence-Tools mit einem Data Warehouse zufrieden sind, werden Data Lakes eher von Wirtschaftsprüfern, spezialisierten Analysten oder von den erwähnten Datenwissenschaftlern genutzt.
