1
 
 
Profil
In deinem persönlichen Profilbereich kannst du den Status deiner Bewerbung einsehen, unvollständige Bewerbungen zwischenspeichern und aktuelle News und Events einsehen
EinloggenRegistrieren
15. November 2023

Dagster: Data Engineering Best Practice für Slack-Arbeit

Development
Arbeitsmethoden
Christian Kallavon Christian Kalla
Jürgen Jägervon Jürgen Jäger
Konstantinos Stavropoulosvon Konstantinos Stavropoulos
Tobias Krausevon Tobias Krause
Tung Dangvon Tung Dang
0 Kommentare
 

Worum geht es in dem Artikel?

Im Team inc(AI) probieren wir immer wieder verschiedene Werkzeuge und Methoden aus. Die Slack-Zeit hat sich dafür als gutes Mittel erwiesen, in der wir alleine oder auch zusammen lernen.

Motivation für solche Slack-Zeit stammt natürlich aus den Challenges, die wir während der Arbeit lösen müssen. Unsere Strategie ist: immer erstmal in die Open-Source Community zu schauen, um dort geeignete Lösungen für uns zu finden. Hintergrund: es ist sehr wahrscheinlich, dass andere Leute ein ähnliches Problem bereits gelöst haben. Die Lösungen sollen außerdem unsere folgenden Kriterien erfüllen: einfach, erweiterbar und produktionsfreundlich. 

So haben wir vor einiger Zeit auch ein neues Werkzeug namens Dagster in unserer Slack-Zeit untersucht. Bei Dagster handelt es sich um ein Orchestrierungswerkzeug, das verschiedene Aufgaben im Bereich der Daten- und ML-Pipelines steuert und verwaltet. Dabei steuert Dagster, wo und wann die unterschiedlichen Schritte einer Pipeline ausgeführt werden und speichert dazu Metadaten ab.

Abb. 1: Data Lineage eines Use Cases
Abb. 1: Data Lineage eines Use Cases

Abb. 1: Data Lineage eines Use Cases

Der Einsatz von Dagster zahlt auf das Moal (Mid term goal) der “effektiven und effizienten Organisation” von OTTO ein. In unserem Bereich in der BI konzentrieren wir uns dabei auf “Best Practices zum Heben technischer Synergien”. 

Dies ist eine Standardaufgabe in unserer täglichen Arbeit. Vergleichbare Werkzeuge gab es auch schon vor Dagster und sie sind in ihren unterschiedlichen Ausprägungen in der BI im Einsatz. Dagster macht aber Einiges anders. So führt es das Konzept der “Software Assets” ein, mit deren Hilfe sich die Pipelines besser strukturieren lassen und die Wiederverwendbarkeit erhöht wird. Zudem ist es möglich, den Datenverlauf (Data Lineage) einfach zu visualisieren. Ein großer Pluspunkt, wenn es um Fehlersuche geht.

Abb. 2: Metadaten eines Assets
Abb. 2: Metadaten eines Assets

Abb. 2: Metadaten eines Assets

Dagster lässt sich problemlos auf einem lokalen Rechner installieren und betreiben. Diese Eigenschaft ist besonders bei der Entwicklung der Pipelines von Vorteil, da es die Testzyklen deutlich verkürzt. Eine Cloud-Instanz von Dagster sorgt dann für den produktiven Betrieb. Die mitgelieferte Weboberfläche von Dagster ist sehr nutzerfreundlich, sodass auch ‘nicht tech-affine' Leute die Produktionsstrecke bedienen können.

Es gibt keinen einfachen Weg ohne Hindernisse:


Natürlich haben wir auch mit Dagster manchen tiefen Moment gehabt. Einer davon ist die Natur von Open Source Software: sehr schnelle Entwicklung führt zu Inkompatibilität und Instabilität. Dabei diskutieren wir im Detail gemeinsam, um herauszufinden, welche Änderung oder welcher Fix bei unseren Vorhaben notwendig wäre. Danach teilen wir die Erkenntnis mit anderen. 

Nachdem wir Dagster erfolgreich auch in unseren internen Projekten verprobt und an einzelne Teams übergeben hatten, konnten wir zusammen mit Team Warp einen bestehenden Use Case von Argo nach Dagster erfolgreich umstellen. 

Zurzeit evaluieren mehrere Teams den Einsatz von Dagster für ihre Use Cases und das Interesse wächst weiter. So auch der Personenkreis, der sich rund um Dagster austauscht und sich in der täglichen Arbeit unterstützt. Für inc(AI) bedeutet es einen doppelten Treffer: wir schaffen eine Lösung für uns, und für die anderen Teams auch.

Möchtest du Teil des Teams werden?

Jobs
12 Personen gefällt das

0Noch keine Kommentare

Dein Kommentar
Antwort auf:  Direkt auf das Thema antworten

Geschrieben von

Christian Kalla
Christian Kalla
Senior Machine Learning Engineer (Otto BI)
Jürgen Jäger
Jürgen Jäger
Senior Business Owner (Otto BI)
Konstantinos Stavropoulos
Konstantinos Stavropoulos
Senior Data Scientist (OTTO BI)
Tobias Krause
Tobias Krause
Senior Software Developer (Otto BI)
Tung Dang
Tung Dang
Senior Software Engineer (OTTO BI)

Ähnliche Beiträge

We want to improve out content with your feedback.

How interesting is this blogpost?

We have received your feedback.

Close

Cookies erlauben?

OTTO und drei Partner brauchen deine Einwilligung (Klick auf "OK") bei einzelnen Datennutzungen, um Informationen auf einem Gerät zu speichern und/oder abzurufen (IP-Adresse, Nutzer-ID, Browser-Informationen).
Die Datennutzung erfolgt für personalisierte Anzeigen und Inhalte, Anzeigen- und Inhaltsmessungen sowie um Erkenntnisse über Zielgruppen und Produktentwicklungen zu gewinnen. Mehr Infos zur Einwilligung gibt’s jederzeit hier. Mit Klick auf den Link "Cookies ablehnen" kannst du deine Einwilligung jederzeit ablehnen.

Datennutzungen

OTTO arbeitet mit Partnern zusammen, die von deinem Endgerät abgerufene Daten (Trackingdaten) auch zu eigenen Zwecken (z.B. Profilbildungen) / zu Zwecken Dritter verarbeiten. Vor diesem Hintergrund erfordert nicht nur die Erhebung der Trackingdaten, sondern auch deren Weiterverarbeitung durch diese Anbieter einer Einwilligung. Die Trackingdaten werden erst dann erhoben, wenn du auf den in dem Banner auf otto.de wiedergebenden Button „OK” klickst. Bei den Partnern handelt es sich um die folgenden Unternehmen:
Google Ireland Limited, Meta Platforms Ireland Limited, LinkedIn Ireland Unlimited Company
Weitere Informationen zu den Datenverarbeitungen durch diese Partner findest du in der Datenschutzerklärung auf otto.de/jobs. Die Informationen sind außerdem über einen Link in dem Banner abrufbar.
Du kannst deine Einwilligung auch jederzeit grundlos mit Wirkung für die Zukunft widerrufen, indem du auf den Button "Cookie-Einstellungen" im Footer der Website und "Cookies ablehnen" klickst.

mehr Informationen