Staff-Engineer für Datenplattformen

Als erstes Engineering-Mitglied des neuen Datenplattformteams entwickelt die Rolle eine gemeinsame Grundlage für Datenprodukte einer Self-Service-Werbeplattform für CTV, Web, mobile Apps und soziale Medien. Ziel sind erweiterbare, zuverlässige Daten und eine automatisierbare Fehleranalyse statt teamspezifischer Einzellösungen. In direkter Zusammenarbeit mit der übergeordneten Data-Engineering-Leitung gestaltet sie Standards und deren technische Durchsetzung. Sie verantwortet die Plattform langfristig als modulares Produkt, ermöglicht Beiträge anderer Teams und baut das Team mit wachsendem Aufgabenbereich aus. Architektur, Roadmap und Entscheidungen zwischen Eigenentwicklung und Zukauf richten sich nach den Anforderungen datenproduzierender und datennutzender Teams.

Python
Python · erforderlich
Erforderlich ist Erfahrung im Aufbau lose gekoppelter produktiver Dienste, APIs und SDKs in Python, auf die mehrere Teams angewiesen sind.
+5
- AWS · erforderlich
  Erforderlich ist fundierte Erfahrung mit AWS; zugleich werden fundierte Kenntnisse aus praktischer Erfahrung mit Terraform und Kubernetes verlangt.
- Terraform · erforderlich
  Erforderlich ist fundierte Erfahrung mit Terraform; zugleich werden fundierte Kenntnisse aus praktischer Erfahrung mit AWS und Kubernetes verlangt.
- Kubernetes · erforderlich
  Erforderlich ist fundierte Erfahrung mit Kubernetes; zugleich werden fundierte Kenntnisse aus praktischer Erfahrung mit AWS und Terraform verlangt.
- Metadatenplattformen · erforderlich
  Erforderlich ist Erfahrung im Aufbau metadatengesteuerter Plattformen, die Kataloge integrieren und Datenherkunft, Datenverträge sowie Qualität automatisch prüfen.
- Streaming-Migration · von Vorteil
  Besonders erwünscht sind Erfahrung beim Wechsel von Batch- zu Streaming-Verarbeitung und Verständnis der damit verbundenen Kostenabwägungen.
PythonPythonAWSAWSTerraformTerraformKubernetesKubernetesMetadatenplattformenMetadatenplattformenStreaming-MigrationStreaming-Migration+5+4+3

Gehalt: Vergleichswert · pro Jahr
Umfang: Nicht angegeben
Erfahrung: Staff

Deine Aufgaben

Die Rolle baut eine zentrale Steuerungsebene für Datenprodukte auf, die Schemata, Datenherkunft, Verantwortlichkeiten, Aktualitätszusagen, Qualität und Zugriffsrechte sichtbar und verwaltbar macht. Sie unterstützt die Nutzung durch Menschen und Abfragen durch Agenten.
Sie entwickelt standardisierte Wege zur Erstellung von Datenprodukten mit Bibliotheken, SDKs, Vorlagen und datenspezifischem CI/CD auf der bestehenden Engineering-Plattform sowie einem unterstützten Muster für nahezu Echtzeitverarbeitung.
Sie setzt Datenstandards durch ein Schema-Register, einen Datenvertragsvalidator mit zugehörigem CI-Schritt und automatisierte Zertifizierung technisch durch.
Sie verankert die Messung von Aktualität, Volumen, Schemakonformität und Qualität standardmäßig in jedem Datenprodukt. Die Messdaten fließen mit Verantwortlichkeits- und Herkunftsmetadaten in das bestehende Monitoring und ermöglichen KI-gestützte Fehleranalyse ohne personengebundenes Spezialwissen.
Sie bestimmt Architektur, Roadmap und Entscheidungen zwischen Eigenentwicklung und Zukauf anhand der Bedürfnisse datenproduzierender und datennutzender Teams. Sie leitet Designreviews und hält die Plattform modular, damit diese Teams eigene Funktionen beitragen können.
Sie gestaltet gemeinsam mit der übergeordneten Data-Engineering-Leitung Standards und die dafür erforderliche Software, öffnet die Plattform für unternehmensweite Beiträge und entwickelt das neue Team mit wachsendem Aufgabenbereich weiter.

Das solltest du mitbringen

Erforderlich ist Erfahrung im Aufbau teamübergreifend genutzter Produktionsdienste, metadatengesteuerter Plattformen und Observability sowie in der Werkzeugeinführung bei nicht unterstellten Teams.

Erforderlich5 Punkte

Erforderlich ist Erfahrung im Aufbau lose gekoppelter produktiver Dienste, APIs und SDKs in Python, auf die mehrere Teams angewiesen sind.
Erforderlich ist Erfahrung im Aufbau metadatengesteuerter Plattformen, die Kataloge integrieren und Datenherkunft, Datenverträge sowie Qualität automatisch prüfen.
Erforderlich sind Erfahrung im Aufbau von Observability, auf die andere Teams angewiesen sind, und die Fähigkeit, relevante Signale von Rauschen zu unterscheiden.
Erwartet wird die Fähigkeit, Werkzeuge durch Architekturreviews, Mentoring und klare Kommunikation auch in Teams einzuführen, die der Rolle nicht unterstellt sind.
Erforderlich ist fundierte Erfahrung mit AWS, Terraform und Kubernetes.

Von Vorteil6 Punkte

Besonders erwünscht sind Erfahrung beim Wechsel von Batch- zu Streaming-Verarbeitung und Verständnis der damit verbundenen Kostenabwägungen.
Besonders erwünscht sind Erfahrung mit Spark und Iceberg in erheblicher Größenordnung sowie mit Snowflake im Produktivbetrieb.
Besonders erwünscht ist Erfahrung in Adtech oder einem anderen Bereich mit großen Mengen an Ereignisdaten und mehreren Datenabnehmern.
Besonders erwünscht ist Erfahrung im Aufbau von Werkzeugen und Datenstrukturen, mit denen KI-Agenten arbeiten.
Wünschenswert ist Erfahrung beim Aufbau der ersten Generation von Fähigkeiten eines Plattformteams.
Wünschenswert sind Kenntnisse in Datenkatalogen, semantischen Schichten oder Governance-Werkzeugen.

Passt die Stelle? Öffne mit Premium den Bewerbungsweg.

Bewerbungslink freischalten