Senior Data Engineer - Lakehouse & Data Engineering Frameworks - REF5085J

Deine Aufgabe
Wir suchen einen
Senior Data Engineer
, der skalierbare Datenaufnahme- und CDC-Funktionen auf unserer Azure-basierten Lakehouse-Plattform aufbaut und betreibt. Neben der Entwicklung von Pipelines in Azure Data Factory und Databricks hilfst du uns, unseren Engineering-Ansatz zu professionalisieren: Wir liefern Datenaufnahme und CDC-Vorbereitung zunehmend über Python-Projekte und wiederverwendbare Frameworks, und wir erwarten von dieser Rolle die Anwendung professioneller Software-Engineering-Praktiken (Clean Architecture, Testing, Code Reviews, Packaging, CI/CD und Operational Excellence).

Unsere Plattform läuft mit Batch-First-Verarbeitung, wobei Streaming-Quellen roh gelandet und im Batch verarbeitet werden, mit selektiver Weiterentwicklung hin zu Streaming, wo es erforderlich ist.

Du arbeitest im Common Data Intelligence Hub und arbeitest mit Datenarchitekten, Analytics Engineers und Solution Designern zusammen, um robuste Datenprodukte und gesteuerte Datenflüsse im gesamten Unternehmen zu ermöglichen.

Dein Team ist End-to-End für Ingestion & CDC Engineering verantwortlich (Design, Build, Operate, Observability, Reliability, wiederverwendbare Komponenten). Du trägst zu Plattformstandards bei (Contracts, Layer-Semantik, Readiness-Kriterien) und Referenzimplementierungen. Du bist nicht primär für die Bereitstellung der Cloud-Infrastruktur verantwortlich (z.B. Enterprise-Netzwerke, zentrale IaC-Grundlagen), aber du arbeitest mit dem Plattform-Team zusammen, indem du Anforderungen definierst, Änderungen reviewst und deployable Code für Pipelines und Jobs pflegst.

Platform Data Engineering & Delivery

• Design und Entwicklung von Ingestion-Pipelines mit Azure- und Databricks-Services (ADF-Pipelines, Databricks-Notebooks/Jobs/Workflows)
• Implementierung und Betrieb von CDC-Patterns (Inserts, Updates, Deletes), einschließlich Late-Arriving-Data- und Reprocessing-Strategien
• Strukturierung und Pflege von Bronze- und Silver-Delta-Lake-Datasets (Schema Enforcement, Deduplizierung, Performance-Tuning)
• Aufbau von „transformation-ready" Datasets und Schnittstellen (stabile Schemas, Contracts, Metadaten-Erwartungen) für Analytics Engineers und nachgelagertes Modeling
• Datenaufnahme mit einem Batch-First-Ansatz (Raw Landing, Replayability, idempotente Batch-Verarbeitung) und Unterstützung bei der Weiterentwicklung von Patterns hin zu echtem Streaming, wo zukünftige Use Cases dies erfordern

Software Engineering für Data Frameworks

• Entwicklung und Pflege von Python-basierten Ingestion-/CDC-Komponenten als produktionsreife Software (Module/Packages, Versionierung, Releases)
• Anwendung von Engineering Best Practices: Code Reviews, Unit-/Integrationstests, statische Analyse, Formatting/Linting, Type Hints und klare Dokumentation
• Aufbau und Verbesserung von CI/CD-Pipelines für Data-Engineering-Code und Pipeline-Assets (Build, Test, Security Checks, Deploy, Rollback-Patterns)
• Förderung der Wiederverwendung durch Shared Libraries, Templates und Referenzimplementierungen; Reduzierung von „One-off-Notebook"-Lösungen

Operations, Reliability & Observability

• Implementierung von Logging, Metrics, Tracing und Data-Pipeline-Observability (Laufzeit-KPIs, SLAs, Alerting, Incident Readiness)
• End-to-End-Troubleshooting von Distributed Processing und Produktionsproblemen
• Zusammenarbeit mit Solution Designern an Event-basierten Triggern und Orchestrierungs-Workflows; Beitrag zu operativen Standards
• Implementierung von operativer und Sicherheitshygiene: sichere Secret-Handhabung, Least-Privilege-Access-Patterns und Unterstützung für Auditierbarkeit (z.B. Logs/Metadaten/Lineage-Erwartungen)

Zusammenarbeit & Leadership

• Mentoring anderer Engineers und Förderung konsistenter Engineering-Praktiken über Teams hinweg
• Beitrag zur Data Engineering Community of Practice und Unterstützung bei der Definition von Standards, Patterns und Guardrails
• Beitrag zu Architekturdiskussionen (Layer-Semantik, Readiness-Kriterien, Contracts und Governance)
• Zusammenarbeit mit Architekten und Governance-Stakeholdern, um sicherzustellen, dass Datasets Governance-Anforderungen erfüllen (Katalogisierung, Ownership, Dokumentation, Access Patterns, Compliance-Constraints), bevor sie in höhere Layer befördert werden

Dein
Profil
Wir suchen einen
Senior Data Engineer
mit umfangreicher Erfahrung in Azure und Databricks, ausgeprägten Python-Engineering-Fähigkeiten und nachgewiesener Fähigkeit, skalierbare Datenaufnahme- und CDC-Funktionen auf einer Lakehouse-Plattform zu entwickeln und zu betreiben. Der ideale Kandidat wendet professionelle Software-Engineering-Praktiken an und trägt zu Plattformstandards und operativer Exzellenz bei.

Muss-Kriterien

• 3–5 Jahre praktische Erfahrung im Aufbau von Datenpipelines mit Databricks und Azure in Produktionsumgebungen
• Fundierte Kenntnisse von Delta Lake Patterns (CDC, Schema-Evolution, Deduplizierung, Partitionierung, Performance-Optimierung)
• Fortgeschrittene Python-Engineering-Fähigkeiten: Entwicklung wartbarer Projekte (Packaging, Dependency Management, Testing, Tooling)
• Solide SQL-Kenntnisse (komplexe Transformationen, Debugging, Performance-Tuning)
• Nachgewiesene Erfahrung mit CI/CD und Git-basierten Workflows (Merge Requests, Branching-Strategien, automatisiertes Testen, Environment Promotion)
• Fähigkeit, Probleme in verteilten Systemen zu diagnostizieren und zu lösen (Spark-Ausführung, Cluster-/Runtime-Verhalten, Datenkorrektheit)
• Gutes Verständnis von Datenmodellierungsprinzipien und deren Einfluss auf Datenaufnahme und Performance
• Praktische Erfahrung in der Anwendung von Data Governance und Sicherheitskontrollen in einer Lakehouse-Umgebung (Berechtigungen/Zugriffsmuster, sichere Handhabung von Secrets, Audit-Anforderungen)
• Proaktiv, zuverlässig und in der Lage, eigenständig in agilen Teams zu arbeiten
• Ausgeprägte Kommunikationsfähigkeiten in Englisch (mündlich und schriftlich)
• Erfahrung mit Databricks (Jobs/Workflows, Notebooks, Spark, Autoloader, Delta Lake)
• Erfahrung mit Azure Functions & Durable Functions (Orchestrierung, lang laufende Workflows)
• Erfahrung mit PySpark und Python (produktionsreif)
• Erfahrung mit Azure Data Factory (Pipelines, Trigger, Linked Services, Monitoring)
• Erfahrung mit ADLS Gen2 (Lake-Storage-Design, Ordner-/Partitionsstrategie, Zugriffskontrollen, Lifecycle/Retention)
• Erfahrung mit Git und Code-Review-Workflows
• Erfahrung mit CI/CD-Pipelines (z.B. GitLab CI, Azure DevOps)
• Erfahrung mit Testing: Unit-/Integrationstests, Test-Daten-Strategien
• Erfahrung mit Code-Quality-Tools: Linting/Formatting, statische Analyse, Type Hints
• Erfahrung mit Packaging & Dependency Management (z.B. Poetry/pip-tools/conda)
• Erfahrung mit sicherer Handhabung von Secrets und Service-Authentifizierungsmustern (Key Vault oder vergleichbar)
• Erfahrung mit Event Grid / Azure Functions / ereignisgesteuerter Orchestrierung
• Erfahrung mit Observability (strukturiertes Logging, Metriken, Alerting; Log Analytics oder vergleichbar)

Von Vorteil

• Erfahrung mit Unity Catalog (Katalogisierung, Berechtigungen/Zugriffsmuster, grundlegende Governance-Kontrollen)

Über uns
Als
attraktivster Arbeitgeber Ungarns 2025
(laut repräsentativer Umfrage von Randstad) ist
Deutsche Telekom IT Solutions
eine Tochtergesellschaft der Deutsche Telekom Gruppe. Das Unternehmen bietet mit mehr als 5300 Mitarbeitern ein breites Portfolio an IT- und Telekommunikationsdienstleistungen. Wir haben Hunderte von Großkunden und Konzernen in Deutschland und anderen europäischen Ländern.

DT-ITS erhielt 2019 den
Best in Educational Cooperation Award von HIPA
und wurde als
ethischstes multinationales Unternehmen 2019
anerkannt. Das Unternehmen entwickelt seine vier Standorte in Budapest, Debrecen, Pécs und Szeged kontinuierlich weiter und sucht qualifizierte IT-Fachkräfte, die Teil des Teams werden möchten.

Weitere Details
Bitte beachte, dass unsere Remote-Work-Möglichkeit aufgrund europäischer Steuervorschriften nur innerhalb Ungarns verfügbar ist.