Data Engineer

Poszukujemy
Data Engineera
, który będzie odpowiadał za projektowanie i rozwój
Data Platform
oraz skalowalnych rozwiązań danych. To rola łącząca zaawansowaną inżynierię danych z realnym wpływem na architekturę platformy, standardy techniczne oraz kierunek jej rozwoju.

Zakres obowiązków

• Projektowanie i rozwój Platformy Danych w architekturze Lakehouse.
• Udział w decyzjach architektonicznych dotyczących Data Platform i integracji danych.
• Projektowanie i rozwój procesów ELT na potrzeby raportowania, analityki oraz AI/ML.
• Tworzenie modeli danych i warstw analitycznych.
• Optymalizacja rozwiązań pod kątem wydajności, kosztów i skalowalności.
• Definiowanie standardów Data Engineering, automatyzacji oraz dobrych praktyk.
• Zapewnienie jakości, bezpieczeństwa i zgodności danych.
• Współpraca z biznesem, architektami i zespołami IT przy projektowaniu rozwiązań.
• Pełnienie roli technicznego lidera w inicjatywach Data Platform.

Wymagania

• Minimum 3 lata doświadczenia w obszarze Data Engineering.
• Doświadczenie w projektowaniu i utrzymaniu produkcyjnych pipeline'ów danych.
• Bardzo dobra znajomość: Python, PySpark, SQL, Terraform, YAML, Databricks Asset Bundles.
• Doświadczenie z: Apache Spark, Databricks, Delta Lake, pracą z dużymi wolumenami danych.
• Bardzo dobra znajomość usług Microsoft Azure, w szczególności: Azure Data Factory, ADLS, Azure Databricks, Unity Catalog, Azure DevOps, Azure Event Hub.
• Doświadczenie z Apache Airflow, CI/CD (Azure DevOps Repos & Pipelines) oraz architekturą Lakehouse i Medallion Architecture.
• Znajomość zagadnień: Data Quality, Data Governance, modelowania danych oraz kontroli dostępu w Unity Catalog.
• Umiejętność przekładania wymagań biznesowych na rozwiązania techniczne.
• Doświadczenie w code review, testowaniu, automatyzacji wdrożeń oraz dokumentowaniu rozwiązań.
• Gotowość do pełnienia roli technicznego lidera oraz wspierania zespołu w zakresie standardów i najlepszych praktyk.

Mile widziane

• Doświadczenie z Databricks LakeFusion, Microsoft Fabric (Data Engineering).
• Znajomość Databricks DQX lub innych narzędzi do zarządzania jakością danych.
• Certyfikacje Databricks lub Data Engineering.