Data Engineer
Data Engineer Mid
Warsawfulltime
Откликнуться на сайте работодателяОписание вакансии
Projekt greenfield w sektorze medycznym — budujesz pipeline'y ETL/ELT zasilające hurtownię danych od zera.
O projekcie
Dołączysz do zespołu Devapo realizującego projekt typu greenfield: zaprojektowanie i wdrożenie od podstaw kompleksowej Platformy Business Intelligence dla organizacji z sektora medycznego. Będziesz mieć realny wpływ na kształt rozwiązania — od architektury przepływów danych po finalne dashboardy.
- hurtownia danych PostgreSQL 16 w architekturze Medallion (Raw / Silver / Gold) z podziałem domenowym w duchu Data Mesh (domeny: kliniczna, finansowa, HR, marketingowa, operacyjna),
- orkiestracja procesów w Apache Airflow, transformacje w dbt, kontrola jakości danych w Great Expectations,
- integracja kilkunastu systemów źródłowych (HIS, call center, CRM, HR, obieg dokumentów, platformy reklamowe Google / Facebook / LinkedIn) przez REST API, SOAP, pliki i konektory bazodanowe,
- warstwa raportowa w Microsoft Power BI Service z On-premises Data Gateway, RLS/OLS i SSO przez Microsoft Entra ID,
- całość on-premises w kontenerach Docker, wersjonowanie w Git, monitoring Prometheus + Grafana,
- wysokie standardy bezpieczeństwa: dane medyczne, pełna zgodność z RODO i NIS-2.
Zakres zadań
- budowa procesów ETL/ELT zasilających hurtownię danych (full load i incremental load, watermarki, CDC),
- implementacja konektorów do systemów źródłowych: REST API (OAuth 2.0 / JWT), SOAP, pliki (CSV/XLSX/XML/JSON, SFTP), połączenia bazodanowe,
- tworzenie i utrzymanie DAG-ów w Apache Airflow (harmonogramy, sensory, retry, alarmowanie),
- budowa modeli transformacji w dbt (warstwy Raw → Silver → Gold) wraz z testami,
- implementacja reguł jakości danych w Great Expectations (kompletność, integralność, reguły biznesowe, detekcja zmian schematów),
- praca w środowisku on-premises: Docker, Git, CI/CD, monitoring Prometheus + Grafana.
Wymagania
- minimum 3 lata doświadczenia na stanowisku Data Engineer lub pokrewnym,
- praktyczna znajomość:
- SQL,
- Python,
- Apache Airflow,
- dbt,
- PostgreSQL,
- modelowania danych,
- projektowania i budowy procesów ETL/ELT,
- integracji z wykorzystaniem REST API,
- Git,
- CI/CD,
- Docker.
Dodatkowym atutem będzie znajomość
- Apache Hop lub innego narzędzia wizualnego projektowania pipeline'ów ETL (np. Pentaho DI, Talend, NiFi),
- Great Expectations lub innego frameworka kontroli jakości danych,
- Kong API Gateway,
- mechanizmów uwierzytelniania OAuth 2.0 / JWT w integracjach API,
- architektury Medallion i koncepcji Data Mesh,
- Prometheus / Grafana.
Mile widziane
- doświadczenie z Power BI,
- doświadczenie z danymi wrażliwymi lub w sektorze ochrony zdrowia (RODO).
Oferujemy
Obowiązki
Wymagania
Это сохранённая копия объявления, опубликованного в другом месте. Вакансии снимают без предупреждения — перед откликом проверьте сайт работодателя. mentors.coach не является нанимающей стороной.