Dla naszego klienta z branży farmaceutycznej poszukujemy doświadczonego Senior Data Engineera, który dołączy do zespołu R&D. Osoba na tym stanowisku będzie odpowiedzialna za rozwój oraz utrzymanie zaawansowanych procesów przetwarzania danych w środowisku chmurowym.
Zakres obowiązków
- Rozwój i utrzymanie pipeline’ów danych w obszarze R&D oraz wsparcie architektury Medallion.
- Projektowanie modeli danych w oparciu o Star Schema i Snowflake Schema oraz tworzenie dokumentacji technicznej.
- Budowa i optymalizacja transformacji danych z wykorzystaniem dbt oraz orkiestracja workflow w Apache Airflow.
- Implementacja mechanizmów data quality, walidacja danych source-to-target oraz troubleshooting procesów produkcyjnych.
- Współpraca z zespołami technicznymi i biznesowymi w celu doprecyzowania wymagań oraz rozwiązywania bieżących problemów.
Wymagania
- Minimum 7 lat doświadczenia w Data Engineering, ETL oraz Data Warehouse development i modeling.
- Bardzo dobra znajomość SQL, w tym optymalizacja zapytań, walidacja danych i reconciliation.
- Praktyczne doświadczenie z Pythonem, dbt oraz usługami AWS (S3, Glue, Lambda, Redshift).
- Znajomość Apache Airflow oraz doświadczenie w budowie produkcyjnych pipeline’ów ETL/ELT.
- Gotowość do pracy w godzinach popołudniowych ze względu na współpracę z klientem z USA.
Co oferujemy
- Praca w 100% zdalna w międzynarodowym środowisku projektowym.
- Możliwość rozwoju w zaawansowanym projekcie z sektora R&D Pharma.
- Elastyczne godziny pracy dopasowane do współpracy z klientem z USA.