Data Engineer (with Snowflake & Airflow)

TQLO Sp. z o.o. poszukuje doświadczonego Data Engineera do pracy przy projektowaniu, budowie i optymalizacji skalowalnych pipeline’ów danych. Jest to w pełni zdalna rola, w której będziesz odpowiedzialny za rozwój procesów integracji i transformacji danych w nowoczesnym środowisku chmurowym.

Zakres obowiązków

• Projektowanie i rozwój skalowalnych pipeline’ów danych oraz DAG-ów w Apache Airflow przy użyciu języka Python.
• Implementacja procesów ETL/ELT integrujących dane z różnych źródeł do Data Lake (AWS S3) oraz Snowflake.
• Modelowanie i transformacja danych z wykorzystaniem narzędzia dbt.
• Optymalizacja zapytań SQL oraz wydajności i kosztów przetwarzania danych w Snowflake.
• Projektowanie mechanizmów monitorowania, alertowania oraz kontroli jakości danych.

Wymagania

• Minimum 3 lata komercyjnego doświadczenia w projektach Data Engineering.
• Bardzo dobra znajomość Apache Airflow oraz języka Python.
• Zaawansowana znajomość SQL oraz praktyczne doświadczenie ze Snowflake.
• Doświadczenie w pracy z dbt, AWS S3 oraz architekturą Data Lake.
• Znajomość Git, CI/CD oraz języka angielskiego na poziomie B2/C1.

Co oferujemy

• Współpracę w modelu B2B przy ambitnych projektach dla klientów.
• Możliwość pracy w 100% zdalnej, zapewniającej elastyczność i komfort.
• Wpływ na architekturę rozwiązań oraz rozwój nowoczesnych procesów przetwarzania danych.