Senior Data Engineer (k/m)

Lumicode, część Grupy Pentacomp, poszukuje doświadczonego Senior Data Engineera do pracy w zespole Labeling Data Platform. Dołączysz do długoterminowego projektu, w którym będziesz projektować, budować oraz utrzymywać skalowalne pipeline’y danych i nowoczesne produkty danych w środowisku Azure Databricks Lakehouse.

Zakres obowiązków

• Projektowanie i rozwój pipeline’ów danych z wykorzystaniem Azure Databricks, Python, PySpark oraz Delta Lake.
• Implementacja rozwiązań zgodnie z architekturą Medallion (Bronze, Silver, Gold).
• Budowanie mechanizmów Data Quality, walidacji, monitoringu oraz automatycznych testów danych.
• Implementacja procesów CI/CD, obsługi błędów oraz zapewnienie pełnej audytowalności procesów.
• Współpraca z zespołami biznesowymi i technicznymi przy rozwoju platformy danych.

Wymagania

• Bardzo dobra znajomość Azure Databricks, Python/PySpark, Spark SQL oraz Delta Lake.
• Praktyczna znajomość architektury Medallion oraz Azure Data Lake Storage Gen2.
• Doświadczenie w implementacji reguł jakości danych, walidacji schematów oraz zarządzaniu metadanymi.
• Znajomość procesów CI/CD, monitoringu oraz pracy w środowiskach regulowanych.
• Swobodna komunikacja w języku angielskim w środowisku międzynarodowym.

Co oferujemy

• Współpraca w modelu B2B w pełni zdalnym.
• Dostęp do prywatnej opieki medycznej oraz karty sportowej.
• Udział w ambitnym, długoterminowym projekcie IT.