Spark / Data Lakehouse Developer

Jesteśmy częścią Hiberus, międzynarodowej firmy technologicznej zatrudniającej ponad 4700 specjalistów. Dla naszego klienta z sektora finansowego poszukujemy doświadczonego Spark / Data Lakehouse Developera, który dołączy do zespołu Data Platform i wesprze rozwój nowoczesnych rozwiązań danych.

Zakres obowiązków

• Projektowanie i implementacja procesów Spark SQL/PySpark do walidacji i porównywania danych w środowisku MongoDB.
• Budowa warstw danych w architekturze Data Lakehouse (Raw, Bronze, Silver, Gold) z wykorzystaniem technologii takich jak Delta Lake lub Iceberg.
• Implementacja reguł jakości danych, detekcji anomalii oraz systemów raportowania i alertowania.
• Automatyzacja deploymentów Spark na platformach Docker i Kubernetes oraz dbanie o monitoring procesów.
• Współpraca w zespole zwinny z inżynierami danych, analitykami i testerami.

Wymagania

• Minimum 4 lata doświadczenia w pracy z Apache Spark w środowisku produkcyjnym.
• Bardzo dobra znajomość PySpark, Spark SQL, DataFrames oraz Structured Streaming.
• Praktyczna wiedza z zakresu MongoDB, modelowania danych oraz optymalizacji zapytań.
• Doświadczenie w pracy z architekturą Data Lakehouse oraz narzędziami CI/CD (np. Jenkins).
• Znajomość narzędzi do monitoringu, takich jak Prometheus i Grafana.

Co oferujemy

• Możliwość rozwoju w międzynarodowym środowisku Hiberus University.
• Prywatną opiekę medyczną.
• Kartę Multisport.
• Stabilne zatrudnienie w firmie o globalnym zasięgu.