Spark / Data Lakehouse Developer

Hiberus to międzynarodowa firma technologiczna zatrudniająca ponad 4700 specjalistów, realizująca zaawansowane projekty z obszarów AI, Data, Cloud oraz Software Development. Obecnie poszukujemy doświadczonego Spark / Data Lakehouse Developera, który dołączy do zespołu Data Platform pracującego dla klienta z sektora finansowego.

Zakres obowiązków

• Projektowanie i implementacja procesów Spark SQL/PySpark do walidacji oraz porównywania danych w środowisku MongoDB.
• Budowa warstw danych w architekturze Data Lakehouse (Raw, Bronze, Silver, Gold) z wykorzystaniem technologii takich jak Delta Lake, Iceberg lub Hudi.
• Implementacja reguł jakości danych, detekcji anomalii oraz systemów alertowania.
• Automatyzacja deploymentów Spark w środowiskach Docker i Kubernetes przy użyciu Spark Operatora.
• Monitoring procesów batchowych i strumieniowych z wykorzystaniem narzędzi Prometheus, Grafana oraz OpenTelemetry.

Wymagania

• Minimum 4 lata doświadczenia w pracy z Apache Spark w środowisku produkcyjnym.
• Bardzo dobra znajomość PySpark, Spark SQL, DataFrames oraz Structured Streaming.
• Praktyczna wiedza z zakresu architektury Data Lakehouse oraz Apache Iceberg.
• Doświadczenie w pracy z MongoDB oraz optymalizacji zapytań przy użyciu Spark Connectora.
• Znajomość procesów CI/CD (Jenkins) oraz narzędzi do monitoringu i observability.

Co oferujemy

• Możliwość długoterminowego rozwoju kariery w międzynarodowym środowisku Hiberus.
• Dostęp do Hiberus University, wspierającego ciągłe podnoszenie kompetencji technicznych.
• Pracę przy ambitnych projektach dla klientów z sektora finansowego w zespole nastawionym na współpracę.