Spark / Data Lakehouse Developer

Dołącz do zespołu Data Platform w Hiberus Poland jako Spark / Data Lakehouse Developer i wspieraj klienta z sektora finansowego w budowie nowoczesnych rozwiązań danych. Będziesz odpowiedzialny za projektowanie zaawansowanych procesów przetwarzania danych oraz rozwój architektury Data Lakehouse w środowisku produkcyjnym.

Zakres obowiązków

• Projektowanie i implementacja procesów Spark SQL oraz PySpark do walidacji i synchronizacji danych w warstwie ODS.
• Budowa warstw danych od Raw po Gold z wykorzystaniem technologii typu Delta Lake, Iceberg lub Hudi.
• Optymalizacja integracji Spark z bazami MongoDB oraz automatyzacja deploymentów w środowisku Kubernetes.
• Monitoring procesów batchowych i strumieniowych przy użyciu narzędzi Prometheus oraz Grafana.
• Tworzenie dokumentacji technicznej oraz aktywny udział w procesach code review i warsztatach zespołowych.

Wymagania

• Minimum 4 lata doświadczenia w pracy z Apache Spark w środowisku produkcyjnym.
• Bardzo dobra znajomość PySpark, Spark SQL oraz architektury Data Lakehouse.
• Praktyczna wiedza z zakresu MongoDB, w tym modelowania i indeksowania danych.
• Doświadczenie w pracy z CI/CD (Jenkins) oraz narzędziami do monitoringu (Prometheus, Grafana).
• Znajomość metodyk zwinnych (Scrum/Kanban) oraz narzędzi Jira i Confluence.

Co oferujemy

• Prywatną opiekę medyczną dla pracowników.
• Dostęp do karty Multisport.
• Możliwość rozwoju w międzynarodowym środowisku Hiberus University.