Data Engineer (Spark)

Do zespołu Data Platform w Upvanta sp. z o.o. poszukujemy doświadczonego Data Engineera, który zajmie się projektowaniem i optymalizacją zaawansowanych rozwiązań do rekoncyliacji danych oraz rozwojem architektury Data Lakehouse. Jest to w pełni zdalna rola, w której będziesz odpowiadać za przetwarzanie danych w środowisku bankowym, dbając o ich wysoką jakość i spójność.

Zakres obowiązków

• Projektowanie i implementacja procesów rekoncyliacji danych z wykorzystaniem Apache Spark, PySpark oraz Spark SQL.
• Opracowywanie reguł jakości danych, wykrywanie anomalii oraz generowanie raportów i alertów.
• Integracja Apache Spark z bazami MongoDB przy użyciu dedykowanego konektora oraz optymalizacja wydajności zapytań.
• Rozwój i utrzymanie warstw Data Lakehouse w architekturze bronze/silver/gold z wykorzystaniem Apache Iceberg.
• Automatyzacja procesów CI/CD oraz monitorowanie wydajności przetwarzania danych przy użyciu narzędzi Prometheus i Grafana.

Wymagania

• Minimum 5 lat praktycznego doświadczenia na stanowisku Data Engineer lub w obszarze Big Data.
• Bardzo dobra znajomość PySpark, Spark SQL, DataFrames oraz Structured Streaming.
• Praktyczna wiedza z zakresu Apache Iceberg, w tym zarządzania tabelami i operacji typu upsert/merge.
• Biegła znajomość języka Python oraz SQL.
• Doświadczenie w budowaniu procesów CI/CD z wykorzystaniem Jenkins oraz znajomość metodyk zwinnych.

Co oferujemy

• Możliwość pracy w pełni zdalnej w nowoczesnym środowisku technologicznym.
• Współpracę z doświadczonym zespołem inżynierów w ramach projektów dla sektora bankowego.
• Udział w rozwoju zaawansowanej architektury danych i wpływ na kształt rozwiązań technicznych.