Spark / Data Lakehouse Developer (k/m/x)

Dołącz do zespołu B2Bnetwork jako Spark / Data Lakehouse Developer i bierz udział w rozwijaniu nowoczesnej platformy danych. Poszukujemy eksperta, który zajmie się projektowaniem procesów przetwarzania danych oraz budową zaawansowanych rozwiązań w środowisku produkcyjnym.

Zakres obowiązków

• Projektowanie i implementacja procesów przetwarzania oraz rekoncyliacji danych przy użyciu Apache Spark.
• Tworzenie rozwiązań w PySpark i Spark SQL oraz definiowanie reguł jakości danych.
• Budowa i rozwój warstw Data Lakehouse w oparciu o technologię Apache Iceberg.
• Optymalizacja wydajności procesów przetwarzania oraz zapytań Spark.
• Monitoring procesów danych, diagnozowanie problemów produkcyjnych oraz współpraca w ramach code review.

Wymagania

• Minimum 4 lata praktycznego doświadczenia z Apache Spark w środowiskach produkcyjnych.
• Bardzo dobra znajomość PySpark, Spark SQL, DataFrames oraz Structured Streaming.
• Praktyczna znajomość Apache Iceberg, w tym tabel wersjonowanych oraz operacji typu upsert/merge.
• Doświadczenie w pracy z MongoDB oraz MongoDB Spark Connector.
• Znajomość narzędzi wspierających pracę inżynierską, takich jak Python, Jenkins, Prometheus oraz Grafana.

Co oferujemy

• Możliwość pracy w pełni zdalnej przy ambitnych projektach z zakresu inżynierii danych.
• Współpracę z doświadczonym zespołem technicznym w środowisku zorientowanym na jakość kodu.
• Udział w rozwoju nowoczesnej architektury danych opartej na rozwiązaniach typu Lakehouse.