Be in IT to butikowa firma rekrutacyjna specjalizująca się w pozyskiwaniu ekspertów IT. Obecnie poszukujemy doświadczonego specjalisty na stanowisko Mid GCP Data Engineer do długofalowego projektu realizowanego w pełni zdalnie.
Zakres obowiązków
- Projektowanie, rozwój i utrzymanie procesów pobierania danych do Data Lake oraz budowa złożonych potoków danych przy użyciu Apache Spark, Apache Kafka, Python i SQL.
- Udział w kluczowym procesie migracji Hurtowni Danych Oracle do środowiska Google Cloud Platform (GCP).
- Tworzenie frameworków wspierających automatyzację przetwarzania danych oraz implementacja mechanizmów kontroli jakości danych.
- Integracja danych z różnorodnych źródeł, takich jak Kafka, MQ, SFTP, API oraz bazy danych.
- Współpraca z zespołami Data Analystów i Data Scientistów w celu optymalizacji procesów przetwarzania danych.
Wymagania
- Minimum 3 lata doświadczenia w pracy z danymi oraz bardzo dobra, praktyczna znajomość Google Cloud Platform.
- Zaawansowana znajomość SQL, PL/SQL oraz języka Python.
- Doświadczenie w pracy z narzędziem dbt oraz ekosystemem Cloudera Hadoop (w szczególności Apache Spark i Kafka).
- Praktyczna znajomość systemu Linux i skryptów Bash oraz znajomość zasad Data Governance.
- Znajomość języka angielskiego na poziomie minimum B2.
Co oferujemy
- Współpracę w pełni zdalną oraz wsparcie przy zakładaniu i prowadzeniu działalności gospodarczej.
- Sprawny proces rekrutacyjny składający się z dwóch rozmów technicznych online.
- Dostęp do prywatnej opieki medycznej oraz karty Multisport.
- Nowoczesny sprzęt komputerowy wraz z niezbędnym oprogramowaniem i konfiguracją.