Big Data Engineer

ITELENCE to dynamicznie rozwijająca się firma wspierająca międzynarodowych klientów w procesach transformacji cyfrowej. Obecnie poszukujemy doświadczonego specjalisty na stanowisko Big Data Engineer, który dołączy do naszego zespołu w pełni zdalnym modelu pracy.

Zakres obowiązków

• Projektowanie, budowa i utrzymanie skalowalnych pipeline’ów ETL/ELT w środowisku chmurowym Azure.
• Optymalizacja zadań Apache Spark z wykorzystaniem DataFrame API i Spark SQL pod kątem wydajności.
• Przygotowywanie danych na potrzeby analityki biznesowej oraz zaawansowanych projektów Machine Learning.
• Wdrażanie dobrych praktyk w zakresie architektury data lake, w tym wykorzystanie formatów Parquet i Delta Lake.
• Zarządzanie kodem źródłowym oraz wspieranie procesów CI/CD i testowania rozwiązań.

Wymagania

• Dobra znajomość SQL, modelowania danych oraz języka Python w kontekście inżynierii danych.
• Praktyczna znajomość Apache Spark oraz doświadczenie w budowie procesów ETL/ELT.
• Znajomość koncepcji data lake oraz technologii takich jak Parquet i Delta Lake.
• Doświadczenie w pracy z chmurowymi platformami danych, ze szczególnym uwzględnieniem Microsoft Azure.
• Umiejętność diagnozowania problemów technicznych i optymalizacji wydajności przetwarzania danych.

Co oferujemy

• Udział w ambitnych projektach związanych z przetwarzaniem dużych wolumenów danych.
• Możliwość pracy z nowoczesnymi technologiami chmurowymi oraz Apache Spark.
• Elastyczne formy współpracy oraz pełną pracę zdalną.
• Prywatną opiekę medyczną oraz kartę Multisport PLUS.