Big Data Engineer

TQLO Sp. z o.o. poszukuje doświadczonego Senior Big Data Engineera do realizacji zaawansowanych projektów związanych z projektowaniem, rozwojem i optymalizacją skalowalnych rozwiązań przetwarzania danych w środowisku Microsoft Azure. Jest to w pełni zdalna rola, w której będziesz odpowiedzialny za budowę wydajnych pipeline’ów danych oraz wspieranie procesów analitycznych i Machine Learning.

Zakres obowiązków

• Projektowanie, budowa i rozwój skalowalnych pipeline’ów ETL/ELT w środowisku Microsoft Azure.
• Optymalizacja procesów przetwarzania danych w Apache Spark pod kątem wydajności i stabilności.
• Projektowanie i rozwój rozwiązań Data Lake z wykorzystaniem Parquet, Delta Lake oraz mechanizmów partycjonowania danych.
• Rozwój i utrzymanie kodu z wykorzystaniem Git oraz automatyzacja wdrożeń w ramach CI/CD.
• Przygotowywanie danych na potrzeby rozwiązań analitycznych oraz projektów Machine Learning.

Wymagania

• Doświadczenie w projektowaniu rozwiązań Big Data na poziomie Senior.
• Bardzo dobra znajomość SQL, modelowania danych oraz języka Python.
• Zaawansowana znajomość Apache Spark, w szczególności DataFrame API oraz Spark SQL.
• Praktyczna znajomość architektury Data Lake oraz platformy chmurowej Microsoft Azure.
• Umiejętność diagnozowania problemów technicznych i optymalizacji wydajności systemów.

Co oferujemy

• Pracę w 100% zdalnym modelu, umożliwiającą elastyczne zarządzanie czasem.
• Możliwość pracy przy nowoczesnych rozwiązaniach chmurowych i dużych zbiorach danych.
• Współpracę z doświadczonym zespołem przy ambitnych projektach analitycznych.