Fabric Data Engineer Senior

Wymagania

• Praktyczna znajomość ekosystemu Microsoft Fabric (OneLake, Lakehouse, Data Warehouse, Data Factory).

• Bardzo dobra znajomość PySpark (Python) oraz T-SQL.

• Doświadczenie z architekturą Medallion oraz projektowaniem schematu gwiazdy (Star Schema).

• Praktyczna znajomość formatu Delta Lake i technik jego optymalizacji (V-Order, Compaction).

• Rozumienie, jak struktura danych w warstwie Gold wpływa na wydajność Direct Lake.

• Język angielski B2/C1.

Zadania

• Projektowanie, rozwój i utrzymanie rozwiązań danych w środowisku Microsoft Fabric.

• Budowa oraz zarządzanie architekturą danych z wykorzystaniem komponentów OneLake, Lakehouse, Data Warehouse oraz Data Factory.

• Tworzenie i rozwój procesów ETL/ELT z wykorzystaniem PySpark (Python) oraz T-SQL.

• Implementacja architektury Medallion (Bronze, Silver, Gold) zgodnie z najlepszymi praktykami projektowania platform danych.

• Projektowanie i rozwój modeli analitycznych opartych na schemacie gwiazdy (Star Schema) na potrzeby raportowania i analiz biznesowych.

• Przetwarzanie oraz optymalizacja danych zapisanych w formacie Delta Lake, w tym wykorzystanie mechanizmów V-Order, Compaction oraz innych technik poprawy wydajności.

• Projektowanie warstwy Gold z uwzględnieniem wymagań wydajnościowych dla Power BI Direct Lake.

• Monitorowanie, optymalizacja i tuning procesów przetwarzania danych oraz wydajności zapytań.

• Zapewnienie wysokiej jakości danych poprzez walidację, monitorowanie i wdrażanie dobrych praktyk Data Engineering.

• Współpraca z analitykami danych, zespołami BI oraz architektami przy projektowaniu i wdrażaniu rozwiązań analitycznych.

• Tworzenie dokumentacji technicznej dotyczącej procesów przetwarzania danych, modeli danych oraz architektury rozwiązania.

• Udział w projektowaniu standardów i dobrych praktyk związanych z platformą Microsoft Fabric oraz rozwojem nowoczesnych rozwiązań Data & Analytics.