Azure DataBricks Engineer

Firma CRODU poszukuje doświadczonych inżynierów Azure DataBricks do realizacji zaawansowanych projektów dla klientów z USA, głównie z sektora medycznego i finansowego. Oferujemy możliwość pracy przy skalowalnych rozwiązaniach typu Data Lakehouse oraz udział w złożonych procesach migracji danych.

Zakres obowiązków

• Projektowanie, wdrażanie i utrzymanie skalowalnych rozwiązań Data Lakehouse w środowisku Databricks i Delta Lake.
• Tworzenie oraz optymalizacja wydajnych potoków ETL/ELT przy użyciu PySpark i DLT dla przetwarzania danych batchowych i strumieniowych.
• Wdrażanie standardów bezpieczeństwa i governance z wykorzystaniem Unity Catalog, RBAC oraz narzędzi typu Terraform.
• Monitoring wydajności systemów, tuning zapytań oraz automatyzacja procesów zgodnie z wymaganiami SLA.
• Aktywna współpraca z zespołami Data Science oraz architektami w celu doboru optymalnych narzędzi i integracji.

Wymagania

• Minimum 8 lat doświadczenia w inżynierii danych, w tym w projektach transformacyjnych i migracyjnych.
• Bardzo dobra znajomość Databricks i Apache Spark (klastry, migracje, optymalizacja zapytań) oraz języka Python.
• Praktyczna wiedza z zakresu Delta Lake, Unity Catalog oraz Delta Live Tables.
• Doświadczenie w pracy z chmurą Azure (Data Factory, Synapse, Data Lake) lub AWS.
• Biegła znajomość SQL oraz umiejętność swobodnej komunikacji w języku angielskim.

Co oferujemy

• Pracę przy prestiżowych projektach dla klientów z rynku amerykańskiego.
• Możliwość długofalowej współpracy przy różnorodnych wyzwaniach technologicznych.
• Pełną elastyczność pracy w modelu zdalnym.