Lead Data Engineer / Architect (Databricks)

Kim jest H2B Group?

Jesteśmy firmą konsultingową, która pomaga klientom w automatyzacji procesów biznesowych przy pomocy AI, a specjalistom IT rozwijać karierę w modelu B2B. Oferujemy projekty z branż takich jak fintech, medtech, edutech czy automatyka przemysłowa. Dzięki ścisłej współpracy wspieramy rozwój naszych klientów poprzez dostarczanie szybkich i mierzalnych efektów, jednocześnie zapewniając specjalistom IT możliwości rozwoju kariery i zdobywania cennego doświadczenia.

Dlaczego warto z nami współpracować?

✨ Elastyczność – Wybierasz projekty dopasowane do swoich umiejętności i zainteresowań, z możliwością zmiany w ramach naszej firmy lub grupy Euvic, której jesteśmy częścią.
💡 Przejrzystość – Masz jasne zasady współpracy i pełną transparentność wynagrodzenia oraz warunków.
🚀 Szybkość działania – Dzięki naszej efektywności szybko znajdziesz lub zmienisz projekt, który idealnie odpowiada Twoim kompetencjom.
🌟 Możliwość rozwoju – Pracujesz przy innowacyjnych projektach, rozwijając kluczowe kompetencje i zdobywając cenne doświadczenie.

Do projektu naszego klienta poszukujemy Lead Data Engineer / Architect (Databricks)!

Zakres obowiązków

• Audyt i Naprawa (Recovery): Szybka ocena istniejącego kodu Databricks/ADF i identyfikacja luk względem kontraktu (SoW).

• Weryfikacja Architektury: Walidacja i ewentualna korekta modelu Medallion (Bronze/Silver/Gold) oraz konfiguracji Unity Catalog.

• Hands-on Engineering: Portowanie widoków z SQL Server do Databricks SQL, budowa potoków ADF i modelowanie warstwy Gold.

• Wdrożenie CI/CD: Konfiguracja i nadzór nad automatyzacją wdrożeń (Dev/Test/Prod) przez Azure DevOps.

• Testowanie i Rekonsyliacja: Stworzenie frameworku sprawdzającego poprawność danych między źródłami SQL Server a Lakehousem.

• Wsparcie Lidera Projektu: Udział w spotkaniach z klientem jako główny autorytet techniczny i raportowanie postępów.

Wymagania (Must-have)

• Databricks Expert: Minimum kilka wdrożeń produkcyjnych (Delta Lake, Databricks SQL, Unity Catalog).

• Azure Data Factory: Biegłość w budowie potoków, obsługa Self-Hosted IR oraz wzorców CDC.

• Deep SQL & Python: Bardzo silna znajomość T-SQL (analiza legacy) oraz Pythona pod kątem inżynierii danych.

• Data Modelling: Doświadczenie w projektowaniu schematów gwiazdy (Star Schema) i struktur Fact/Dimension.

• Azure Infrastructure: Znajomość ADLS Gen2 oraz podstaw sieciowych (Private Endpoints, VNets).

• Senior Delivery: Umiejętność samodzielnego planowania pracy i podejmowania decyzji pod presją czasu.

Mile widziane (Nice to have)

• Microsoft Purview: Znajomość narzędzi do data governance i lineage.

• Databricks Lakeflow: Doświadczenie z nowymi funkcjonalnościami orkiestracji.

• Power BI: Orientacja w tym, jak model danych w Lakehousie wpływa na finalne raporty i ich wydajność.

• Doświadczenie Konsultingowe: Umiejętność sprawnego komunikowania ryzyk i zmian architektury interesariuszom biznesowym.