Data Engineer

Description

W Scalo zajmujemy się dostarczaniem projektów software'owych i wspieraniem naszych partnerów w rozwijaniu ich biznesu. Tworzymy oprogramowanie, które umożliwia ludziom dokonywanie zmian, działanie w szybszym tempie oraz osiąganie lepszych rezultatów. Jesteśmy firmą, która wykorzystuje szerokie spektrum usług IT, żeby pomagać klientom. Obszary naszego działania to m.in.: doradztwo technologiczne, tworzenie oprogramowania, systemy wbudowane, rozwiązania chmurowe, zarządzanie danymi, dedykowane zespoły developerskie. Cześć! U nas znajdziesz to, czego szukasz - przekonaj się!

Requirements

• udział w międzynarodowym projekcie mającym na celu rozwój skalowalnej platformy Customer Data Platform (CDP) przetwarzającej setki milionów rekordów dziennie
• projektowanie i rozwój pipeline’ów ETL opartych o Apache Kafka i Spark
• budowa i utrzymanie architektury data lakehouse (Apache Iceberg, Nessie, MinIO)
• praca nad automatycznymi mechanizmami wdrożeń środowisk
• implementacja rozwiązań multi-tenancy
• ścisła współpraca z zespołami data, DevOps oraz zespołami biznesowymi
• rozwój i utrzymanie CI/CD ze szczególnym naciskiem na versioning i branching w Nessie
• praca z narzędziami: Metabase, FastAPI, Dremio
• udział w długofalowym projekcie
• praca w modelu zdalnym
• stawka do 170 zł/h przy B2B

Responsibilities

• posiadasz doświadczenie w projektowaniu i implementacji pipeline’ów danych opartych o Apache Kafka i Spark
• masz solidne doświadczenie w pracy z architekturą data lakehouse (Apache Iceberg, Nessie, MinIO)
• pracujesz z procesami ETL dla dużych wolumenów danych (setki milionów rekordów dziennie)
• dobrze znasz Python i PySpark
• masz praktyczne doświadczenie w budowie i utrzymaniu CI/CD
• rozumiesz zagadnienia versioningu i branchingu danych (w szczególności Nessie)
• masz doświadczenie w automatyzacji wdrożeń w środowiskach zabezpieczonych (on-premise, firewalle)
• potrafisz diagnozować problemy związane z wydajnością, bezpieczeństwem i stabilnością systemów rozproszonych
• cenisz współpracę zespołową i potrafisz działać w środowisku cross-funkcyjnym
• swobodnie komunikujesz się w języku angielskim (min. B2+)