Data Architect

Description

W Scalo zajmujemy się dostarczaniem projektów software'owych i wspieraniem naszych partnerów w rozwijaniu ich biznesu. Tworzymy oprogramowanie, które umożliwia ludziom dokonywanie zmian, działanie w szybszym tempie oraz osiąganie lepszych rezultatów. Jesteśmy firmą, która wykorzystuje szerokie spektrum usług IT, żeby pomagać klientom. Obszary naszego działania to m.in.: doradztwo technologiczne, tworzenie oprogramowania, systemy wbudowane, rozwiązania chmurowe, zarządzanie danymi, dedykowane zespoły developerskie. Cześć! U nas znajdziesz to, czego szukasz - przekonaj się!

Requirements

• projektowanie architektury i rozwój MVP platformy Data Lakehouse do centralizacji danych CRM (HubSpot)
• implementacja potoków ELT z wykorzystaniem architektury Bronze → Silver → Gold
• tworzenie i utrzymywanie tabel w Apache Iceberg
• projektowanie i rozwijanie transformacji w dbt-spark (SQL + Python)
• budowa i orkiestracja procesów w Apache Airflow
• integracja z StarRocks i przygotowanie wydajnej warstwy analitycznej
• zarządzanie metadanymi w OpenMetadata
• udział w projektowaniu monitoringu (m.in. retry, alerting)
• projekt greenfield
• praca w modelu 100% zdalnym
• stawka do 200 zł/h przy B2B w zależności od doświadczenia

Responsibilities

• masz minimum 6 lat doświadczenia jako Data Engineer/ Data Architect lub w pokrewnych rolach danych
• bardzo dobrze znasz dbt (dbt-spark) oraz Apache Spark
• pracujesz z formatami tabelowymi Apache Iceberg lub Hudi i rozumiesz ich mechanizmy ACID/UPSERT (lub podobnymi technologiami)
• znasz Python oraz SQL na poziomie zaawansowanym
• masz doświadczenie z Apache Airflow (tworzenie DAG, retry, scheduling)
• rozumiesz architekturę Lakehouse (Bronze → Silver → Gold) i potrafisz ją wdrażać end-to-end
• masz doświadczenie w pracy z obiektowymi storage S3/CEPH
• potrafisz pracować autonomicznie, podejmować decyzje techniczne i dostarczać rozwiązania wysokiej jakości
• swobodnie komunikujesz się po angielsku w codziennej pracy (B2/C1 level)

Mile widziane: znajomość StarRocks, Trino, OpenMetadata, doświadczenie z Kubernetes, monitoringiem (Prometheus/Grafana) oraz podejściem GitOps (FluxCD), doświadczenie z modelowaniem danych, partitioningiem i optymalizacją dużych zbiorów, znajomość systemów CRM oraz danych marketingowych, praktyczna wiedza o mechanizmach Iceberg/Hudi (compaction, snapshotting, metadata layout).