Data Engineer (Regular Expressions)

IT LeasingTeam poszukuje doświadczonego Inżyniera Danych ze specjalizacją w wyrażeniach regularnych, który dołączy do zespołu wspierającego globalnego lidera branży telekomunikacyjnej. To unikalna szansa na pracę przy budowie logiki przetwarzania logów w potężnym ekosystemie Big Data, gdzie kluczowe jest zachowanie najwyższej wydajności przy ogromnym wolumenie danych.

Zakres obowiązków

• Projektowanie i optymalizacja wysoce wydajnych wyrażeń regularnych dla logów telekomunikacyjnych.
• Implementacja wzorców w procesach Spark Structured Streaming przetwarzających dane z Apache Kafka.
• Transformacja, kategoryzacja oraz filtracja surowych logów przed zasileniem bazy Elasticsearch.
• Projektowanie reguł zapewniających niską latencję przy skali przekraczającej milion rekordów na sekundę.

Wymagania

• Głębokie, udokumentowane doświadczenie komercyjne w tworzeniu i optymalizowaniu wyrażeń regularnych.
• Biegła znajomość języka angielskiego (poziom min. B2+) umożliwiająca pracę w międzynarodowym środowisku.
• Umiejętność pisania skryptów w językach takich jak Python lub Java do testowania i automatyzacji rozwiązań.
• Silne zainteresowanie obszarem Big Data oraz chęć rozwoju w nowoczesnych architekturach danych.

Co oferujemy

• Pracę w globalnej infrastrukturze IT przy przetwarzaniu setek milionów rekordów na godzinę.
• Realny wpływ na architekturę strumieniowego przesyłu danych w nowoczesnym środowisku technologicznym.
• Długofalową współpracę w zespole wybitnych ekspertów technicznych.
• Stałe wsparcie dedykowanego rekrutera na każdym etapie procesu.