Senior Data Engineer (Rust, DataFusion)

Next Technology Professionals poszukuje doświadczonego Senior Data Engineera do pracy nad nowoczesnym, wysokowydajnym silnikiem bazodanowym. Projekt koncentruje się na budowie zaawansowanej warstwy przetwarzania zapytań, dedykowanej do skomplikowanych obliczeń finansowych w środowisku rozproszonym.

Zakres obowiązków

• Optymalizacja i integracja źródeł danych, w tym mechanizmy pushdownu predykatów oraz szybkie przetwarzanie wsadowe.
• Tworzenie zaawansowanych mechanizmów kontrolnych, zapewnienie precyzji wyliczeń numerycznych oraz optymalne zarządzanie pamięcią.
• Projektowanie transformacji tabelarycznych w języku Rust oraz rozbudowa frameworków Apache Arrow i DataFusion.
• Budowa trwałego katalogu danych oraz implementacja widoków semantycznych i rozszerzeń dla języka SQL.
• Zapewnienie kompatybilności z PostgreSQL poprzez budowę niezawodnego interfejsu SQL dla narzędzi BI i klientów JDBC/JOOQ.

Wymagania

• Zaawansowana znajomość języka Rust, w tym asynchroniczności, zarządzania pamięcią i współbieżności.
• Biegła znajomość SQL oraz dogłębne zrozumienie specyfiki PostgreSQL, w tym planów zapytań i spójności transakcyjnej.
• Doświadczenie w tworzeniu wydajnych systemów backendowych, silników zapytań lub infrastruktury analitycznej.
• Dbałość o wysoką jakość kodu, bezawaryjność wdrożeń oraz tworzenie kompleksowych testów.
• Mile widziana znajomość Apache Arrow, DataFusion oraz doświadczenie w budowaniu parserów SQL.

Co oferujemy

• Współpracę w oparciu o kontrakt B2B w pełni zdalnym modelu pracy.
• Dużą niezależność oraz realny wpływ na decyzje techniczne przy kluczowych komponentach systemu.
• Pokrycie kosztów ewentualnych spotkań projektowych.