Big Data Engineer (energy)

About the project

Dla naszego klienta z branży energetycznej poszukujemy doświadczonego Data Engineera, który będzie odpowiedzialny za wsparcie zespołu projektowego oraz utrzymaniowego w zadaniach związanych z budową, rozwojem i utrzymaniem platformy CDP w technologii Data Lakehouse (GCP).

Our expectations

• Znajomość Google Cloud Platform: kluczowych usług Data & Analytics

• Znajomość BigQuery: wykorzystanie do przechowywania, przetwarzania i analizy danych (Bronze, Silver, Gold layers), w tym tabele zewnętrzne, partycjonowanie, klastrowanie, optymalizacja zapytań.

• Znajomość Pythona, w tym bibliotek do przetwarzania danych (Pandas).

• Znajomość SQL, MySQL, PostgreSQL, MS SQL Server

• Zarządzanie danymi w różnych formatach (Parquet, JSON, CSV) i klasach przechowywania.

• Projektowanie, implementacja i optymalizacja potoków ETL/ELT (zarówno batch, jak i streaming) w Pythonie.

• Tworzenie i zarządzanie DAGami do orkiestracji złożonych przepływów danych, monitorowanie zadań.

• Zrozumienie mechanizmów CDC (Change Data Capture) i replikacji danych (z MySQL do BigQuery).

• Znajomość zarządzania metadanymi, katalogowania danych, Data Quality (DQ) i Data Lineage.

• Zrozumienie zasad zarządzania jakością danych, bezpieczeństwa danych, prywatności i zgodności (RODO).

• Praca z systemami kolejkowania komunikatów do integracji strumieniowej.

• Doświadczenie w tworzeniu, testowaniu i zarządzaniu transformacjami danych w SQL w BigQuery.

• Doświadczenie w implementacji i utrzymaniu architektury medalionowej.

• Znajomość systemów kontroli wersji Git (strategie branchingu, Pull Requests).

• Zrozumienie procesów Continuous Integration i Continuous Deployment (np. z użyciem Cloud Build).

• Swobodna komunikacja w Językach polskim i angielski (min. poziom B2)

• Gotowść do okazjonalnej pracy z biura klienta w Warszawie (1-2 razy w miesiącu)