Senior Data Engineer (Apache Flink) [M/F]

• bardzo dobra znajomość Apache Flink (w tym DataStream API),
• doświadczenie w budowie i utrzymaniu pipeline’ów streamingowych,
• doświadczenie w migracji danych na dużą skalę (np. BigQuery → Cloud Storage),
• znajomość formatów danych (Avro, Parquet) i ich optymalizacji,
• dobra znajomość Google Cloud Platform (GCP),
• zrozumienie systemów rozproszonych, wydajności i fault tolerance,
• umiejętność projektowania i automatyzacji procesów migracyjnych,
• doświadczenie w pracy z narzędziami AI wspierającymi development (np. Copilot, Cursor),
• proaktywność, samodzielność i umiejętność rozwiązywania złożonych problemów,
• zaawansowana znajomość j. angielskiego. 

Projekt dotyczy rozwoju i modernizacji platformy danych przetwarzanych w czasie rzeczywistym. Głównym celem jest rozwój pipeline’ów streamingowych opartych o Apache Flink oraz realizacja złożonych migracji danych i upgrade’ów platformy.

Naszym klientem jest globalna platforma cyfrowa działająca na ogromną skalę, obsługująca setki milionów użytkowników na całym świecie. Firma rozwija produkty subskrypcyjne, które łączą użytkowników z twórcami treści poprzez spersonalizowane, oparte na danych doświadczenia.

Organizacja działa w środowisku cloud-native i rozproszonym, stawiając na automatyzację oraz wykorzystanie narzędzi AI.

,[rozwój i utrzymanie pipeline’ów streamingowych w czasie rzeczywistym z wykorzystaniem Apache Flink (DataStream API),, migracja istniejących jobów Flink do nowych standardów platformy,, udział w upgrade platformy do Flink 2.0,, projektowanie wydajnych, skalowalnych i odpornych na błędy architektur streamingowych,, migracja danych z BigQuery (BQ) do Data Cloud Storage (DCS),, automatyzacja i skalowanie procesów migracji danych,, konwersja danych (Avro → Parquet) z uwzględnieniem wydajności i optymalizacji storage,, wykorzystanie narzędzi AI do przyspieszenia migracji, walidacji i transformacji danych,, zapewnienie jakości, spójności danych i minimalizacja przestojów,, współpraca z zespołami cross-funkcjonalnymi oraz komunikacja z interesariuszami nietechnicznymi.] Requirements: Apache Flink, DataStream API, Google Cloud Platform, AI