Data Platform Engineer (Kafka/Streaming)

Wymagane, kSQL, Java, Python, GraphQL, Kafka, Spring Framework, Grafana, Jira, Confluence, Prometheus

Tak pracujemy, u klienta

Twój zakres obowiązków, Spotkania z analitykami i zespołami IT w celu zrozumienia procesów biznesowych i danych., Tworzenie dokumentacji funkcjonalnej (use case, user story) oraz technicznej (diagramy danych, mapowanie pól)., Projektowanie topików Kafka (naming, partycjonowanie, schematy Avro)., Definiowanie struktur kolekcji w MongoDB oraz modeli w GraphQL i tabel Iceberg., Budowa mikroserwisów Spring Boot (producent/konsument, stream processing)., Implementacja warstwy GraphQL (schematy, resolvery) udostępniającej dane z MongoDB., Konfiguracja i rozwój konektorów Kafka Connect., Tworzenie własnych Single Message Transforms (SMT) i konwerterów w celu dopasowania formatów danych., Implementacja metryk (Prometheus, Grafana), logowania (Vector, ELK) oraz śledzenia (OpenTelemetry, Dynatrace) dla przepływu zdarzeń., Diagnozowanie problemów z replikacją, opóźnieniami i niezgodnościami danych., Optymalizacja konfiguracji Kafki, MongoDB i Iceberg pod kątem wydajności oraz kosztów., Praca w zespole Agile (Scrum/Kanban) razem z Data Engineerami, DevOpsami, analitykami i testerami., Dzielenie się wiedzą – warsztaty, dokumentacja, code review.

Minimum 3 lata doświadczenia w środowiskach produkcyjnych., Znajomość brokerów, topiców, partycjonowania, schematów i replikacji., Biegła znajomość Kafka Streams, kSQL., Konfiguracja i rozwój konektorów Kafka Connect (gotowych i własnych)., Biegłość w Javie oraz frameworku Spring (Boot, Cloud, Security, Data)., Projektowanie schematów dokumentowych, indeksowanie i optymalizacja zapytań., Implementacja serwisów GraphQL (Spring GraphQL lub inne), definiowanie schematów i resolverów., Podstawowa znajomość formatu tabel i zarządzania metadanymi., Znajomość Javy, Pythona, Znajomość Prometheus, Grafana oraz OpenTelemetry., Znajomość mechanizmów TLS, SASL i ACL oraz zasad szyfrowania danych w spoczynku i tranzycie., Doświadczenie w pracy w Scrum/Kanban oraz znajomość narzędzi Jira i Confluence.

SQUARE ONE RESOURCES sp. z o.o., At Square One Poland we link IT experts with the business. With over 25 years of experience, we specialize in recruitment processes on a global scale. Despite years of experience, we still have a startup DNA and this is our advantage. Our offices are located in London and Warsaw, however, we can reach clients from all over the world, from start-ups to big worldwide corporations.

Tak się u nas pracuje,