Kafka Engineer

Jesteśmy agencją consultingową, zajmującą się wyszukiwaniem i pozyskiwaniem najlepszych talentów ✨ dla naszych klientów. Pomagamy start-upom, software house’om i przedsiębiorstwom w skalowaniu i transformacji poprzez nawiązywanie współpracy z ambitnymi inżynierami posiadającymi prawdziwą pasję do technologii.

Obecnie poszukujemy Mid/Senior Kafka Engineera do projektu z obszaru Data Platform , którego jednym z kluczowych elementów jest budowa hybrydowego środowiska Kafka, łączącego klastry on-premise oraz AWS .

 

Projekt jest już w fazie realizacji i obejmuje budowę rozwiązania Kafka w chmurze AWS, implementację mechanizmów replikacji danych pomiędzy środowiskami on-premise i cloud oraz rozwój procesów CI/CD i Infrastructure-as-Code . W środowisku wykorzystywane są m.in. Apache Kafka, Confluent Platform, Confluent Cloud, AWS MSK, EKS, Terraform, Ansible, Prometheus i Grafana .

 

Poszukujemy doświadczonej osoby, która bardzo dobrze rozumie architekturę Kafka i potrafi samodzielnie projektować oraz rozwijać złożone środowiska hybrydowe. Ważne będzie zarówno doświadczenie infrastrukturalne i automatyzacyjne, jak i znajomość mechanizmów replikacji, bezpieczeństwa, monitoringu oraz optymalizacji wydajności. Rola zakłada również współpracę z Data Engineerami, DevOpsami i zespołami Security oraz dzielenie się wiedzą z mniej doświadczonymi członkami zespołu.

Oferujemy

 

• Współpracę w oparciu o kontrakt B2B
• Pracę zdalną z jedną wizytą w biurze we Wrocławiu w miesiącu
• Udział w rozwijanym już projekcie z obszaru Data Platform
• Pracę przy budowie hybrydowej infrastruktury Kafka on-premise ↔ AWS
• Możliwość pracy z rozbudowanym środowiskiem obejmującym Confluent Platform, Confluent Cloud oraz AWS

Obowiązki

• Projektowanie hybrydowej topologii Apache Kafka on-premise ↔ AWS
• Budowa i rozwój rozwiązania Kafka w środowisku AWS
• Tworzenie i konfiguracja klastrów Kafka, AWS MSK oraz Confluent Cloud
• Dobór i konfiguracja komponentów Confluent Platform , m.in. Schema Registry, Flink, Control Center oraz Tableflow
• Implementacja mechanizmów replikacji pomiędzy klastrami z wykorzystaniem MirrorMaker 2, Cluster Linking oraz Confluent Replicator
• Zapewnianie spójności danych oraz niskich opóźnień podczas transferu danych pomiędzy środowiskami
• Projektowanie oraz rozwój pipeline’ów CI/CD dla wdrożeń Kafka, schematów oraz aplikacji konsumenckich
• Implementacja i rozwój Infrastructure-as-Code w Terraform , w tym wersjonowanie, testowanie planów oraz automatyzacja wdrożeń
• Automatyzacja procesów konfiguracyjnych z wykorzystaniem Ansible
• Implementacja i rozwój monitoringu z wykorzystaniem Prometheus, Grafana, Confluent Control Center, OpenTelemetry oraz Elastic Stack
• Automatyzacja testów integracyjnych dla środowiska Kafka
• Tworzenie i utrzymywanie runbooków, alertów oraz SLA/SLO
• Rozwiązywanie incydentów pojawiających się podczas budowy rozwiązania
• Optymalizacja wydajności oraz tuning konfiguracji Kafka
• Współpraca w ramach zespołu Data Platform z Data Engineerami, DevOpsami oraz specjalistami Security
• Mentoring mniej doświadczonych członków zespołu oraz prowadzenie warsztatów technicznych

Wymagania

• Minimum 4 lata komercyjnego doświadczenia w pracy z Apache Kafka
• Bardzo dobra znajomość Confluent Platform Enterprise oraz Confluent Cloud
• Doświadczenie w projektowaniu, budowaniu i utrzymywaniu środowisk hybrydowych
• Praktyczne doświadczenie w migracji i replikacji klastrów z wykorzystaniem MirrorMaker 2, Cluster Linking oraz Confluent Replicator
• Praktyczna znajomość usług AWS, w szczególności VPC, IAM, EC2, EKS, MSK, S3, KMS oraz Secrets Manager
• Doświadczenie z Terraform , w tym tworzeniem modułów i automatyzacją infrastruktury
• Znajomość narzędzi wspierających testowanie i bezpieczeństwo Terraform, takich jak Terratest oraz tfsec
• Praktyczna znajomość Ansible
• Doświadczenie w tworzeniu i rozwijaniu pipeline’ów GitHub Actions, GitLab CI lub Jenkins
• Doświadczenie w automatyzacji testów integracyjnych dla Kafka
• Znajomość Python i Bash
• Doświadczenie z narzędziami observability i monitoringu: Prometheus, Grafana, Confluent Control Center, OpenTelemetry oraz Elastic Stack
• Bardzo dobra znajomość zagadnień związanych z bezpieczeństwem: TLS, SASL, ACL, RBAC oraz szyfrowanie danych w spoczynku i tranzycie
• Doświadczenie w pracy w metodykach Scrum lub Kanban
• Znajomość Jira i Confluence
• Umiejętność samodzielnego analizowania i rozwiązywania złożonych problemów infrastrukturalnych i wydajnościowych