Kafka Engineer

Wymagania techniczne (must-have)

• Minimum 4 lata doświadczenia z Apache Kafka.
• Biegła znajomość Confluent Platform (Enterprise) oraz Confluent
• Kafka / Confluent
• Cloud.
• Doświadczenie w migracji i replikacji klastrów (MirrorMaker 2, Cluster Linking, Confluent Replicator).
• Chmura AWS
• Praktyczna znajomość usług: VPC, IAM, EC2, EKS, MSK, S3, KMS, Secrets
• Doświadczenie w budowie i utrzymaniu środowisk hybrydowych
• (on-prem ↔ AWS).
• Infrastructure-as-Code
• Terraform (preferowane) – pisanie modułów, testy (terratest, tfsec).
• Ansible.
• CI/CD
• Doświadczenie z pipeline-ami (GitHub Actions, GitLab CI, Jenkins).
• Automatyzacja testów integracyjnych dla Kafki.
• Programowanie / Scripting Monitoring & Observability
• Python, Ansible, Bash.
• Prometheus + Grafana, Confluent Control Center, OpenTelemetry,
• Elastic Stack.
• Bezpieczeństwo
• Znajomość zagadnień TLS, SASL, ACL, RBAC, szyfrowanie danych w spoczynku oraz w tranzycie.
• Metodyki Agile
• Praca w Scrum / Kanban, znajomość Jira/Confluence."

Poszukujemy doświadczonego Inżyniera Kafka z dogłębną znajomością Confluent Platform oraz Confluent Cloud, który będzie uczestniczył w budowie hybrydowego środowiska Kafka łączącego klastery on-premise i AWS. Projekt obejmuje:

• Budowę rozwiązania Kafka w chmurze AWS (Aurora, MSK, EKS, itp.).
• Implementację replikacji danych pomiędzy klastrami on-prem a AWS (MirrorMaker 2, Cluster Linking, Replicator).
• Wytworzenie procesów CI/CD oraz Infrastructure-as-Code dla rozwiązania w AWS .

,[Projektowanie hybrydowej topologii Kafki (on-prem ↔ AWS)., Dobór i konfiguracja komponentów Confluent Platform (Schema Registry,, Flink, Control Center, Tableflow)., Tworzenie klastrów Kafka (MSK, Confluent Cloud) oraz niezbędnych, AWS, Replikacja i synchronizacja, CI/CD & IaC, Operacje i wsparcie, Implementacja monitoringu (Prometheus/Grafana), Konfiguracja MirrorMaker 2 / Cluster Linking / Replicator., Zapewnienie spójności i niskich opóźnień przy transferze danych między środowiskami., Definiowanie pipeline-ów (GitHub Actions, GitLab CI, Jenkins) dla wdrożeń Kafki, schematów i aplikacji konsumenckich., Implementacja IaC w Terraform – wersjonowanie, testy planów, automatyczne apply., Tworzenie i utrzymywanie run-booków, alertów, SLA/SLO., Rozwiązywanie incydentów w trakcie budowy rozwiązania, optymalizacja wydajności, tuning konfiguracji., Praca w zespole Data Platform (Data Engineers, DevOps, Security)., Mentoring mniej doświadczonych członków zespołu, prowadzenie warsztatów technicznych.] Requirements: Apache Kafka, VPC, IAM, AWS EC2, Amazon EKS, MSK, AWS S3, KMS, GitHub Actions, GitLab CI, Ansible, Grafana, Elastic Stack, TLS, ACL, RBAC, Scrum, Kanban, Jira, Confluence