Kafka Engineer

Wymagania techniczne – must-have

Kafka i Confluent

• Minimum 4 lata doświadczenia z Apache Kafka .
• Biegła znajomość:
• Confluent Platform (Enterprise) ,
• Confluent Kafka ,
• Confluent Cloud .
• Doświadczenie w budowie, utrzymaniu, migracji i replikacji klastrów Kafka.
• Praktyczna znajomość:
• MirrorMaker 2,
• Cluster Linking,
• Confluent Replicator.

AWS

Praktyczna znajomość usług:

• VPC,
• IAM,
• EC2,
• EKS,
• MSK,
• S3,
• KMS,
• AWS Secrets Manager.

Środowiska hybrydowe

• Doświadczenie w budowie i utrzymaniu środowisk hybrydowych on-premise ↔ AWS .

Infrastructure-as-Code

• Bardzo dobra znajomość Terraform , w tym:
• tworzenie modułów,
• zarządzanie stanem i wersjonowaniem,
• testowanie infrastruktury,
• Terratest,
• tfsec.
• Znajomość Ansible .

CI/CD

• Doświadczenie w tworzeniu i utrzymywaniu pipeline'ów CI/CD.
• Znajomość:
• GitHub Actions,
• GitLab CI,
• Jenkins.
• Doświadczenie w automatyzacji testów integracyjnych dla Kafki.

Programowanie i scripting

• Znajomość:
• Python,
• Bash,
• Ansible.

Monitoring i observability

• Doświadczenie z:
• Prometheus,
• Grafana,
• Confluent Control Center,
• OpenTelemetry,
• Elastic Stack.

Bezpieczeństwo

• Znajomość:
• TLS,
• SASL,
• ACL,
• RBAC,
• szyfrowania danych w spoczynku,
• szyfrowania danych w tranzycie.

Metodyki pracy

• Doświadczenie w pracy w Scrum i/lub Kanban .
• Znajomość narzędzi:
• Jira,
• Confluence.

Tryb pracy: Zdalnie (okazjonalne wizyty w biurze Wrocław)

Stawka: 1000-1200 PLN/MD B2B

Poszukujemy doświadczonego Kafka Engineera z dogłębną znajomością Confluent Platform, Confluent Kafka oraz Confluent Cloud , który będzie uczestniczył w budowie hybrydowego środowiska Kafka łączącego klastry on-premise i AWS .

Projekt obejmuje:

• budowę rozwiązania Kafka w chmurze AWS, w tym m.in. Aurora, MSK, EKS ,
• implementację replikacji danych pomiędzy klastrami on-premise i AWS z wykorzystaniem MirrorMaker 2, Cluster Linking oraz Confluent Replicator ,
• stworzenie procesów CI/CD oraz rozwiązań Infrastructure-as-Code dla środowiska AWS,
• zapewnienie wysokiej dostępności, bezpieczeństwa, monitoringu oraz odpowiedniej wydajności platformy.

,[Projektowanie hybrydowej topologii Kafka (on-premise ↔ AWS)., Dobór i konfiguracja komponentów Confluent Platform, m.in.:, Schema Registry, Flink, Control Center, Tableflow., Projektowanie architektury zapewniającej wysoką dostępność, bezpieczeństwo i skalowalność., Tworzenie i konfiguracja klastrów Kafka, w tym Amazon MSK oraz Confluent Cloud., Konfiguracja niezbędnych usług AWS, m.in.: VPC, IAM, EC2, EKS, S3, KMS,, Secrets Manager., Integracja komponentów Kafka z istniejącą infrastrukturą on-premise., Implementacja i konfiguracja: MirrorMaker 2, Cluster Linking, Projektowanie i utrzymywanie pipeline'ów CI/CD z wykorzystaniem: GitHub Actions, GitLab CI, Jenkins., Automatyzacja wdrożeń Kafki, schematów oraz aplikacji konsumenckich., Implementacja Infrastructure-as-Code w Terraform: tworzenie i utrzymywanie modułów, wersjonowanie infrastruktury, testowanie planów, automatyzacja procesu apply., Automatyzacja testów integracyjnych dla środowisk Kafka., Wykorzystanie Ansible do automatyzacji konfiguracji i wdrożeń., Confluent Replicator., Zapewnienie spójności danych pomiędzy środowiskami on-premise i AWS., Optymalizacja mechanizmów replikacji pod kątem wydajności i niskich opóźnień., Monitorowanie procesów replikacji i reagowanie na problemy z synchronizacją., Implementacja i utrzymywanie monitoringu z wykorzystaniem: Prometheus, Grafana, Confluent Control Center, OpenTelemetry, Elastic Stack. Tworzenie i utrzymywanie: runbooków, alertów, SLA/SLO., Rozwiązywanie incydentów oraz problemów związanych z działaniem platformy., Optymalizacja wydajności i tuning konfiguracji Kafka., Konfiguracja i utrzymanie mechanizmów bezpieczeństwa: TLS, SASL, ACL, RBAC., Implementacja szyfrowania danych w spoczynku oraz podczas transmisji., Współpraca z zespołami Security przy projektowaniu bezpiecznej architektury., Praca w ramach zespołu Data Platform we współpracy z Data Engineers, DevOps oraz Security., Mentoring mniej doświadczonych członków zespołu., Prowadzenie warsztatów i dzielenie się wiedzą techniczną] Requirements: Kafka, Apache Kafka, Cloud, AWS, VPC, IAM, AWS EC2, Amazon EKS, MSK, AWS S3, KMS, Terraform, Ansible, CI/CD, GitHub Actions, GitLab CI, Jenkins, Python, Bash, Prometheus, Grafana, Elastic Stack, TLS, ACL, RBAC, Scrum, Kanban, Jira, Confluence