Data Engineer
B2Bnetwork
Poszukujemy osoby na stanowisko Data Engineer do projektu realizowanego w międzynarodowym środowisku technologicznym. Osoba na tym stanowisku będzie odpowiedzialna za rozwój i utrzymanie rozwiązań przetwarzania danych w środowisku Big Data, budowę procesów integracyjnych oraz współpracę z zespołami odpowiedzialnymi za rozwój platform danych. Zakres obowiązków Projektowanie, rozwój i utrzymanie rozwiązań Data Engineering. Tworzenie i rozwijanie procesów przetwarzania oraz integracji danych. Budowa i optymalizacja pipeline’ów danych. Implementacja wymagań biznesowych w postaci procesów i transformacji danych. Tworzenie oraz utrzymanie workflowów i procesów automatyzacji. Rozwój oraz utrzymanie procesów CI/CD. Współpraca z zespołami technicznymi i biznesowymi przy analizie wymagań oraz rozwiązywaniu problemów. Wsparcie środowisk produkcyjnych oraz analiza incydentów. Dbanie o jakość, wydajność i niezawodność dostarczanych rozwiązań. Wymagania Minimum kilkuletnie doświadczenie na stanowisku Data Engineer lub pokrewnym. Bardzo dobra znajomość Scala. Doświadczenie w pracy z Apache Hadoop oraz Apache Spark. Praktyczna znajomość Apache Kafka. Doświadczenie w budowaniu i utrzymaniu procesów CI/CD z wykorzystaniem Jenkins. Znajomość SQL oraz zagadnień związanych z przetwarzaniem dużych wolumenów danych. Doświadczenie w pracy z systemami kontroli wersji Git. Umiejętność pracy w środowisku międzynarodowym. Komunikatywna znajomość języka angielskiego. Mile widziane: Doświadczenie z Kubernetes. Znajomość Apache Flink. Doświadczenie w pracy z Airflow lub Oozie.