Big Data Engineer

Dołączysz do 12-osobowego zespołu pracującego w metodyce Scrum, odpowiedzialnego za rozwój platform Big Data oraz rozwiązań do przetwarzania danych na dużą skalę. Zespół realizuje zarówno projekty biznesowe, jak i inicjatywy R&D, rozwijając rozwiązania z zakresu streamingu danych oraz wspierając wdrożenia Machine Learning i AI we współpracy z zespołami Data Science. Na co dzień będziesz uczestniczyć w projektowaniu i budowie nowoczesnych rozwiązań opartych o technologie Big Data oraz wspierać rozwój architektury danych. Przed zespołem również kolejne wyzwania związane z migracją rozwiązań do środowisk chmurowych. Praca odbywa się w modelu hybrydowym – Warszawa (2 dni w miesiącu w biurze). Big Data Engineer Twój zakres obowiązków Projektowanie i rozwój rozwiązań Big Data z wykorzystaniem Apache Spark. Implementacja oraz rozwój procesów przetwarzania danych wsadowych i strumieniowych. Tworzenie oraz rozwój integracji pomiędzy wieloma źródłami danych. Współtworzenie architektury rozwiązań przetwarzania danych. Współpraca z zespołami Data Science oraz innymi zespołami projektowymi. Dbanie o jakość, wydajność i skalowalność przetwarzania danych. Udział w projektach związanych z rozwojem środowisk chmurowych. Nasze wymagania Minimum 3 lata doświadczenia w programowaniu z wykorzystaniem Apache Spark (Python lub Scala). Praktyczna znajomość Python lub Scala. Doświadczenie w pracy z dużymi wolumenami danych. Bardzo dobra znajomość SQL. Znajomość platform Hadoop (Cloudera lub Hortonworks). Doświadczenie w integracji danych z wielu źródeł. Praktyczna znajomość formatów danych takich jak JSON, Parquet, ORC oraz AVRO. Znajomość technologii wykorzystywanych w środowiskach Big Data (Hive, Kudu, HBase, Iceberg lub podobnych). Znajomość dobrych praktyk projektowania, testowania oraz wdrażania rozwiązań Big Data. Doświadczenie z Maven lub innymi narzędziami do budowy aplikacji. Umiejętność pracy zespołowej oraz komunikacji w środowisku Agile. Praktyczne doświadczenie z Apache Kafka (tworzenie producentów i konsumentów, praca z dużymi wolumenami danych, znajomość zagadnień takich jak offset czy lag). Znajomość Apache NiFi. Doświadczenie z Kubeflow. Wiedza z zakresu CI/CD. Doświadczenie w projektowaniu architektury rozwiązań Big Data. Znajomość Jira oraz Confluence. Doświadczenie z platformami chmurowymi GCP lub Azure. Aplikuj