Senior Big Data

Kim jesteśmy? Lumicode Sp. z o.o. należy do Grupy Pentacomp, która jest producentem rozwiązań informatycznych i dostawcą profesjonalnych usług IT dla dużych przedsiębiorstw i sektora publicznego. Jako Pentacomp tworzymy rozwiązania IT łączące innowacyjność z latami doświadczeń - a ich mamy całkiem sporo. Istniejemy na rynku prawie 30 lat i możemy pochwalić się wieloma zrealizowanymi projektami. Oferujemy: Stawka do 130 pln/h netto na B2B + VAT Współpraca zdalna Możliwość skorzystania z prywatnej opieki medycznej i karty sportowej Wymagania Minimum 5 lat praktycznego doświadczenia w programowaniu w językach Scala, Python lub Java. Komercyjne doświadczenie w realizacji projektów związanych z systemami rozproszonymi. Minimum 3 lata doświadczenia w pracy z rozwiązaniami klasy Big Data, w szczególności Apache Spark oraz Apache Iceberg. Doświadczenie komercyjne w zakresie optymalizacji przetwarzania dużych zbiorów danych. Doświadczenie w projektach związanych z integracją systemów realizowaną na dużą skalę. Doświadczenie w pracy z relacyjnymi bazami danych (RDBMS) oraz bardzo dobra znajomość SQL. Praktyczna znajomość środowiska Linux oraz języków skryptowych. Doświadczenie w zakresie konteneryzacji, w tym modyfikacji Dockerfile, oraz znajomość podstaw Kubernetes. Zakres zadań Tworzenie i optymalizacja rozwiązań bazujących na języku Python. Praca w środowisku Kubernetes, w tym z wykorzystaniem Spark Operator, Jupyter oraz Airflow. Tworzenie rozwiązań Big Data z wykorzystaniem Apache Spark / PySpark. Techniczne wsparcie testów w obszarze testów jednostkowych, integracyjnych oraz UAT. Dokumentowanie kodu oraz przepływu danych.