Senior Data Engineer

Rozwijamy nasz zespół! 🚀DS STREAM rośnie w siłę i poszukuje Senior Data Engineerów.Szukamy osób, które posiadają przynajmniej część poniższych kompetencji:minimum 5 lat komercyjnego doświadczenia w obszarze Data Engineering, ze szczególnym uwzględnieniem budowy i rozwoju wielkoskalowych pipeline'ów danych,praktyczne doświadczenie w pracy z zaawansowanymi rozwiązaniami chmurowymi Microsoft Azure oraz Databricks,znajomość środowiska Google Cloud Platform (GCP) oraz narzędzi takich jak Airflow, Pub/Sub, BigQuery i Vertex AI,doświadczenie w pracy z Spark Structured Streaming,bardzo dobra znajomość Pythona oraz SQL,doświadczenie w budowaniu i utrzymywaniu pipeline'ów z wykorzystaniem GitHub lub podobnych narzędzi.Mile widziane:doświadczenie w tworzeniu integracji API klasy enterprise z wykorzystaniem FastAPI lub podobnych frameworków,doświadczenie w prowadzeniu zespołu, mentoringu lub wspieraniu rozwoju innych inżynierów. [zdalnie] Senior Data Engineer🚀 Rozwijamy nasz zespół AI Data Engineering w DS STREAM!Poszukujemy Senior Data Engineera, który dołączy do naszego zespołu i będzie rozwijał nowoczesne rozwiązania oparte o chmurę oraz platformy Big Data.📍 Praca w 100% zdalna na terenie Polski (z możliwością korzystania z biura w Warszawie).O projekcieDołączysz do projektu rozwijającego dojrzały, wysokodostępny Data Hub zbudowany w oparciu o Azure Databricks. Środowisko wykorzystuje m.in. Unity Catalog, Spark Structured Streaming oraz Asset Bundles, zapewniając wysoką wydajność, bezpieczeństwo i skuteczne zarządzanie danymi.Architektura rozwiązania oparta jest na modelu Medallion Architecture, który stanowi skalowalny fundament do integracji, przetwarzania i udostępniania nowych źródeł danych w istniejącym ekosystemie.Oferujemypracę w 100% zdalną z możliwością korzystania z biura w Warszawie, elastyczne godziny pracy oraz udział w wydarzeniach integracyjnych, dostęp do certyfikacji Azure, Google Cloud Platform (GCP) oraz Databricks, możliwość rozwijania własnych pomysłów w ramach naszego wewnętrznego inkubatora projektów, współpracę z zespołem ponad 50 doświadczonych konsultantów Data, specjalizujących się w Data Warehouse i Big Data, oraz wiele innych benefitów. ,[rozwój oprogramowania do przetwarzania dużych wolumenów danych,, integrację i pobieranie danych z interfejsów API,, projektowanie oraz rozwój pipeline'ów danych w Databricks z wykorzystaniem PySpark i SQL,, tworzenie i utrzymywanie pipeline'ów opartych na Spark Structured Streaming,, projektowanie oraz zarządzanie obiektami w Unity Catalog zgodnie z założeniami Medallion Architecture.] Requirements: Python, Docker, SQL, Databricks, PySpark, CI/CD, GCP, Airflow, BigQuery, API, FastAPI, Azure Databricks, Azure, AWS, Kubernetes Tools: Agile, Scrum. Additionally: Remote work, Competitive compensation, Sport subscription, Training budget, Private healthcare, Flat structure, Small teams, International projects, Free coffee, Bike parking, In-house trainings, In-house hack days, Modern office, Startup atmosphere, No dress code, Free beverages.