Data Engineer with Cloud (m/f/d)

• Mocne umiejętności software engineering oraz rozwiązywania problemów.
• Zaawansowana znajomość SQL i doświadczenie w pisaniu złożonych zapytań.
• Zaawansowane umiejętności programowania w Pythonie.
• Zrozumienie przetwarzania rozproszonego i workflowów danych na dużą skalę.
• Praktyczne doświadczenie z technologiami chmurowymi i nowoczesnymi platformami danych.
• Doświadczenie z narzędziami orkiestracji workflowów, takimi jak Airflow, Argo Workflows lub podobnymi frameworkami pipeline’ów.
• Zrozumienie zagadnień infrastrukturalnych, w tym systemów storage, mikroserwisów i architektury pipeline’ów.
• Doświadczenie w pracy z notebookami i workflowami analizy danych.
• Znajomość troubleshootingu i wsparcia operacyjnego produkcyjnych pipeline’ów danych.
• Zrozumienie zasad wyszukiwania i eksploracji danych (data search & data discovery)

Projekt koncentruje się na wsparciu danych symulacyjnych dla rozwoju pojazdów autonomicznych (AV), szczególnie w obszarach takich jak wykrywanie przeszkód, planowanie trasy oraz złożone sytuacje drogowe. ,[Wsparcie i utrzymanie infrastruktury pipeline’ów danych FST factory oraz pomoc w analizie incydentów i wsparciu operacyjnym., Analiza dużych zbiorów danych przy użyciu SQL, Python, Spark i notebooków w celu badania problemów pipeline’ów i walidacji przepływów danych., Praca z chmurowymi platformami danych oraz środowiskami przetwarzania rozproszonego w celu zapewnienia niezawodności i skalowalności workflowów danych., Monitorowanie, diagnozowanie i optymalizacja pipeline’ów orkiestracji (np. Airflow, Argo Workflows lub podobne technologie)., Współpraca z zespołami backendowymi i infrastrukturalnymi przy mikroserwisach, systemach storage oraz usługach przetwarzania danych., Wsparcie procesów wyszukiwania i eksploracji danych w zbiorach strukturalnych i półstrukturalnych., Tworzenie i utrzymanie skryptów oraz narzędzi do przetwarzania danych, debugowania i automatyzacji operacyjnej., Analiza niespójności danych, błędów pipeline’ów oraz problemów wydajnościowych na platformie., Udział w poprawie obserwowalności (observability), monitoringu oraz stabilności operacyjnej workflowów danych., Ścisła współpraca z zespołami cross-funkcyjnymi wspierającymi pipeline’y danych dla analityki, symulacji i ML] Requirements: SQL, Python, Cloud, Spark, PySpark, Databricks, ML, AV, Airflow, Argo Additionally: Sport subscription, Private healthcare.