Spark / Data Lakehouse Developer (k/m/x)

Poszukujemy osoby z doświadczeniem w obszarze Apache Spark i Data Lakehouse, która dołączy do zespołu rozwijającego nowoczesną platformę danych. Rola obejmuje projektowanie i rozwój procesów przetwarzania oraz jakości danych, budowę warstw Data Lakehouse, integrację z MongoDB, optymalizację wydajności oraz monitoring rozwiązań działających w środowisku produkcyjnym. Zakres obowiązków Projektowanie i implementacja procesów przetwarzania oraz rekoncyliacji danych w Apache Spark Tworzenie rozwiązań w PySpark i Spark SQL oraz reguł jakości danych Integracja procesów Spark z MongoDB Budowa i rozwój warstw Data Lakehouse w oparciu o Apache Iceberg Optymalizacja wydajności procesów i zapytań Spark Rozwój mechanizmów CI/CD oraz automatyzacja wdrożeń Monitoring procesów przetwarzania danych i diagnozowanie problemów produkcyjnych Współpraca z zespołami technicznymi oraz udział w code review Wymagania Minimum 4 lata praktycznego doświadczenia z Apache Spark w środowiskach produkcyjnych Bardzo dobra znajomość PySpark, Spark SQL, DataFrames, Structured Streaming Doświadczenie z MongoDB i MongoDB Spark Connector Praktyczna znajomość Apache Iceberg, w tym tabel wersjonowanych oraz operacji upsert/merge Znajomość Python Doświadczenie z Jenkins Znajomość Prometheus i Grafana Doświadczenie w pracy w Scrum lub Kanban oraz z Jira/Confluence