Data engineer AI/ML

Data engineer AI/ML

Miejsce pracy: Wrocław

Technologie, których używamy

Wymagane

• Python
• PySpark
• SQL
• Databricks
• Apache Airflow
• Azure DevOps
• Azure Pipelines
• Git

O projekcie

Dołącz do naszego zespołu budującego nowoczesną platformę danych! Poszukujemy doświadczonego AI/ML Data Engineera, który wesprze nas w projektowaniu, wdrażaniu i utrzymaniu skalowalnych rozwiązań backendowych dla obszaru danych finansowych i ryzyka (Finance & Risk Data Domain). Będziesz pracować w środowisku chmurowym, blisko współpracując z zespołami inżynieryjnymi, analitycznymi oraz biznesem, aby dostarczać niezawodne i wydajne potoki danych (data pipelines).

Twój zakres obowiązków

• Projektowanie, budowanie i utrzymanie potoków danych przy użyciu Python, PySpark oraz SQL.
• Rozwój i operacjonalizacja rozwiązań w obszarze Databricks Lakehouse.
• Tworzenie oraz zarządzanie procesami (workflows) za pomocą Apache Airflow.
• Wdrażanie i rozwój procesów CI/CD z wykorzystaniem Azure DevOps oraz Azure Pipelines.
• Praca z systemem Git (w oparciu o Pull Requests oraz przepływy Feature-Branch).
• Automatyzacja i monitorowanie zadań przetwarzania danych (np. Databricks Lakeflow Jobs).
• Pakietowanie, wdrażanie i zarządzanie kodem przy użyciu Databricks Asset Bundles.
• Dbanie o najwyższą jakość danych poprzez testowanie i automatyzację (pytest, pre-commit hooks).
• Praca w skonteneryzowanych środowiskach deweloperskich (Devcontainers, rozszerzenia VS Code).

Nasze wymagania

• Minimum 8-letnie doświadczenie w inżynierii danych lub na pokrewnym stanowisku.
• Biegła znajomość języka Python (w tym PySpark, pytest, pre-commit, menedżer pakietów uv).
• Praktyczne doświadczenie z platformą Databricks (Lakehouse, Lakeflow Jobs, Databricks Asset Bundles).
• Bardzo dobra znajomość SQL oraz Apache Airflow.
• Doświadczenie z chmurą Azure oraz narzędziami Azure DevOps / Azure Pipelines.
• Znajomość systemu Git (workflows: feature branch do main branch, code review).
• Doświadczenie w pracy zgodnie z nowoczesnymi praktykami Data Engineeringu oraz DevOps.

Mile widziane

• Doświadczenie w pracy dla instytucji finansowych (znajomość domeny Finance & Risk).
• Praktyczna znajomość metodyk zwinnych (Scrum, Kanban).
• Doświadczenie z platformami danych o dużej skali (large-scale data platforms).
• Znajomość architektur cloud-native.
• Doświadczenie w zespołach z silną kulturą DevOps.
• Wiedza z zakresu monitoringu i wsparcia operacyjnego dla pipeline'ów danych.

Podział czasu pracy

• 20% Praca z biura
• 80% Praca zdalna

Tak organizujemy naszą pracę

Tak pracujemy

• u klienta
• scrum
• kanban

To oferujemy

• Stabilną współpracę w oparciu o kontrakt B2B.
• Elastyczny model pracy hybrydowej (ok. 20% czasu z nowoczesnych biur w Warszawie, Poznaniu lub Wrocławiu).
• Prace przy zaawansowanym tech stacku (Databricks Lakehouse, Airflow, Azure).
• Realny wpływ na architekturę i rozwój platformy danych w dużej skali.
• Pracę w doświadczonym, zgranym zespole inżynierów.

Benefity

• dofinansowanie zajęć sportowych
• prywatna opieka medyczna
• ubezpieczenie na życie
• możliwość pracy zdalnej
• spotkania integracyjne

Etapy rekrutacji

• Screening - 15 minut
• Rozmowa u klienta - 60 minut
• Decyzja

BCF Software Sp. z o.o.

Bright coders' factory - our name speaks for ourselves, as our software sits in the hearts of global companies. We provide customers with the most modern technologies.

We are a software development company with over 200 developers of various seniority. Our potential continues to grow, which proves the Forbes Diamond and Great Place to Work awards won in 2023.

We write code to make people's lives easier. In BCF, you will find your place and see that your work matters. Our portfolio includes projects in more than 15 industries - you will find something interesting. :)

Depending on the stage of your career, we will choose the right project that allows you to fulfill yourself professionally. The rest belongs to you.

Klikając w przycisk „Aplikuj” lub w inny sposób wysyłając zgłoszenie rekrutacyjne, zgadzasz się na przetwarzanie Twoich danych osobowych przez BCF Software Sp. z o.o. z siedzibą w: Technologiczna 2, 45-837 Opole (Pracodawca), jako administratora danych osobowych w celu przeprowadzenia rekrutacji na stanowisko wskazane w ogłoszeniu.
Twoje dane osobowe będą przetwarzane w oparciu o następujące podstawy prawne: (a) aby podjąć działania na Twoje żądanie przed zawarciem umowy (np. informacje o oczekiwanym wynagrodzeniu i dostępności do rozpoczęcia pracy); (b) w oparciu o nasz prawnie uzasadniony interes (np. imię, nazwisko, data urodzenia, dane kontaktowe, wykształcenie, kwalifikacje zawodowe, przebieg dotychczasowego zatrudnienia); c) w oparciu o Twoją zgodę, która wyrażona jest poprzez przeslanie dokumentów aplikacyjnych zawierających takie informacje jak np. wizerunek czy zainteresowania. Podanie wszystkich danych osobowych, o których mowa powyżej jest dobrowolne, natomiast dane wymienione w lit. a) i b) są niezbędne do wzięcia udziału w rekrutacji. Niepodanie danych skutkuje brakiem możliwości rozpatrzenia kandydatury. Podanie pozostałych danych jest dobrowolne, ale może pomóc w sprawnym przeprowadzeniu procesu rekrutacji. Masz prawo żądać dostępu do Twoich danych (w tym uzyskania ich kopii), sprostowania danych, ich usunięcia, ograniczenia przetwarzania, przeniesienia, jak również wniesienia sprzeciwu wobec ich przetwarzania. Masz także prawo wniesienia skargi do Prezesa Urzędu Ochrony Danych Osobowych. Twoje dane osobowe mogą zostać przekazane dostawcom usługi publikacji ogłoszeń o pracę, dostawcom systemów do zarządzania rekrutacjami, dostawcom usług IT (hosting), dostawcom systemów informatycznych. Podane przez Ciebie dane osobowe nie będą wykorzystywane w celu profilowania albo podejmowania decyzji w sposób zautomatyzowany. Twoje dane osobowe będą przetwarzane przez okres maks. 1 roku od zakończenia publikacji ogłoszenia, chyba, że wyraziłeś odrębną zgodę na wykorzystanie Twoich danych osobowych w przyszłych rekrutacjach. W celu realizacji praw lub w przypadku jakichkolwiek pytań związanych z przetwarzaniem Twoich danych osobowych skontaktuj się z nami pod adresem: Wyświetl e-mail na pracuj.pl.