Senior Data Engineer / ETL, Apache NiFi / PostgreSQL (k/m)

Senior Data Engineer / ETL, Apache NiFi / PostgreSQL (k/m)

Miejsce pracy: Warszawa

Technologie, których używamy

Wymagane

• Apache
• PostgreSQL
• ETL
• SQL
• Data modeling
• REST API
• Python

System operacyjny

• Linux

O projekcie

Szukamy Senior Data Engineera do zespołu Ideamotive. Będziesz pracować przy projektach dla klientów z sektorów regulowanych, w tym z branży energetycznej. Rola polega na samodzielnym prowadzeniu rozwiązań od analizy wymagań po wdrożenie działającego produktu. Czeka na Ciebie rozwój istniejącej platformy produkcyjnej oraz budowa nowych systemów od zera.

Twój zakres obowiązków

• Projektowanie i tworzenie baz danych, ze szczególnym uwzględnieniem PostgreSQL.
• Budowa i rozwój przepływów danych w Apache NiFi.
• Projektowanie REST API nad bazą we współpracy z zespołem frontendowym.
• Optymalizacja baz danych i strojenie zapytań SQL przy dużych wolumenach danych.
• Praca nad wymaganiami dotyczącymi API, infrastruktury i baz danych dla nowych rozwiązań.

Nasze wymagania

• Minimum 6 lat doświadczenia w pracy przy bazach danych.
• Minimum 5 lat doświadczenia w procesach ETL.
• Ekspercka znajomość Apache NiFi w zakresie projektowania i implementacji przepływów.
• Ekspercka znajomość relacyjnych baz danych (preferowany PostgreSQL) oraz zaawansowane modelowanie danych.
• Doświadczenie w strojeniu wydajnościowym zapytań SQL.
• Umiejętność projektowania REST API (wystarczy konfiguracja nad bazą, bez konieczności programowania w Java czy .NET).
• Znajomość podstaw Pythona do pisania skryptów oraz środowiska Linux i powłoki Bash.
• Pełna samodzielność w działaniu i prowadzeniu projektów.
• Język angielski na poziomie minimum B2.

Mile widziane

• Doświadczenie z Azure Data API Builder lub Azure API Management.
• Znajomość protokołu Amazon S3.
• Znajomość specyfiki branży elektroenergetycznej.
• Wiedza z zakresu księgowości, rachunkowości zarządczej lub controllingu.

Benefity

• możliwość pracy zdalnej
• elastyczny czas pracy
• spotkania integracyjne

• Jeśli po przeczytaniu tego ogłoszenia masz poczucie, że to rola, w której możesz realnie coś zbudować — bardzo możliwe, że właśnie Ciebie szukamy.

Ideamotive

Czym jest Ideamotive?

Agile’owa firma świadcząca usługi w zakresie tech team extension IT dla klienta korporacyjnego (głównie w Polsce).

Nasza firma została uznana przez Forbes 3 lata z rzędu jako jedna z najprężniej rozwijających się organizacji IT w Polsce oraz znalazła się na liście Financial Times 1000.

Team delivery składa się z 60 osób, core biznesowy z 12 osób i mamy chrapkę na wzrosty, więc podejście “can do” i nastawienie na działanie są tutaj niezbędne.

Mamy bardzo zgrany, zaangażowany zespół, lubimy to, co robimy.

Poczytaj o naszych wartościach:

Jeżeli taka atmosfera jest zgodna z Twoimi oczekiwaniami, zaaplikuj! Zobaczmy jaką historię możemy razem napisać.

OBOWIĄZEK INFORMACYJNY IDEAMOTIVE SP. Z O.O. (dla kandydatów na współpracowników, tj. osób ubiegających się o nawiązanie współpracy ze Spółką na podstawie umowy cywilnoprawnej np. umowy zlecenia, b2b) Ten dokument zawiera m.in. informacje dotyczące celów przetwarzania Pani/Pana danych osobowych przez Ideamotive Sp. z o.o. (dalej: „Administrator”), okresie ich przetwarzania przez Administratora, przysługujących Pani/Panu prawach, możliwych odbiorcach Pani/Pana danych osobowych, danych kontaktowych w sprawach dotyczących przetwarzania Pani/Pana danych przez Administratora. Poniższa informacja przedstawiana jest w związku z obowiązkami wynikającymi z Rozporządzenia Parlamentu Europejskiego i Rady (UE) 2016/679 z dnia 27 kwietnia 2016 r. w sprawie ochrony osób fizycznych w związku z przetwarzaniem danych osobowych i w sprawie swobodnego przepływu takich danych oraz uchylenia dyrektywy 95/46/WE (dalej: „RODO”). 1. Administratorem Pani/Pana danych osobowych jest Ideamotive Sp. z o.o. z siedzibą w Warszawie (kod pocztowy 00-819), przy ul. Złotej 61/101, wpisana do Rejestru Przedsiębiorców przez Sąd Rejonowy dla M. St. Warszawy w Warszawie, Wydział XII Gospodarczy Krajowego Rejestru Sądowego pod numerem KRS 0000529079, posiadającą NIP 5272722655, REGON Wyświetl numer telefonu na pracuj.pl. 2. Kontakt z Administratorem jest możliwy: 1) listownie, pod adresem korespondencyjnym: ul. Złota 61/101, 00-819 Warszawa; 2) za pośrednictwem poczty elektronicznej pod adresem e-mail: Wyświetl e-mail na pracuj.pl 3. Pani/Pana dane osobowe w zależności od danych osobowych zebranych w toku procesu rekrutacyjnego, jak również wyrażonych zgód są przetwarzane w następujących celach: Cel przetwarzania danych osobowych Podstawa prawna przetwarzania danych osobowych Okres retencji danych osobowych dotyczący danego celu przetwarzania 1 Przeprowadzenie procesu rekrutacyjnego. art. 6 ust. 1 lit. b RODO Dane osobowe będą przetwarzane do czasu zakończenia procesu rekrutacji, w zw. z którym została złożona aplikacja/CV*. *chyba, że zostanie wyrażona zgoda na przetwarzanie danych osobowych na potrzeby przyszłych rekrutacji, o której mowa poniżej. Przetwarzanie danych osobowych, o których mowa w art. 9 ust. 1 RODO (tzw. szczególnych kategorii danych), w przypadku zamieszczenia przez Panią/Pana takich danych w aplikacji/CV. Art. 9 ust. 2 lit. a RODO W tym przypadku dane osobowe mogą być przetwarzane do momentu wycofania wyrażonej zgody, a jeżeli zgoda nie została wycofana do czasu zakończenia procesu rekrutacyjnego – dane będą przetwarzane do czasu zakończenia procesu rekrutacji, w zw. z którym została złożona aplikacja/CV lub w przypadku wyrażenia zgody na przetwarzanie takich danych na potrzeby przyszłych rekrutacji – przez okres trzech lat od dnia wyrażenia ww. zgody. Wyrażona zgoda może zostać wycofana w dowolnym momencie. Wycofanie zgody nie wpływa na zgodność 1 Okres przetwarzania danych osobowych ustalany jest indywidualnie dla każdego celu przetwarzania danych osobowych. z prawem przetwarzania danych do czasu wycofania zgody. Przetwarzanie danych osobowych na potrzeby przyszłych rekrutacji, w przypadku wyrażenia przez Panią/Pana stosownej zgody. art. 6 ust. 1 lit a RODO W tym przypadku dane osobowe mogą być przetwarzane do momentu wycofania wyrażonej zgody, a jeżeli zgoda nie została wycofana – przez okres trzech lat od dnia wyrażenia zgody. Wyrażona zgoda może zostać wycofana w dowolnym momencie. Wycofanie zgody nie wpływa na zgodność z prawem przetwarzania danych do czasu wycofania zgody. Realizacja następujących prawnie uzasadnionych interesów administratora: 1) zapewnienia bezpieczeństwa Administratora, jego mienia oraz mienia innych osób znajdującego się na terenie, w budynkach lub pomieszczeniach używanych przez Administratora, a także bezpieczeństwa tych osób - jeżeli będzie Pani/Pan wchodzić na teren, do budynku lub pomieszczeń objętych przez Administratora monitoringiem wizyjnym. art. 6 ust. 1 lit f RODO W przypadku monitoringu wizyjnego dane osobowe są przetwarzane przez okres 3 miesięcy od dnia nagrania. 4. Pani/Pana dane osobowe mogą być pozyskiwane bezpośrednio od Pani/Pana w toku rekrutacji lub od agencji rekrutacyjnej/portalu rekrutacyjnego, jeżeli złożyła/założył Pani/Pan aplikację/CV za ich pośrednictwem. 5. Administrator może przetwarzać następujące kategorie Pani/Pana danych osobowych: 1) dane identyfikacyjne np. imię, nazwisko, adres zamieszkania; 2) dane kontaktowe, np. adres do korespondencji, numer telefonu, adres e-mail; 3) dane dotyczące historii zatrudnienia; 4) dane dotyczące wykształcenia, szkoleń oraz posiadanych kwalifikacji; 5) dane z monitoringu wizyjnego; 6) dane dodatkowe podane w aplikacji/CV (np. hobby, zainteresowania). 6. Dostęp do Pani/Pana danych osobowych mogą mieć upoważnieni pracownicy i współpracownicy Administratora; podmioty, z którymi Administrator zawarł umowę powierzenie przetwarzania danych osobowych lub którym udostępnienie Pani/Pana danych osobowych jest zgodne z obowiązującymi przepisami prawa. Mając na uwadze powyższe, odbiorcami Pani/Pana danych osobowych mogą być następujące podmioty lub kategorie podmiotów: 1) instytucje lub organy uprawnione do żądania dostępu lub otrzymania danych osobowych na podstawie przepisów prawa np. Prezes Urzędu Ochrony Danych Osobowych, Policja; 2) podmioty świadczące usługi na rzecz Administratora (kancelarie prawne, audytorzy, podmioty obsługujące systemy informatyczne Administratora lub świadczące inne usługi informatyczne, podmioty świadczące usługi ochrony obiektów wykorzystywanych przez Administratora); 3) kontrahenci Administratora, w przypadku w którym rekrutacja jest prowadzona w związku z projektem realizowanym na rzecz kontrahenta Administratora lub w ramach innej współpracy z takim kontrahentem; 4) poczta polska, firmy kurierskie. 7. W przypadku, w którym w związku z przetwarzaniem Pani/Pana danych osobowych konieczne będzie przekazanie Pani/Pana danych osobowych poza Europejski Obszar Gospodarczy (EOG), do krajów nienależących do EOG, których poziom ochrony danych nie został uznany przez Komisję Europejską za odpowiedni, Administrator przekaże Pani/Pana dane osobowe wyłącznie w zakresie w jakim pozwalają na to przepisy prawa, np. przy zastosowaniu odpowiedniego zabezpieczenia w postaci standardowych klauzul ochrony danych przyjętych przez Komisję Europejską lub w przypadkach spełnienia warunków wskazanych w art. 49 ust. 1 RODO. Kopie ewentualnych zabezpieczeń, o których mowa powyżej lub informacje na temat ich dostępności można uzyskać kontaktując się z Administratorem na adresy wskazane pkt. 2 powyżej. 8. Przysługuje Pani/Panu prawo do: 1) dostępu do treści swoich danych osobowych oraz ich kopii; 2) prawo do sprostowania danych (poprawiania) swoich danych; 3) prawo do przenoszenia danych przetwarzanych w sposób zautomatyzowany oraz na podstawie zgody lub na podstawie umowy; 4) prawo do usunięcia danych w sytuacjach określonych w art. 17 RODO, w sytuacji, gdy przetwarzanie danych nie następuje w celu wywiązania się z obowiązku wynikającego z przepisu prawa; 5) prawo do ograniczenia przetwarzania danych; 6) prawo do wniesienia sprzeciwu wobec przetwarzania danych (w przypadku przetwarzania danych osobowych na podstawie art. 6 ust. 1 lit. f RODO); 7) prawo do wycofania wyrażonej zgody na przetwarzanie danych osobowych, jeżeli podstawą przetwarzania danych osobowych jest zgoda. Wyrażoną zgodę może Pani/Pan wycofać w dowolnym momencie kontaktując się z Administratorem na adresy wskazane w pkt. 2 powyżej. Wycofanie zgody nie wpływa na zgodność z prawem przetwarzania danych do czasu wycofania zgody. 9. Przysługuje Pani/Panu prawo wniesienia skargi do organu nadzorczego – Prezesa Urzędu Ochrony Danych Osobowych. 10.Podanie przez Panią/Pana danych osobowych jest dobrowolne, przy czym konieczne dla wzięcia udziału w prowadzonym procesie rekrutacji. 11.Pani/Pana dane osobowe nie będą przetwarzane w sposób zautomatyzowany, który mógłby skutkować zautomatyzowanym podejmowaniem decyzji, w tym decyzji opartych na profilowaniu.