Data Engineer
Stawka 760 -960 netto + VAT / dzień przy B2B
Gdynia (częściowo zdalnie)
O projekcie:
Jako Data Engineer będziesz opracowywać, utrzymywać, testować i oceniać rozwiązania Big Data w ramach bankowej platformy najnowszej generacji. Osoba na tym stanowisku jest również zaangażowana w projektowanie rozwiązań Big Data i dopasowanie ich możliwości do priorytetowych wyzwań biznesowych. Będziesz również tworzyć i utrzymywać aplikację przy użyciu najnowocześniejszej technologii.
Wymagania:
- Solidne doświadczenie (min. 3 lata) z technologiami Hadoop, Spark, Oziee
- Doświadczenie z takimi technologiami jak: Puppet / Chef, Hadoop YARN, Ambari, MR, Sqoop, Flume, Atlassian Suite Bamboo, JIRA, Fisheye, Sonar, Git/Stash
- Znajomość jednego z języków Scala (preferowana), Java, Python
- Doświadczenie we wdrażaniu zabezpieczeń danych, tj. szyfrowania, anonimizacji będzie dużym plusem
Wyzwania:
- Tworzenie pipeline Big Data, który przetwarza ogromne ilości danych (zarówno ustrukturyzowanych, jak i nieustrukturyzowanych) w czasie zbliżonym do rzeczywistego
- Wykorzystywanie technologii Spark do wzbogacenia i przekształcenia danych korporacyjnych, aby umożliwić wyszukiwanie, wizualizację danych i zaawansowane analizy
- Ścisła współpraca z analitykami i interesariuszami biznesowymi w celu opracowania modeli analitycznych
- Continuous delivery na platformach Big Data, Hadoop
- Automatyzacja procesów tam, gdzie to możliwe
- Ścisła współpraca z zespołem QA, testerami