Big Data Engineer

Market insights

Stack

Apply

Upload your CV — we will connect you with the employer directly through our pool.

Description

ITELENCE to szybko rozwijająca się firma wspierająca swoich międzynarodowych klientów w ich biznesowej i cyfrowej transformacji. Rozumiemy, że ludzie są naszym największym kapitałem, a kultura wzajemnego wsparcia, motywacji i rozwoju jest kluczem do wspólnego sukcesu. Naszą ambicją jest zbudowanie firmy, która inspiruje i wspiera naszych pracowników. Dla jednego z naszych klientów poszukujemy osoby na stanowisko: Big Data Engineer . Forma współpracy: B2B / UZ Tryb pracy: zdalny Czas trwania projektu: Start - listopad , 3 miesiące z możliwością przedłużenia Zakres obowiązków: Projektowanie, budowa i utrzymanie skalowalnych pipeline’ów ETL/ELT przetwarzających duże wolumeny danych w środowisku chmurowym Azure. Optymalizacja zadań Apache Spark z wykorzystaniem DataFrame API i Spark SQL pod kątem wydajności, skalowalności i niezawodności. Przygotowywanie i przetwarzanie danych na potrzeby analityki biznesowej oraz projektów Machine Learning. Wdrażanie dobrych praktyk w zakresie architektury data lake, w tym wykorzystania formatów Parquet i Delta Lake oraz odpowiedniego partycjonowania danych. Implementacja mechanizmów kontroli jakości danych oraz monitorowanie poprawności i niezawodności procesów przetwarzania. Zarządzanie kodem źródłowym z wykorzystaniem Git oraz wspieranie procesów CI/CD, testowania i przyrostowych wdrożeń. Analiza i rozwiązywanie problemów związanych z przetwarzaniem dużych zbiorów danych oraz optymalizacja istniejących rozwiązań. Współpraca z zespołami techni

Employer contacts (email/phone/telegram) are hidden from the public preview — send your CV, and we will connect you directly.