Data Engineer (Python, Apache Spark, Hadoop) (m/n/k)

Аналитика рынка

Стек

Бесплатно. Вход по почте.

Откликнуться

Загрузите резюме — мы свяжем вас с работодателем напрямую через нашу базу.

Описание

Обязанности: Rozwój procesów przetwarzania danych w chmurze (GCP) i środowisku Big Data., Projektowanie i optymalizacja zadań Spark / PySpark uruchamianych na klastrach GCP Dataproc oraz w ekosystemie Hadoop., Budowa frameworków walidacyjnych w PySpark/Python do weryfikacji schematów, transformacji i reguł biznesowych przed wejściem na produkcję., Wdrażanie zautomatyzowanych testów oraz reguł walidacyjnych (Data Quality) w Python /PySpark., Zasilanie i transfer danych ze źródeł do chmurowej hurtowni (BigQuery)., Automatyzacja wdrożeń i harmonogramowanie zadań z wykorzystaniem Airflow oraz Jenkins. Опыт: Min. 4 lata doświadczenia w inżynierii danych w środowiskach rozproszonych., Zaawansowany Python z naciskiem na OOP (wzorce projektowe, pisanie czystego, modularnego kodu)., Doświadczenie z PySpark & Apache Spark (Praktyka w optymalizacji jobów, partitioningu i monitorowaniu klastrów)., Doświadczenie z ekosystemem Hadoop oraz pracą na dużych wolumenach danych., Praktyczna znajomość Dataproc, BigQuery oraz Cloud Storage., Umiejętność budowania testów automatycznych na styku Spark/Python, praca z Airflow oraz CI/CD (Jenkins)., Dobry angielski (min. B2 do codziennej komunikacji w projekcie)., Doświadczenie w domenie bankowej lub finansowej.

Компания и ссылка на вакансию — после входа. Войти

Контакты работодателя (email/phone/telegram) скрыты из публичного превью — отправьте резюме, чтобы мы связали вас напрямую.