Data Engineer (K/M/N)

Аналитика рынка

Стек

Бесплатно. Вход по почте.

Откликнуться

Загрузите резюме — мы свяжем вас с работодателем напрямую через нашу базу.

Описание

Обязанности: rozwój, utrzymanie i optymalizacja procesów przetwarzania danych w środowisku Google Cloud Platform (GCP), projektowanie architektury przepływów danych, implementacja procesów ETL/ELT, integracja danych z różnych źródeł (on-premise, chmura, API, pliki, strumienie), automatyzacja i orkiestracja procesów przetwarzania, zarządzanie dostępem do danych, wdrażanie mechanizmów bezpieczeństwa i kontroli jakości, integracja środowiska GCP z rozwiązaniami SAP i innymi platformami chmurowymi, dobór wzorców przetwarzania danych z uwzględnieniem wymagań SLA, implementacja logiki transformacji danych z wykorzystaniem SQL, Python i dbt, implementacja mechanizmów CDC (Change Data Capture), projektowanie i utrzymanie przepływów orkiestracyjnych DAG w Cloud Composer / Apache Airflow, zarządzanie harmonogramowaniem, zależnościami, obsługą błędów i mechanizmami wznowień procesów, projektowanie i utrzymanie potoków CI/CD z wykorzystaniem GitLab, automatyzacja testowania, wdrażania i wersjonowania procesów danych, definiowanie zasobów IaC związanych z przetwarzaniem danych (GCS, BigQuery, Cloud Composer, Dataproc), monitorowanie działania procesów przetwarzania danych oraz reagowanie na incydenty, optymalizacja wydajności i kosztów przetwarzania (optymalizacja zapytań, partycjonowanie, klastrowanie w BigQuery), refaktoryzacja i modernizacja istniejących procesów oraz wsparcie migracji danych, implementacja mechanizmów walidacji i kontroli jakości danych, projektowanie i wdrażanie mode

Полное описание, компания и ссылка на вакансию — после входа. Войти

Контакты работодателя (email/phone/telegram) скрыты из публичного превью — отправьте резюме, чтобы мы связали вас напрямую.