Data Engineer Spark (Офис/Банк)

Аналитика рынка

Стек

Бесплатно. Вход по почте.

Откликнуться

Загрузите резюме — мы свяжем вас с работодателем напрямую через нашу базу.

Описание

ОДИН ИЗ ЛУЧШИХ РАБОТОДАТЕЛЕЙ РОССИИ Мы – Neoflex. Аккредитованная IT компания. За 20 лет работы мы создали 12+ готовых решений для бизнеса, так же занимаемся заказной разработкой программного обеспечения. Приветствуем на странице нашей компании и благодарим за интерес к вакансии. Будем рады оказаться полезны друг другу. Сейчас мы расширяем команду, занимающуюся проектом по миграции данных из 87 источников на единую платформу. Команда входит в Центр компетенций BDS - одно из сильнейших подразделений нашей Компании, экспертов в области работы с большими данными, построения DWH и использующих в работе современный стек BigData: Greenplum, Hadoop, NiFi, Hive, Spark/Scala, PostgreSQL, Informatica , Kafka, Apache Airflow, Apache Griffin. ПРОЕКТ: Суть проектов связана с построением хранилищ, которые построены на различных базах данных Hadoop, GreenPlum, Posgre SQL . Работаем с витринами и занимаемся разработкой ETL процессов. СТЕК: Spark, Hadoop, Hive, Hue, Jupyter. Работа из офиса 5/2 Москва ул. Поклонная Что нужно делать: заниматься определением источников, выявлением проблем с качеством данных в источниках; разработкой схем данных конечных витрин в Hive по утвержденному проекту; маппингами атрибутов источников на приёмник; разработкой ETL-процессов с помощью внутреннего фреймворка; реконсиляцией данных, написанием базовых тестов на качество данных. Что мы хотели бы видеть: уверенный уровень sql (в пределах стандарта, без привязки к СУБД); представления о java / python ; Желательно

Полное описание, компания и ссылка на вакансию — после входа. Войти

Контакты работодателя (email/phone/telegram) скрыты из публичного превью — отправьте резюме, чтобы мы связали вас напрямую.