МЧС России

Data Engineer (middle/senior)

Требуемый опыт работы: от 3 лет
Заработная плата: Не указано
Москва, м. Славянский бульвар
Data Engineer (middle/senior)

Ежегодно МЧС спасает десятки тысяч жизней людей попавших в беду. Во многом это помогают делать цифровые технологии.

Наша цифровая команда создает технологии помогающие людям - сквозные цифровые процессы, гигабайты данных поступающих в реальном времени анализируемых ML/AI моделями, витрины больших данных на основе которых принимаются важнейшие решения по спасению населения. Все это в упаковке современных подходов и технологий анализа больших данных и DataSciense.

Обязанности:

  • Взаимодействие с владельцами данных для выяснении параметров подключения и особенностей работы с источником данных;
  • Построение пайплайна сбора, очистки, трансформации и загрузки данных в Озеро данных МЧС;
  • Описание пайплайна и витрины данных в базе знаний;
  • Работа с большими данными и потоковыми данными (в режиме NRT);
  • Скрейпинг/парсинг данных из открытых источников;
  • Организация качества данных и регулярности построения/обновления витрин данных;
  • Аналитика на данных с использованием BI-инструментов;
  • Менторство коллег: ревью кода, внедрение лучших практик, активный шаринг знаний, транслирование развивающей обратной связи.

Требования:

  • Знание основных структур данных, базовых форматов хранения и протоколов обмена;
  • Опыт использования Python/Scala;
  • Опыт работы с реляционными БД, NoSQL и KV-хранилищами;
  • Знание SQL на уровне написания сложных запросов;

Будет плюсом:

  • Опыт работы с ETL-инструментами;
  • Опыт работы со стеком Hadoop;
  • Опыт работы с метеорологическими данными;
  • Опыт работы с данными дистанционного зондирования Земли (космоснимки);

Мы предлагаем:

  • Интересные, социально-значимые задачи;
  • Проекты высокой важности как для МЧС России, так и для страны в целом;
  • Возможность поработать со множеством различных источников данных, форматами хранения и протоколами обмена;
  • Озеро данных МЧС России;
  • Вычислительный кластер Hadoop;

Наш стек инструментов и технологий:

  • Python, Scala
  • GitLab
  • JupyterLab
  • GreenPlum, PostgreSQL
  • Hadoop (HDFS, Spark, Hive)
  • Apache NiFi
  • Apache Kafka
  • Apache Airflow
  • Apache Superset, Grafana
  • ELK
  • Docker, Swarm
Откликнуться

Смотрите также

Институт проблем правоприменения при Европейском университете
Исследователь
Требуемый опыт работы: без опыта
Заработная плата: от 45000
Санкт-Петербург
Требуемый опыт работы: без опыта
Заработная плата: от 25000 до 50000
Москва
Загрузить еще