Умная Логистика
Зарплата не указана
ОткликнутьсяЛокация: не указана
Формат: Удалённая работа, Гибрид, Офис
Занятость: Полная занятость
Грейд: Middle
#middle #удаленка #гибрид #офис
Умная Логистика
Middle Data Engineer
Опыт работы: 1–3 года
Полная занятость
График: 5/2
Формат работы: удалённо или гибрид или офис
☑️ Чем предстоит заниматься
-Развитие DWH и Data Lake: Участие в проектировании и наполнении аналитических слоев данных на базе S3, PostgreSQL и ClickHouse
-Разработка пайплайнов обработки данных: Написание и поддержка ETL/ELT-пайплайнов с использованием Apache Spark (PySpark) и Python
-Оркестрация процессов: Создание, оптимизация и мониторинг регулярных DAG'ов в Apache Airflow
-Подготовка витрин для BI: Проектирование и поставка агрегированных данных под задачи продуктовой и бизнес-аналитики в Apache Superset
-Интеграция источников: Сбор данных из микросервисов, очередей сообщений и внешних API (телематика, скоринг контрагентов, картографические сервисы)
-Контроль качества и оптимизация: Валидация входящих данных, мониторинг выполнения пайплайнов, профилирование и ускорение аналитических запросов в ClickHouse и PostgreSQL
☑️ Наши пожелания к кандидатам
-Коммерческий опыт работы в роли Data Engineer или DWH-разработчика от 1.5 лет
-Уверенное владение SQL: Сложные агрегаты, оконные функции, CTE, оптимизация и чтение планов выполнения (EXPLAIN)
-Опыт работы с Apache Airflow: Уверенная разработка DAG'ов, работа с кастомными и стандартными операторами, понимание принципов идемпотентности и бэкфилов
-Практика работы с СУБД и хранилищами:
-PostgreSQL (реляционное моделирование, индексы, транзакции)
-ClickHouse (семейство движков MergeTree, специфика колоночного хранения)
-S3-совместимые хранилища (организация структуры каталогов, работа с форматами Parquet/ORC)
-Уверенный Python: Написание чистого, структурированного кода для задач обработки данных
-Базовое понимание специфики подготовки данных для BI-инструментов (в частности, для Apache Superset)
-Навыки работы с Git, Docker и Linux-окружением
-Будет плюсом:
-Опыт работы с брокерами сообщений (Apache Kafka / RabbitMQ)
-Опыт работы с dbt (data build tool) или инструментами валидации данных (Great Expectations, Pandera)
-Опыт настройки подключений, дашбордов или семантического слоя в Apache Superset
-Понимание логистического или B2B SaaS-домена
Контакты: ••••••••
🔥 Подписаться на наши каналы / •••••••• / ••••••••