ETL Developer — Россия, Москва
180 000–300 000 ₽
ОткликнутьсяКомпания: ••••••••
Локация: Россия, Москва
Формат: Удалённая работа
Занятость: Полная занятость
Грейд: не определён
Ищем ETL-разработчика, который умеет строить, поддерживать и оптимизировать процессы обработки и перемещения данных. Предстоит работать с SQL, Python, ETL/ELT-пайплайнами, оркестрацией процессов и архитектурой DWH, обеспечивая стабильность загрузок, качество данных и производительность решений.
Нам нужен специалист с практическим опытом разработки data-процессов, который умеет самостоятельно разбираться в источниках, находить причины сбоев, оптимизировать обработку больших объёмов данных и развивать существующую инфраструктуру.
Что будет в работе
Разрабатывать, поддерживать и оптимизировать ETL/ELT-процессы для извлечения, преобразования и загрузки данных из различных источников.
Реализовывать пайплайны обработки данных с использованием SQL, Python и Apache Airflow.
Интегрировать данные из реляционных БД, API, файловых источников и систем обмена сообщениями.
Разрабатывать инкрементальные загрузки, механизмы повторного запуска, обработки ошибок и восстановления процессов.
Реализовывать дедупликацию, проверку полноты, целостности и корректности данных.
Работать с архитектурой DWH, Data Lake и различными слоями хранения и обработки данных.
Оптимизировать SQL-запросы, процедуры загрузки, работу с индексами и производительность баз данных.
Разрабатывать и сопровождать DAG в Airflow, настраивать зависимости, расписания, retries, сенсоры и мониторинг выполнения.
Работать с распределённой обработкой данных и большими объёмами информации.
Участвовать в развитии инфраструктуры обработки данных, автоматизации процессов и улучшении качества существующих пайплайнов.
Разбираться в сбоях ETL-процессов, анализировать логи, выявлять причины проблем и реализовывать решения.
Что важно
SQL и базы данных
Уверенное владение SQL: сложные JOIN, CTE, подзапросы, оконные функции, агрегирование.
Опыт оптимизации запросов, анализа планов выполнения и поиска узких мест.
Понимание индексов, партиционирования, блокировок и принципов эффективной работы с БД.
Коммерческий опыт работы с PostgreSQL, Oracle, Greenplum или другими промышленными СУБД.
Опыт работы с PL/SQL или процедурным SQL — в зависимости от используемого стека.
ETL/ELT и обработка данных
Коммерческий опыт разработки и сопровождения ETL/ELT-процессов.
Понимание принципов извлечения, загрузки и трансформации данных из различных источников: БД, API, файлов, очередей.
Опыт разработки процессов загрузки, преобразования и переноса данных.
Понимание инкрементальных загрузок, CDC, обработки изменений и повторного запуска процессов.
Опыт обработки ошибок, дедупликации, контроля полноты и целостности данных.
Понимание особенностей обработки больших объёмов данных и оптимизации пайплайнов.
Python
Уверенное владение Python для разработки ETL-процессов и автоматизации обработки данных.
Опыт работы с библиотеками обработки данных.
Написание скриптов для загрузки, трансформации, проверки и автоматизации работы с данными.
Работа с API, файлами, логированием, обработкой исключений и ошибками выполнения.
Понимание принципов написания поддерживаемого и переиспользуемого кода.
Оркестрация и архитектура DWH
Практический опыт работы с Apache Airflow.
Разработка DAG, настройка зависимостей, расписаний, retries, сенсоров и мониторинга пайплайнов.
Понимание архитектуры Data Warehouse и Data Lake, принципов построения слоёв данных (ODS, DDS, Data Mart и аналогичных).
Понимание различий OLTP и OLAP, принципов моделирования и организации хранения данных.
Знакомство с Apache Spark, Hadoop, Hive или Impala и принципами распределённой обработки данных.
Инструменты и инфраструктура
Git: работа с репозиториями, ветками, коммитами и Merge Requests.
Linux: командная строка, работа с логами, запуск, мониторинг и диагностика процессов.
Docker: понимание контейнеризации приложений и окружений.
CI/CD: понимание процессов сборки, тестирования и доставки изменений.
Kafka / RabbitMQ: понимание принципов работы очередей и потоковой интеграции.
Jira, Confluence или аналогичные инструменты для командной работы и документации.
S3 / MinIO или аналогичные решения для объектного хранения данных.
Будет плюсом
Опыт работы с dbt: разработка моделей, трансформаций, тестов и документации данных.
Практический опыт работы с Apache Spark / PySpark.
Опыт работы с Kafka и потоковой обработкой данных.
Знание ClickHouse, Greenplum, Vertica или других аналитических СУБД.
Знакомство с Apache Iceberg, Delta Lake и современными форматами хранения данных.
Опыт внедрения автоматизированных проверок качества данных (Data Quality).
Понимание MPP-архитектуры и распределённых вычислений.
Опыт миграции DWH, ETL-процессов и модернизации инфраструктуры обработки данных.
Опыт работы с банковскими, финансовыми или высоконагруженными системами.
Английский
Умение читать техническую документацию на английском языке.
Процесс
Короткое знакомство и обсуждение опыта с рекрутером.
Техническое интервью / TechCertify-скрининг.
Передача профиля на подходящие проекты клиентам.
Если вам интересно развивать процессы обработки данных, создавать надёжные пайплайны и работать с производительными решениями в области Data Engineering