Lead Data Engineer / Архитектор платформы данных — Россия, Москва

CQPQe.38 — технологическая компания на стыке e-commerce, digital-маркетинга, аналитики и рекламных технологий. У нас сильная команда Data Engineers и Data Analysts и современный стек: реляционное ядро DWH, Lakehouse для финансовых и внешних отчётов, федеративный движок запросов и быстрый колоночный слой витрин в ClickHouse для BI.

Бизнес и объёмы данных растут, и наша цель — перевести платформу из режима «быстро доставили первые витрины» в надёжную, масштабируемую и прозрачную систему уровня production. Легаси на 10 лет и многомесячных комитетов у нас нет, поэтому вы работаете в коротком плече с бизнесом.

Сейчас мы ищем Lead Data Engineer, который возьмёт на себя техническое лидерство, выстроит системный Data Quality, свяжет разрозненные сервисы трансформаций в единую управляемую архитектуру и задаст инженерные стандарты.

Чем предстоит заниматься:

Архитектура и развитие платформы данных

• Отвечать за целевую архитектуру гибридной платформы (реляционный DWH + Lakehouse + аналитические витрины в ClickHouse) и её масштабирование под рост бизнеса.

• Провести ревизию существующих сервисов наполнения хранилища и сборки витрин, устранить узкие места по производительности и конкуренции за вычислительные ресурсы.

• Спроектировать и внедрить централизацию SQL-трансформаций и сквозной граф зависимостей (Data Lineage от источника до BI-дашборда).

• Развивать прагматичный IaC / GitOps-подход: управление схемами, конфигурациями и централизованной ролевой моделью доступа (RBAC).

Data Quality и Data Governance

• Перевести контроль качества данных из реактивного режима (по обратной связи от бизнеса) в проактивный автоматизированный конвейер.

• Внедрить блокирующие проверки качества (Quality Gates / Write-Audit-Publish) между посадочным слоем и боевыми витринами в ClickHouse, а также входную валидацию (дата-контракты) для внешних и внутренних источников.

• Настроить автоматическую кросс-системную сверку операционных данных (ядро DWH) и закрывающих документов/фактов (Silver-слой в Lakehouse) через федеративный движок запросов (Trino).

• Развивать культуру прагматичного Data Governance без лишней бюрократии: каталог доменов, единый глоссарий бизнес-метрик, правила работы со слоями и снижение Bus Factor в команде.

Техническое лидерство и процессы (DE + Аналитика)

• Быть техническим лидером для команды инженеров данных: проводить архитектурное и код-ревью, помогать в сложных оптимизациях запросов и физических моделей хранения.

• Выстроить четкий процесс взаимодействия и приемки задач (Definition of Done) на стыке Data Engineering и Аналитики, чтобы витрины сдавались без таймаутов и расхождений в цифрах.

Что мы ожидаем от кандидата:

• Экспертный SQL и физика СУБД. Глубокое понимание внутреннего устройства ClickHouse (движки семейства MergeTree, разреженный первичный индекс и ORDER BY, партиционирование, Dictionaries, профилирование через system.query_log, стоимость тяжелых JOIN и мутаций) и опыт проектирования ядер DWH на реляционных / MPP СУБД (PostgreSQL, Greenplum или аналоги: планы выполнения EXPLAIN ANALYZE, индексы, секционирование, блокировки).

• Lakehouse и распределенные движки. Практический опыт с Trino / Presto (федеративные запросы, распределенные и broadcast-джойны, управление памятью воркеров), объектными хранилищами (S3 / MinIO), табличными и файловыми форматами (Delta Lake / Apache Iceberg / Parquet), каталогами метаданных (Hive Metastore и аналоги), понимание механизмов компактификации (optimize / vacuum) и партиционирования в озере данных.

• Инженерия пайплайнов, код и оркестрация. Уверенное владение Python (сервисы инжеста и обработки данных, работа с API, deltalake / pyarrow / polars / pandas без OOM) и промышленная работа с Apache Airflow (идемпотентные DAG'и, динамическая генерация задач, запуск в изолированных окружениях Docker / Kubernetes).

• Трансформации, CI/CD и прагматичный IaC. Опыт централизации и стандартизации слоя трансформаций (например, внедрение dbt) и выстраивания сквозного Data Lineage; выстраивание доставки кода через GitLab CI/CD, управление миграциями схем БД, секретами (Vault) и ролевой моделью доступов (RBAC / SSO) через код (GitOps).

• Инженерный подход к Data Quality и Observability. Практический опыт внедрения конвейеров качества данных (паттерн Write-Audit-Publish, атомарная подмена партиций REPLACE PARTITION / EXCHANGE TABLES, валидация схем и дата-контрактов на входе, технические метатаблицы аудита, мониторинг и алертинг в стеке уровня Prometheus / Grafana / Loki).

• Архитектурный прагматизм и техническое лидерство. Опыт проектирования хранилищ (подходы Кимбалла, Data Vault, гибридные слоистые архитектуры Bronze/Silver/Gold, raw/stg/core/mart), умение аргументированно выбирать технологии под задачу и размер команды (KISS / YAGNI), проводить глубокое код-ревью и менторить инженеров.

Будет плюсом:

• Понимание того, как современные BI-системы генерируют запросы к ClickHouse, и умение проектировать слой витрин и представлений под быстрые дашборды.

• Опыт работы с данными e-commerce, маркетплейсов, ретейла и digital-маркетинга.

Что мы предлагаем:

• Современный стек без легаси. ClickHouse, Trino, Lakehouse (Delta Lake / Iceberg), Apache Airflow, dbt, GitLab CI/CD, Kubernetes — вы работаете с актуальными инструментами, а не поддерживаете десятилетние системы.

• Влияние на архитектуру. Вы напрямую выбираете технологии, задаёте инженерные стандарты и определяете, как развивается платформа данных компании.

• Гибридный формат работы; после прохождения испытательного срока возможна полная удаленка.

• Пятидневная рабочая неделя. Можно выбрать удобный график: 09:00–18:00 или 10:00–19:00.

• Уютный офис-опенспейс в Санкт-Петербурге в районе метро «Московская» (БЦ «Аэроплаза») или в Москве, в районе метро "Крылатское".

• Активная корпоративная жизнь: английский, йога, покер, забеги, велозаезды и три корпоратива в год.