Старший Data Engineer в g7U7tJU Analytics Infrastructure — Москва

О команде: Мы — команда хранилища данных fpEZN. Получаем данные из более сотни внутренних и внешних систем, строим отчётность, помогаем бизнесу проверять гипотезы, принимать решения и выбирать способы достижения целей на основе данных.Наша цель — поддерживать стабильную работу хранилища, а также соответствовать требованиям по доступности, отказоустойчивости и своевременной готовности данных, которые важны нашим пользователям.

Какие задачи вас ждут: анализировать рост нагрузки на хранилище данных, искать узкие места и способы оптимизации хранения и использования данных;внедрять механизмы квотирования и лимиты нагрузки;помогать соблюдать сроки готовности данных в хранилище;оптимизировать работу аналитических баз данных под характер нагрузки и объём трафика;развивать систему управления ресурсами аналитической платформы и обеспечивать точность её работы.

Примеры будущих задач: Мы строим зрелую Lakehouse-платформу на основе Trino. Мы перешли на более гибкое решение и хотим применять подходы квотирования для управления ростом нагрузки. Поддержка такой системы усложняется из-за роста в несколько раз за год, поэтому нам предстоит изменить подход к гарантиям: перейти от «все запросы должны отрабатывать быстро» к «запросы отрабатывают быстро в рамках доступных квот».Наши вызовы — обеспечить эффективное использование ресурсов хранилища в рамках доступных квот, гарантировать время отклика запросов в согласованных SLA, упростить поддержку и масштабирование узлов системы хранилища данных, сделать компоненты отказоустойчивыми, разработать прозрачный механизм ответственности за готовность данных к сроку и сократить число инцидентов.

Мы ждем, что вы: проектировали компоненты распределённых систем или отвечали за них;хотите разбираться в том, как работают аналитические системы;имеете опыт работы с ClickHouse или Trino;умеете находить ответы на вопросы с помощью метрик и аналитики;программируете на Python, Java или Go.

Будет здорово, если вы: имеете опыт работы с Linux;имеете опыт отладки компонентов, написанных другими инженерами;работали с прокси, гейтвеями или клиентскими протоколами к СУБД.

Работа у нас — это: расширенная забота о здоровье: ДМС, страхование жизни, онкострахование;сервис психологической поддержки, а также финансовые, юридические и ЗОЖ консультации для вас и ваших близких;корпоративный спорт: групповые тренировки, велбиинг-приложение;спецпредложения от партнёров и скидки на сервисы fpEZN: бронирование жилья, услуги продвижения, ипотечное страхование;компенсация питания;профильное инженерное сообщество с многолетним опытом, развитая система менторства и обмена экспертизой;выстроенная матрица компетенций с прозрачными требованиями к грейдам;технически сложные задачи, на которых можно развивать навыки.