Ведущий инженер по эксплуатации Data Lake / DevOps — Россия, Москва

Сопровождение Big Data Platform (BDP) — внутренней платформы данных банка, используемой дата-инженерами и аналитиками для сбора, хранения и обработки больших объёмов данных из различных источников.

Платформа обеспечивает работу с данными для построения аналитической и BI-отчётности, дашбордов и внутренних сервисов. В её основе — архитектура Data Lake / Lakehouse и технологии S3 Object Storage, Kubernetes, Apache Spark, Airflow, Flink и Kafka.

Команда отвечает за стабильность и доступность инфраструктуры платформы, производительность хранилищ и устранение возникающих инцидентов. Один из ключевых компонентов — высоконагруженное S3-хранилище, обрабатывающее сотни терабайт данных ежедневно.

Чем предстоит заниматься:

• Сопровождение и эксплуатация внутренней Big Data Platform (BDP)

• Обеспечение стабильной работы компонентов Data Lake / Lakehouse

• Администрирование и поддержка высоконагруженной инфраструктуры S3 / Object Storage

• Сопровождение Kubernetes-платформы и развёрнутых в ней компонентов обработки и хранения данных

• Эксплуатация и администрирование Apache Spark, Airflow, Flink, Kafka, Apache Iceberg

• Мониторинг состояния платформы, анализ метрик и логов, контроль доступности и производительности сервисов

• Диагностика и устранение инцидентов, связанных с производительностью и отказоустойчивостью инфраструктуры

• Анализ и оптимизация CPU, RAM, сетевых ресурсов, дисковой подсистемы, задержек и пропускной способности

• Проведение RCA, подготовка postmortem и реализация мероприятий по повышению надёжности платформы

• Автоматизация эксплуатационных процессов и рутинных операций

• Взаимодействие с командами Data Engineering и инфраструктуры по вопросам эксплуатации и развития платформы

Наши пожелания к кандидатам:

• Экспертный опыт администрирования Linux

• Опыт сопровождения высоконагруженных распределённых систем

• Глубокое понимание S3 / Object Storage и архитектуры распределённых хранилищ

• Практический опыт эксплуатации Kubernetes-платформ

• Опыт администрирования и сопровождения компонентов Data Lake: Apache Spark, Airflow, Flink, Kafka, Apache Iceberg

• Практический опыт эксплуатации MinIO или других решений Object Storage

• Понимание принципов репликации, erasure coding, consistency и fault tolerance

• Практический опыт диагностики проблем производительности: CPU, RAM, network, disk I/O, latency, throughput

• Опыт работы с системами мониторинга и наблюдаемости: Prometheus, Grafana, alerting, анализ логов

• Навыки автоматизации с использованием Ansible, Terraform, Bash или Python

• Понимание процессов incident management, problem management и практик SRE

• Опыт проведения RCA, postmortem analysis и внедрения решений по повышению надёжности инфраструктуры

Будет преимуществом

• Опыт эксплуатации Data Lake / Lakehouse платформ в крупных компаниях

• Опыт сопровождения S3-хранилищ с интенсивными потоками чтения и записи данных

• Опыт масштабирования распределённых систем хранения и обработки больших объёмов данных

• Понимание особенностей эксплуатации платформ, используемых большим количеством внутренних потребителей

Что мы предлагаем:

• Стабильный и прозрачный доход: размер заработной платы обсуждается по итогам собеседования + квартальная премия по результатам KPI

• Гибкий график работы: вы сможете планировать время так, как удобно вам и вашей команде

• Удалённый формат работы, а также уютный ИТ-хаб в Москве и сезонный коворкинг в Сочи

• Сложные и интересные задачи, современный стек технологий

• Заботу о вашем здоровье: программа ДМС с первых дней работы, куда входит стоматология, обслуживание в лучших клиниках города, страхование и компенсация 10-ти дней больничного

• Возможность вертикального и горизонтального карьерного роста: регулярно проходят тренинги, вебинары, митапы и демо-дни

• Оплату посещения профильных конференций и курсов, помогаем с подготовкой к публичным выступлениям и написанием статей на Хабр

• Доступ к бесплатным корпоративным библиотекам Alpina Digital, MyBook и бизнес-изданий

• Предложения от Банка только для сотрудников: собственные спортзалы (Москва, Санкт-Петербург, Екатеринбург), а также скидки на услуги туристических агентств, продукты питания, в рестораны, бары, магазины