Data Engineer (ClickHouse, Airflow, Python) — Россия, Казань
от 157 500 ₽
ОткликнутьсяОбязанности: • разработка, сопровождение и оптимизация ETL/ELT-пайплайнов на базе Apache Airflow;
• проектирование и развитие схем данных в ClickHouse (основное хранилище);
• поддержка PostgreSQL на базовом уровне;
• интеграция данных из различных источников: S3, RabbitMQ, внешние API, внутренние сервисы;
• написание и оптимизация SQL-запросов;
• контроль качества данных: профилирование, мониторинг полноты и консистентности, отладка пайплайнов;
• настройка и сопровождение мониторинга процессов и инфраструктуры: Grafana, Loki, Alertmanager, OpenSearch;
• работа с контейнеризированной инфраструктурой: Docker, Portainer;
• ведение задач и документирование решений в Jira/Wiki;
• взаимодействие с командой разработки и аналитиками для уточнения требований к данным.
Требования: • уверенное владение Python (pandas, обработка и трансформация данных);
• опыт построения и сопровождения ETL/ELT-пайплайнов в Apache Airflow или аналогах;
• опыт проектирования и сопровождения хранилища данных в ClickHouse: движки таблиц, партиционирование, оптимизация запросов;
• базовые навыки работы с PostgreSQL: проектирование схем, DDL/DML, индексы;
• опыт работы с объектным хранилищем (S3 и аналоги);
• опыт работы с брокерами сообщений: предпочтителен RabbitMQ, опыт с Apache Kafka и NATS также рассматривается;
• базовое понимание систем мониторинга и сбора журналов: Grafana, Loki, Alertmanager, OpenSearch или аналоги;
• понимание контейнеризации: Docker, Portainer;
• уверенная работа с системой контроля версий Git;
• опыт приёма и обработки IoT-телеметрии от датчиков и оборудования (работа с потоками временных рядов);
• опыт разработки приложений потоковой обработки данных на Apache Flink или аналогах (Kafka Streams, Spark Streaming);
• от 2 лет в роли Data Engineer или аналогичной позиции.
Условия: • конкурентный уровень з/п (обсуждается индивидуально);
• работа в крупной и стабильной компании – в структуре самой большой KNa в Европе;
• транспорт до работы из г. Елабуга, г. Набережные Челны, г. Нижнекамск;
• полис добровольного медицинского страхования;
• предоставление платного жилья для иногородних;
• гарантия профессионального роста;
• амбициозная, проектно-ориентированная команда;
• командные и спортивные игры, реализация нестандартных задач;
• карьерный рост при наличии и обретении в процессе работы необходимых компетенций.