Дата инженер / разработчик Python — Россия, Москва
Зарплата не указана
ОткликнутьсяУправление по работе с данными Аналитического центра при XXGKQBVNv8bWS df открывает поиск на вакансию "Дата инженер/разработчик Python". Мы разрабатываем системы для сбора, обработки и анализа данных из разнообразных источников, в том числе с применением AI. Ищем специалиста, который будет развивать инфраструктуру данных и участвовать в прикладной Python-разработке.
Чем предстоит заниматься:
• Разрабатывать и поддерживать ETL/ELT-пайплайны на Apache Airflow;
• Создавать и развивать адаптивные парсеры (Selenium, Playwright), устойчивые к изменениям структуры сайтов-источников;
• Проектировать и оптимизировать базы данных на PostgreSQL: схемы, индексы, транзакции, репликация, сложные запросы;
• Организовывать хранение сырых и обработанных данных в S3 с управлением доступами через переменные окружения;
• Внедрять и поддерживать практики Data Quality, Data Lineage и Data Catalog;
• Разрабатывать REST API и backend-сервисы на FastAPI (Pydantic, асинхронность, middleware, OpenAPI);
• Интегрировать AI-модели и LLM в продукт: подготовка данных, RAG-пайплайны, промпты, структурированный вывод и оценка качества ответов;
• Автоматизировать рутинные операции в Linux с помощью Bash-скриптов;
• Участвовать в code review и командной разработке через Git.
Необходимые знания и навыки:
• Высшее образование;
• Уверенное знание Python;
• Опыт разработки и поддержки пайплайнов на Apache Airflow;
• Опыт создания адаптивных алгоритмов парсинга, подстраивающихся под изменения структуры сайтов-источников;
• Опыт работы с инструментами веб-скрапинга (Selenium, Playwright) и понимание веб-протоколов;
• Глубокое понимание PostgreSQL: несколько схем, индексы, транзакции, репликация, оконные функции, написание и оптимизация сложных запросов;
• Опыт работы с S3-совместимыми хранилищами (MinIO) и управлением доступом через переменные окружения;
• Понимание принципов Data Quality, Data Lineage и Data Catalog;
• Опыт разработки REST API на FastAPI (Pydantic, асинхронность, middleware, OpenAPI);
• Опыт разработки Python-сервисов с использованием AI/LLM (работа с API моделей, промптинг, базовое понимание RAG и векторного поиска);
• Уверенная работа с Git (ветвление, pull request, code review, разрешение конфликтов);
• Уверенная работа в Linux и написание Bash-скриптов.
Будет весомым преимуществом:
• Понимание основ ML, опыт оценки качества LLM и локального запуска моделей (vLLM, Ollama);
• Опыт работы с Docker: написание Dockerfile, оптимизация образов, Docker Compose, сетевое взаимодействие контейнеров;
• Опыт настройки CI/CD: автоматизация тестов, линтеров, сборки и деплоя;
• Опыт работы с брокерами сообщений (RabbitMQ, Kafka).
Что мы предлагаем:
• Официальное трудоустройство в аккредитованную ИТ-компанию: полное соответствие ТК РФ, стабильность;
• График работы: 5/2, 9:00 - 18:00;
• Бронирование: предоставление права на отсрочку от призыва на военную службу по мобилизации и последующих призывов в военное время для граждан, пребывающих в запасе ВС РФ (для военнообязанных);
• Конкурентная заработная плата: обсуждается индивидуально, исходя из вашего опыта и навыков;
• ДМС: расширенная программа медицинского страхования, включающая стоматологию, телемедицину и страхование путешественников (подключаем после прохождения 3-х месячного испытательного срока), скидки на страхование для членов семьи;
• Фитнес: предоставляем корпоративные скидки на клубные карты;
• Интересные задачи: работа над сложными продуктами/проектами;
• Комфортный офис в центре города, в шаговой доступности от м. Красные ворота, Чистые пруды, Сретенский бульвар, Тургеневская.