ML‑разработчик, middle+ — Россия, Москва

Sn3St6 — экосистема для бизнеса. Наши сервисы помогают каждой третьей компании fNSErW делать рабочие процессы проще и эффективнее: вести бухгалтерию, сдавать отчетность в госорганы, обмениваться документами без бумаги, общаться друг с другом на удаленке и многое другое. С нами жизнь 3,1 миллионов предпринимателей и их сотрудников становится легче.

О направлении

В команде центра ИИ работает более 100 человек: ML-разработчики, разработчики и аналитики данных, DevOps-инженеры, QA, системные аналитики, product- и project-менеджеры. Свое железо (A100/H100/B300) и асессорская служба позволяют нам не ограничивать себя при работе с чувствительными данными. А крутая инфраструктурная команда создает, улучшает и развивает инструменты MLOps на любой вкус от ресерча до прода.

О команде

Мы развиваем pDHP32.4YS — собственную платформу, которая предоставляет доступ к большим языковым моделям через API.

Sgqj RBNZ — развивать ИИ-инфраструктуру на собственных серверах, чтобы продукты YykzZMt могли использовать современные модели без зависимости от внешних провайдеров. Для этого мы работаем над производительностью моделей, увеличиваем пропускную способность и оптимизируем затраты на вычисления.

Технологии

• Языки программирования и ML: Python, PyTorch.

• LLM-инференс: vLLM, LMCache.

• Контейнеризация и оркестрация: Docker, Kubernetes, Helm.

• Инфраструктура: Linux, NVIDIA GPU.

• Мониторинг: Prometheus, Grafana, Kibana.

Задачи

• Развивать инфраструктуру LLM-инференса, обеспечивать стабильную и быструю работу моделей в production.

• Оптимизировать производительность вывода, работать с пакетной обработкой запросов, KV-cache, prefill и decode, а также с механизмами ускорения генерации.

• Исследовать и внедрять способы эффективного использования GPU, снижения задержек и увеличения пропускной способности сервисов.

• Профилировать и тестировать производительность моделей, находить узкие места и оценивать эффективность технических решений.

• Развивать мониторинг и инструменты наблюдаемости, обеспечивать надежную работу LLM-сервисов под нагрузкой.

• Взаимодействовать с продуктовыми и инфраструктурными командами, помогать находить решения для производительности и стабильности LLM API.

Мы ожидаем

• Практический опыт развертывания и эксплуатации LLM-сервисов в production.

• Глубокое понимание архитектуры LLM-инференса и принципов работы современных систем вывода.

• Опыт работы с vLLM и понимание механизмов PagedAttention, continuous batching, prefix caching и KV-cache.

• Знание подходов к оптимизации инференса, включая квантизацию, speculative decoding, управление prefill и decode, а также вычислительными ресурсами.

• Понимание особенностей работы LLM на GPU, умение анализировать производительность, задержки и использование памяти.

• Уверенные навыки работы с Python, PyTorch, Linux, Docker и Kubernetes.

• Опыт профилирования и бенчмаркинга LLM-инференса, понимание метрик TTFT, TPOT и пропускной способности.

• Умение самостоятельно разбираться в сложных технических проблемах, находить причины снижения производительности и предлагать решения.

• Готовность участвовать в поддержке production-сервисов и работать с требованиями к их надежности.

Будут плюсами

• Опыт работы с SGLang, TensorRT-LLM или Triton Inference Server.

• Опыт разработки CUDA- и Triton-ядер, а также использования NVIDIA Nsight.

• Опыт распределенного инференса, включая tensor, pipeline и expert parallelism.

• Опыт работы с Mixture of Experts и MoE, а также с моделями с длинным контекстом.

• Участие в open source проектах vLLM, LMCache, SGLang или аналогичных.

Мы предлагаем

• Уровень дохода, который зависит от ваших технических знаний и навыков. Регулярно пересматриваем зарплаты с учетом профессионального роста. Финансовые бонусы тоже есть.

• Заботу о вашем комфорте. Можете работать удаленно, гибридно или в офисе, в любом случае предоставим технику и все необходимое. Если вам по душе работать из офиса — обеспечим удобным местом, зонами отдыха, кухней с полезными перекусами.

• Сильное инженерное комьюнити. Регулярно проводим внутренние технические конференции, обмениваемся опытом между командами. Вы всегда найдете, с кем посоветоваться.

• Возможность сменить продукт, команду или предметную область внутри компании. Поддерживаем развитие в любом направлении.

• Общение на «ты» и максимум горизонтальных связей в коллективе, чтобы быстрее договариваться и решать рабочие задачи.

• Возможность делиться экспертизой. Помогаем выступать на конференциях, участвовать в подкастах или видео, писать статьи.

• Поддержку профессионального развития. Организуем внутреннее и внешнее обучение.