QA-инженер (AI Sales помощник) — Россия, Москва

nSn QhJqc7h — это ИИ-помощник, который разработан для помощи сейлзам и трейдерам, снимая с них часть рутинных задач и процессов.

Обязанности

• тестирование качества ответов AI-навыков: релевантность, полнота, корректность, отсутствие галлюцинаций и «уверенных, но неверных» ответов

• формирование и поддержка эталонных датасетов (golden set) для регрессионной оценки LLM-ответов и промптов

• тестирование промптов, RAG-конвейеров и маршрутизации оркестратора — правильный ли агент/навык выбирается под запрос, полные ли источники подтягиваются

• оценка недетерминированного поведения: прогон запросов N раз, статистические метрики стабильности и качества, выявление регрессов качества между версиями моделей/промптов

• разработка, ревью и поддержка тест-кейсов, чек-листов, тест-планов

• взаимодействие с разработчиками, аналитиками, DS/ML-инженерами и PO для уточнения требований

• ведение баг-трекинга в Jira, документирование в Confluence.

Требования

• опыт в роли QA от 3 лет

• опыт функционального и сквозного (E2E) тестирования

• опыт тестирования API и интеграций: REST/gRPC, форматы запросов/ответов, работа с моками внешних сервисов

• умение составлять и проверять тест-кейсы в Zephyr, анализировать покрытие

• понимание принципов работы LLM и GenAI: промпты, RAG, температура/вариативность, ограничения моделей, типовые режимы отказа (галлюцинации, потеря контекста, неверная интерпретация запроса)

• опыт оценки качества AI-ответов: эталонные наборы, ручная и полуавтоматическая разметка, метрики точности/полноты/faithfulness/relevancy

• навыки написания скриптов на Python для прогона батчей запросов, сбора и сравнения результатов.

Будет плюсом:

• опыт в финтехе / банковской сфере

• опыт тестирования AI/ML-продуктов: чат-боты, ассистенты, рекомендательные системы

• знание инструментов оценки LLM: LangSmith, DeepEval, Arize, RAGAS или аналоги

• базовые знания автоматизации тестирования (Java, Python).

• опыт работы с системами мониторинга (Grafana), включая мониторинг качества AI-ответов

• понимание требований комплаенса и работы с чувствительными данными.

Условия

• комфортный современный офис на Вавилова, 19

• формат работы – гибрид

• ежегодный пересмотр зарплаты, квартальная и годовая премия

• корпоративный спортзал и зоны отдыха

• более 400 образовательных программ NN7zKaeTgc4JVBdt для профессионального и карьерного развития

• программа адаптации и помощь руководителя на старте

• расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа

• гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ

• подписка Прайм с возможностью совместного использования на трёх близких

• вознаграждение за рекомендацию друзей в команду NW5KW.