I AM HIRED

Неделя 310 ₽Месяц 630 ₽3 месяца 1 680 ₽Год 5 680 ₽

Инженер по тестированию и оценке качества ИИ — Россия, Москва

Тестирование, Автоматизация тестирования · сегодня, 09:27 · 19.11.2026

Зарплата не указана

Откликнуться

Компания: ••••••••

Локация: Россия, Москва

Формат: Офис, Гибрид

Занятость: Полная занятость

Грейд: Senior

Основная задача:

Ответственность за качество ИИ-решений: определение критериев приёмки, контроль качества и принятие окончательного решения о допуске релизов в промышленную эксплуатацию.

Обязанности:

• Развитие EvalOps: автоматизированные прогоны, регрессионные проверки, встраивание в CI/CD;

• Подготовка эталонных выборок и разработка детерминированных проверок совместно с экспертами;

• Настройка LLM-as-a-Judge и калибровка оценок;

• Анализ трасс выполнения, определение источников ошибок, воспроизведение и проверка дефектов;

• Проверка вызовов инструментов, параметров и обработки ошибок;

• Контроль регрессий после запуска и решение об откате;

• Проверка устойчивости к prompt injection;

• Разработка автотестов на Python (pytest, asyncio, SDD/TDD).

Требования:

• Уверенное владение Python для разработки автотестов и обработки результатов (pytest, httpx, asyncio), знание SQL;

• Практический опыт тестирования LLM и агентских систем, разработки эталонных выборок и автоматизированных проверок;

• Понимание работы LLM, управления контекстом, tool calling, skills и MCP; умение оценивать весь сценарий выполнения задачи, включая действия и итоговые артефакты;

• Знание тест-дизайна, негативных и граничных сценариев; понимание вариативности ответов, необходимости повторных прогонов и сопоставимых условий сравнения;

• Умение сочетать детерминированные проверки и LLM-as-a-Judge, проверять качество самого оценщика и разбирать ошибки валидаторов;

• Обязательный практический опыт разработки автоматизированных проверок с использованием ИИ-агентов через SDD и TDD, включая проверку предлагаемых агентом изменений;

• Опыт работы с Git, GitLab CI и Docker, интеграции проверок качества в CI/CD;

• Умение формулировать критерии допуска, документировать результаты и обосновывать решения о выпуске, блокировке или откате перед разработчиками и бизнес-заказчиками;

• Опыт работы с Langfuse, анализа агентских трасс и тестирования устойчивости к prompt injection является преимуществом.

Условия:

• Стабильный «белый» доход и полноценный соц. пакет;

• График работы - 5/2 c 9 00 до 18 00;

• Возможен гибридный формат работы (обсуждаем индивидуально с каждым кандидатом);

• Корпоративный университет для внутреннего и внешнего профильного обучения;

• Отличные перспективы карьерного роста – горизонтального и вертикального.​​​​​​

А также для Вас:

• Программа ДМС с обслуживанием в лучших клиниках города;

• Корпоративные команды по футболу, волейболу, бегу, а также скидки на фитнес-абонементы;

• Эксклюзивная программа корпоративных привилегий и скидок Primezone;

• Корпоративная мобильная связь.

Работая вместе с нами, Вы сможете принять участие в амбициозных, крупных проектах, значимых для страны!

Поиск по вакансиям

Название компании скрыто

Названия компаний и их продуктов мы не публикуем на сайте — они доступны в Telegram-боте I AM HIRED. Откройте эту вакансию в боте: увидите название, сможете откликнуться и настроить рассылку подходящих вакансий.

Открыть вакансию в боте