AQA-инженер по тестированию AI-агентов — PravoTech, Россия, Москва

Правотех создает продукты для юристов. Мы развиваем наш продукт — Право(Агент), который передаёт юридическую работу AI-агентам. Команда небольшая и быстрая: изменения в агентах выходят каждый день, и мы ищем инженера, который возьмёт качество агентов в свои руки.

Пожалуйста, в своем сопроводительном кратко укажите свой опыт в тестировании AI-агентов AI-агентами — этот опыт обязателен для нашей вакансии.

Чем предстоит заниматься

• Следить за изменениями в агентах, скиллах, промптах и RAG и проверять затронутые сценарии до релиза.

• Составлять E2E-сценарии работы юриста в чате и запускать их через агентов-тестировщиков: тесты идут параллельно, отчёты собираются автоматически.

• Проверять ответы модели с помощью LLM-as-a-judge и калибровать оценки по разметке юристов.

• Тестировать RAG: качество поиска, точность ссылок, соответствие ответа источникам.

• Разбирать трейсы в Langfuse и телеметрию: где ошибся агент, сколько стоил и сколько длился каждый шаг.

• Готовить короткие отчёты: что сломалось, кто чинит, как сделать агента быстрее и дешевле.

• Писать автотесты API и UI, вести регрессию в CI, заводить баг-репорты.

Что для нас важно

• От 3 лет опыта в AQA или backend-разработке на Python.

• От года практики с LLM-агентами или LLM-приложениями: тестирование или разработка агентных систем.

• Опыт LLM-as-a-judge и оценки RAG.

• Langfuse или аналоги (LangSmith, Phoenix, OpenTelemetry): трейсы, датасеты, подсчёт токенов и стоимости.

• Python, pytest, автотесты API и UI (Playwright или аналог), Docker, CI.

• Понимание устройства агентов: вызовы инструментов, контекст, кэш промпта, reasoning-токены.

• Самостоятельность и скорость: вы сами замечаете изменение, тестируете его и приносите отчёт.

Будет плюсом

• Опыт backend-разработки на Python.

• Понимание архитектуры гибридного RAG.

• Pet-проекты с агентными системами.

• Профильное IT-образование.