I AM HIRED

Неделя 310 ₽Месяц 630 ₽3 месяца 1 680 ₽Год 5 680 ₽

QA-инженер по тестированию ML/AI-продуктов — Россия, Москва

Тестирование · сегодня, 21:06 · 18.11.2026

до 200 000 ₽

Откликнуться

Компания: ••••••••

Локация: Россия, Москва

Формат: Удалённая работа, Гибрид

Занятость: Полная занятость

Грейд: Middle

ТЕСТОВАЯ ВАКАНСИЯ

О компании и проекте

Компания 2bDkeqB разрабатывает продукт Naimus. Мы ищем QA-инженера, который будет отвечать за качество и самих моделей, и данных, и продукта вокруг них.

Чем предстоит заниматься

• Оценивать качество ML-моделей на разных наборах данных: считать и интерпретировать accuracy, precision, recall, F1-score, AUC-ROC и другие метрики в контексте конкретной задачи.

• Проводить A/B-тесты разных версий моделей и анализировать результаты.

• Выявлять переобучение (overfitting) и недообучение (underfitting) и разбирать их причины вместе с ML-командой.

• Проверять модели на предвзятость (fairness): искать сценарии, где модель работает несправедливо по отношению к группам пользователей (пол, возраст, раса и др.).

• Тестировать данные: полноту, консистентность, корректность форматов, качество обучающих и валидационных выборок.

• Проверять AI-функциональность: корректность и уместность ответов, работу с контекстом, релевантность рекомендаций.

• Искать граничные случаи и создавать adversarial-примеры, которые могут сломать или обмануть модель.

• Проверять устойчивость модели к отравлению данных (data poisoning) и поведение на данных, сильно отличающихся от обучающей выборки (out-of-distribution).

• Проводить функциональное тестирование продукта (API, интеграции, интерфейс).

• Разрабатывать тест-планы, тест-кейсы и чек-листы, оформлять баг-репорты и проводить анализ первопричин (Root Cause Analysis).

Что мы ждём

Опыт и QA-база

• Опыт в тестировании от 3 лет.

• Уверенное владение техниками тест-дизайна, умение писать тест-кейсы, чек-листы и тест-планы.

• Умение оформлять баг-репорты: чёткие шаги воспроизведения, логи, скриншоты.

• Умение декомпозировать сложную проблему и находить корневую причину.

ML и данные

• Понимание метрик качества классификации (accuracy, precision, recall, F1, AUC-ROC) и умение выбирать метрику под задачу.

• Понимание, что такое переобучение, недообучение и смещение/дисперсия (bias-variance).

• Базовое понимание того, как устроен процесс обучения и валидации моделей.

Технические навыки

• SQL: SELECT, WHERE, JOIN (INNER и LEFT), GROUP BY, ORDER BY; опыт работы с PostgreSQL или MySQL.

• Тестирование REST API: Postman, Swagger; форматы JSON и XML.

• Опыт работы с баг-трекером (Jira или аналог).

• Python (предпочтительно) или JavaScript/Java на уровне, достаточном, чтобы читать чужой код и писать автотесты.

Личные качества

• Умеешь отстаивать позицию перед командой.

• Самостоятельно планируешь работу и принимаешь решения.

• Готов (а) находить и описывать новые классы дефектов, характерные для ML-систем.

Будет плюсом

• Опыт тестирования ML-или LLM-продуктов.

• Python-инструменты для анализа данных: pandas, scikit-learn, pytest.

• Инструменты для проверки данных и мониторинга моделей (Great Expectations, MLflow, Evidently и аналоги).

• Опыт работы с Kafka, ELK, DevTools, СУБД

• Базовые знания статистики (доверительные интервалы, статистическая значимость в A/B-тестах).

• Опыт работы с Zephyr

Условия

• Зарплата: ••••••••₽ gross, итог зависит от опыта и результатов собеседования.

• Формат: гибрид/удалённо.

• График: полный день, 5/2

• Оформление: [ТК РФ / Самозанятость].

• Премии: по результатам завершённых проектов

• Развитие: обучение за счёт компании [бюджет или формат], рост в направлении ML QA Lead, Data Quality / MLOps или автоматизации тестирования ML-систем.

• Дополнительно: [ДМС, компенсация курсов; корпоративные мероприятия и тимбилдинги

Поиск по вакансиям

Название компании скрыто

Названия компаний и их продуктов мы не публикуем на сайте — они доступны в Telegram-боте I AM HIRED. Откройте эту вакансию в боте: увидите название, сможете откликнуться и настроить рассылку подходящих вакансий.

Открыть вакансию в боте