QA-инженер по тестированию ML/AI-продуктов — Россия, Москва
до 200 000 ₽
ОткликнутьсяКомпания: ••••••••
Локация: Россия, Москва
Формат: Удалённая работа, Гибрид
Занятость: Полная занятость
Грейд: Middle
ТЕСТОВАЯ ВАКАНСИЯ
О компании и проекте
Компания 2bDkeqB разрабатывает продукт Naimus. Мы ищем QA-инженера, который будет отвечать за качество и самих моделей, и данных, и продукта вокруг них.
Чем предстоит заниматься
• Оценивать качество ML-моделей на разных наборах данных: считать и интерпретировать accuracy, precision, recall, F1-score, AUC-ROC и другие метрики в контексте конкретной задачи.
• Проводить A/B-тесты разных версий моделей и анализировать результаты.
• Выявлять переобучение (overfitting) и недообучение (underfitting) и разбирать их причины вместе с ML-командой.
• Проверять модели на предвзятость (fairness): искать сценарии, где модель работает несправедливо по отношению к группам пользователей (пол, возраст, раса и др.).
• Тестировать данные: полноту, консистентность, корректность форматов, качество обучающих и валидационных выборок.
• Проверять AI-функциональность: корректность и уместность ответов, работу с контекстом, релевантность рекомендаций.
• Искать граничные случаи и создавать adversarial-примеры, которые могут сломать или обмануть модель.
• Проверять устойчивость модели к отравлению данных (data poisoning) и поведение на данных, сильно отличающихся от обучающей выборки (out-of-distribution).
• Проводить функциональное тестирование продукта (API, интеграции, интерфейс).
• Разрабатывать тест-планы, тест-кейсы и чек-листы, оформлять баг-репорты и проводить анализ первопричин (Root Cause Analysis).
Что мы ждём
Опыт и QA-база
• Опыт в тестировании от 3 лет.
• Уверенное владение техниками тест-дизайна, умение писать тест-кейсы, чек-листы и тест-планы.
• Умение оформлять баг-репорты: чёткие шаги воспроизведения, логи, скриншоты.
• Умение декомпозировать сложную проблему и находить корневую причину.
ML и данные
• Понимание метрик качества классификации (accuracy, precision, recall, F1, AUC-ROC) и умение выбирать метрику под задачу.
• Понимание, что такое переобучение, недообучение и смещение/дисперсия (bias-variance).
• Базовое понимание того, как устроен процесс обучения и валидации моделей.
Технические навыки
• SQL: SELECT, WHERE, JOIN (INNER и LEFT), GROUP BY, ORDER BY; опыт работы с PostgreSQL или MySQL.
• Тестирование REST API: Postman, Swagger; форматы JSON и XML.
• Опыт работы с баг-трекером (Jira или аналог).
• Python (предпочтительно) или JavaScript/Java на уровне, достаточном, чтобы читать чужой код и писать автотесты.
Личные качества
• Умеешь отстаивать позицию перед командой.
• Самостоятельно планируешь работу и принимаешь решения.
• Готов (а) находить и описывать новые классы дефектов, характерные для ML-систем.
Будет плюсом
• Опыт тестирования ML-или LLM-продуктов.
• Python-инструменты для анализа данных: pandas, scikit-learn, pytest.
• Инструменты для проверки данных и мониторинга моделей (Great Expectations, MLflow, Evidently и аналоги).
• Опыт работы с Kafka, ELK, DevTools, СУБД
• Базовые знания статистики (доверительные интервалы, статистическая значимость в A/B-тестах).
• Опыт работы с Zephyr
Условия
• Зарплата: ••••••••₽ gross, итог зависит от опыта и результатов собеседования.
• Формат: гибрид/удалённо.
• График: полный день, 5/2
• Оформление: [ТК РФ / Самозанятость].
• Премии: по результатам завершённых проектов
• Развитие: обучение за счёт компании [бюджет или формат], рост в направлении ML QA Lead, Data Quality / MLOps или автоматизации тестирования ML-систем.
• Дополнительно: [ДМС, компенсация курсов; корпоративные мероприятия и тимбилдинги