LLM Evals Engineer
г.Астана
Полный день
Гибкий график
Полная занятость
Основные требования
— Опыт на Python от 1 года, уверенная работа с данными (pandas, SQL)
— Понимание, как работают LLM и где они ошибаются
— Опыт построения тестовых наборов и метрик качества, включая LLM-as-a-judge
— Знакомство с инструментами для evals (promptfoo, Langfuse, Braintrust и аналоги) — плюс
— Аккуратность и любовь к цифрам
Чем предстоит заниматься
— Строить тестовые наборы и метрики для ИИ-ассистентов и агентов
— Запускать регулярные прогоны и ловить регрессии при смене моделей и промптов
— Анализировать ошибки и давать команде рекомендации
— Автоматизировать оценку качества в CI
Что мы предлагаем
— Проекты по ИИ и корпоративным системам для крупных компаний Казахстана
— Гибридный формат, офис в Астане
— Официальное оформление
— Доступ к современным ИИ-моделям и инструментам
— Возможность влиять на архитектуру и продукт
Гибкий график
| Имя | Опыт работы | Контакты | Дата отклика | Заметки | Статус отклика |
|---|
Откликов пока нет
Когда кто-то откликнется на вакансию — здесь появится список кандидатов
