Спикеры
Почему ИИ-агент галлюцинирует и как это померить до релиза
Даниил Садчиков
Sber AI Lab · AI engineer
Работаю в Москве в Sber AI Lab, команда "ИИ-агенты и оптимизация". Веду семинары в Сберуниверситете и Data Science Club РЭУ им. Плеханова
Кому подойдёт
Галлюцинации — не баг, который чинится одним удачным промптом. Это свойство модели, с которым нужно научиться работать инженерно: измерять, ставить пороги и ловить регрессии до того, как их найдёт пользователь. В докладе разберу, откуда на самом деле берутся ошибки ИИ-агента: сгаллюцинировала LLM, retrieval вернул не тот документ, противоречия в промпте или ошибка в архитектуре. Для каждого случая свой способ детекции, и путать их дорого. Расскажу про eval-подходы, которые использую в своих…
ХАРДЫиитестированиемашинное обучение