Как менеджеру по продукту оценить качество AI-продукта
Это саммари подкаста Ленни Рачицкого с Хамилем Хусейном и Шреей Шанкар. Ниже — пошаговый процесс проведения оценки качества AI-продукта.
Мы живем в эпоху, когда топ-менеджеры Anthropic и OpenAI называют еvals (оценка качества AI-продукта) самым важным навыком для продакт менеджеров. Два года назад никто не знал этого слова, а сегодня это новая нефть в мире LLM.
Что такое Evals простыми словами
Evals (от evaluations — оценка) — это системный подход к измерению и улучшению AI-продуктов. Если по-простому, это «тесты», которые помогают понять, насколько хорошо ваша нейросеть делает свою работу.