Я внедрял всё это, и мы договорились, что можно использовать статистику по обезличенным логам. Это прямые подсчёты транзакций. Не прогнозы аналитиков, не презентации вендоров — а конкретные реальные логи.

Компания решила возглавить безобразие и дать всем сотрудникам внятный сервис, попробовать все модели рынка и вообще посмотреть, что это даст на практике в приросте производительности и так далее.

Они выбирали между подпиской и моделью с оплатой за токены, и, к счастью, выбрали второе.

Потому что в среднем пользователь использует LLM далеко не так, как может показаться. (далее…)