Сколько вешать в граммах
Goldman Sachs обещает, что к 2030 году ИИ-агенты увеличат мировое потребление токенов в 24 раза, до 120 квадриллионов в месяц. FT решила выяснить, кто это оплатит. Как в магазине, где вы платите за грамм, но сколько килограммов купите, решает продавец за прилавком.
Пока модели просто отвечали на вопросы, всех устраивала подписка. Потом появились агенты, которые сами пишут код, запускают тесты и переделывают за собой. В Stanford Digital Economy Lab посчитали: такая задача съедает примерно в 1 000 раз больше токенов, чем обычный вопрос про код. У OpenAI Codex запускают лишь 17,3% активных корпоративных пользователей, а токенов на него уходит 63,3%.
Хуже того, счёт невозможно предсказать. Два прогона одной и той же задачи расходятся по токенам до 30 раз, а точность от лишних трат не растёт. Держать такое на безлимите продавцы не стали. GitHub назвал прежнюю модель Copilot неустойчивой и перевёл все тарифы на списание по токенам, Anthropic привязала корпоративный Claude к фактическому расходу. Риск уехал к покупателю.
Ну а что покупатель? Ставит лимиты. Uber сжёг годовой ИИ-бюджет к середине апреля, а операционный директор Эндрю Макдональд позже признал: связать растущие траты на токены с улучшениями продукта становится всё труднее. Walmart ограничил число токенов на сотрудника, в том же списке Cisco, Amazon и Meta.
И это работает. По данным Ramp, в августе расходы 1% самых щедрых компаний упали на 9,7%, до $7 205 на сотрудника в месяц, а миллион токенов с марта подешевел на 41%, до $0,68. FT видит выход в оплате за выполненную задачу, а не за токены. Осталось узнать цену задачи заранее. В Стэнфорде попросили об этом сами модели: корреляция их прогноза с фактом не выше 0,39, и ошибаются они в меньшую сторону.
В общем, платить за покупку, а не за граммы готовы все. Осталось найти продавца, который заранее скажет, сколько взвесит.
@anti_agi
Goldman Sachs обещает, что к 2030 году ИИ-агенты увеличат мировое потребление токенов в 24 раза, до 120 квадриллионов в месяц. FT решила выяснить, кто это оплатит. Как в магазине, где вы платите за грамм, но сколько килограммов купите, решает продавец за прилавком.
Пока модели просто отвечали на вопросы, всех устраивала подписка. Потом появились агенты, которые сами пишут код, запускают тесты и переделывают за собой. В Stanford Digital Economy Lab посчитали: такая задача съедает примерно в 1 000 раз больше токенов, чем обычный вопрос про код. У OpenAI Codex запускают лишь 17,3% активных корпоративных пользователей, а токенов на него уходит 63,3%.
Хуже того, счёт невозможно предсказать. Два прогона одной и той же задачи расходятся по токенам до 30 раз, а точность от лишних трат не растёт. Держать такое на безлимите продавцы не стали. GitHub назвал прежнюю модель Copilot неустойчивой и перевёл все тарифы на списание по токенам, Anthropic привязала корпоративный Claude к фактическому расходу. Риск уехал к покупателю.
Ну а что покупатель? Ставит лимиты. Uber сжёг годовой ИИ-бюджет к середине апреля, а операционный директор Эндрю Макдональд позже признал: связать растущие траты на токены с улучшениями продукта становится всё труднее. Walmart ограничил число токенов на сотрудника, в том же списке Cisco, Amazon и Meta.
И это работает. По данным Ramp, в августе расходы 1% самых щедрых компаний упали на 9,7%, до $7 205 на сотрудника в месяц, а миллион токенов с марта подешевел на 41%, до $0,68. FT видит выход в оплате за выполненную задачу, а не за токены. Осталось узнать цену задачи заранее. В Стэнфорде попросили об этом сами модели: корреляция их прогноза с фактом не выше 0,39, и ошибаются они в меньшую сторону.
В общем, платить за покупку, а не за граммы готовы все. Осталось найти продавца, который заранее скажет, сколько взвесит.
@anti_agi