Легендарная штука от Антропика: теперь создание любого приложения или бизнес-процесса это автоматическая оптимизация, а не написание кода промтами.
В ML любая система создается через обозначение количественных метрик (эвалов) и последовательность экспериментов, которые приближают к ним (карабкание по топологическому холму, hillclimb).
Антропик добавил две этих команды (eval и hillclimb) в API Клод-кода, так что теперь вы можете определить цель своего приложения, например, 100% клиентов которые хотят оплатить доходят до конца процесса. Клод будет анализировать тикеты поддержки, логи, трейсы и прочие данные, формировать гипотезы и автоматически создавать изменения, проверяя каждый раз насколько улучшилась метрика.
Именно такой подход автоматической оптимизации это то, что необходимо для создания эффективных software factories, самоуправляемых продуктов и AI-нейтив организаций. Это не делает работу полностью автоматической — скорее, наоборот, ваше участие тут становится только важнее. Но вместо придумывания гипотез или, боже упаси, их реализации, задача владельца продукта или процесса сводится к установлению четких метрик и критериев их достижения, которые нельзя обмануть или оверфитнуть.
Пишет Степан Гершуни и это круто, конечно
В ML любая система создается через обозначение количественных метрик (эвалов) и последовательность экспериментов, которые приближают к ним (карабкание по топологическому холму, hillclimb).
Антропик добавил две этих команды (eval и hillclimb) в API Клод-кода, так что теперь вы можете определить цель своего приложения, например, 100% клиентов которые хотят оплатить доходят до конца процесса. Клод будет анализировать тикеты поддержки, логи, трейсы и прочие данные, формировать гипотезы и автоматически создавать изменения, проверяя каждый раз насколько улучшилась метрика.
Именно такой подход автоматической оптимизации это то, что необходимо для создания эффективных software factories, самоуправляемых продуктов и AI-нейтив организаций. Это не делает работу полностью автоматической — скорее, наоборот, ваше участие тут становится только важнее. Но вместо придумывания гипотез или, боже упаси, их реализации, задача владельца продукта или процесса сводится к установлению четких метрик и критериев их достижения, которые нельзя обмануть или оверфитнуть.
Пишет Степан Гершуни и это круто, конечно