Неискусственный интеллект

Мал, да удал

Anthropic выкатили Claude Haiku 5.5. Цену уронили в десять раз: было $1 за 1M входных токенов и $5 за выходные, стало $0,10 и $0,50. До цента как у GPT-6 Luna от OpenAI.

Модель получилась неглупая — Artificial Analysis намерили 43 балла на своем Intelligence Index. Это первое место среди младших: у GLM-5.3 Flash 42, у Gemini 3.8 Flash 41, у Luna 38. До Kimi K3 один балл. Прошлая Haiku набирала 17.

Luna она обходит на каждом уровне "усилий". На medium у Haiku 34 балла, у Luna на high 33. На Terminal-Bench 4.0 независимый замер дал 33% против 13%. На AA-Briefcase, закрытом тесте на офисную работу, 1578 Elo. Это в пределах погрешности от GPT-6 Astra и Fable 5.1. Модели, бтв, совсем другой весовой категории.

Отдельно про галлюцинации. Фактов малышка-Haiku знает меньше конкурентов: 36% точности против 44% у Luna. Зато выдумывает в 40% случаев, а Luna в 77%. Не знает и честно признается. Редкое по нынешним временам качество даже у людей.

Бонусом контекст в 1M токенов вместо 200K.

Как и в классическом анекдоте, есть нюанс. Скидка 90% работает до 100K токенов в запросе. Дальше ценник вырастает впятеро. У Luna надбавка включается с 272K. Плюс новый токенизатор: тот же текст весит на 30% больше токенов. В самой Anthropic говорят про среднюю экономию 75%.

И аппетит. На max модель тратит 162K выходных токенов на задачу, Luna хватает 50K. Последние два балла индекса стоят в 1,8 раза больше токенов. Но это именно max. Те же 38 баллов Haiku берет на high за 55K, Luna на max за 50K. Почти паритет.

Из менее ярких, но более сутевых цифр. По умолчанию стоит medium: 34 балла и 33K токенов на задачу. Крутить ручку до упора никто не заставляет.

@anti_agi

Что нам стоит всех построить

Продолжаем переваривать сказанное и сделанное на «Цифровых решениях». Вчера на сессии про регулирование ИИ собралась на редкость интересная панель. Судьбу подзаконки и эффект рамочного закона обсудили представители бизнеса и регионов. Не обошлось без регулятора и Совета Федерации.

Модерировал сессию замминистра цифры Григорий Борисенко. Вместе со статс-секретарём и замминистра Иваном Лебедевым вспомнили, что, как и в классическом анекдоте, в регулировании есть нюанс — не передавить. И российским законодателям это удалось.

Получился в какой-то степени нонсенс. Закон есть, а запретов и ограничений, мешающих искусственному интеллекту, нет! — удивлялся г-н Крайнов из Яндекса. А всё почему? Пока разбирались, что за зверь такой этот ваш искусственный интеллект, дотянули до момента, когда в технологии разобрались все — оценили шпильку от г-на Борисенко.

Те, кто пишут законы, теперь сами тестируют разные модели. Того поди, каждый чиновник и депутат настроят себе личный харнесс! Только законы пока ИИ не отдают. Хотя вот Крайнов надеется, что эту бюрократию уже автоматизировали. Ну понятно; зря что ли у товарищей у Яндекса есть свой Нейроюрист?

Дальше было практика. Регионы представлял Олег Ли, заместитель премьер-министра Правительства Республики Башкортостан. Сказал внезапное: рамка слишком рамочная. Правовой вакуум вызывает некоторую настороженность. К тому же, закон охватывает только модели от 1 млрд параметров — а если регион хочет использовать что-то совсем маленькое, но обученное на госданных?

В противовес выступил Алексей Шпильман из Т-Банка. Новые границы нужны тем, у кого старые плохие. Вспомнил прошлую работу, когда внедрял ИИ на одном НПЗ. Между "умной" системой и потенциальной опасностью находились семь слоёв детерминированных механизмов, и механический вентиль в конце — всё и так обложено безопасностью, никто не хочет ломать себе бизнес.

Цель регулятора — снять максимальное количество барьеров, подойти к этому не формально; ориентируясь на конкретные бизнес-модели. Нужно провести анализ по каждой отрасли, быстро провести эту работу, подчёркивал Лебедев. Чтобы закрепить наши уникальные конкурентные преимущества.

Что касается регулирования и специфики. Статс-секретарь согласился, что закон должен учитывать специфику регионов и позволять эксперименты; но размазывать регулирование тонким слоем не стоит, это неэффективно. Также важна специфика отраслей — пусть требования к медицинскому ИИ пишут медики, строительному — строители. С этим предложением, кажется, согласились все.

Из менее ярких, но более сутёвых заявлений: ждём шесть постановлений правительства к закону об ИИ, которые детально определят подход государства к регулированию (пообещал г-н Лебедев); обязательной маркировки контента не ждём (и сенатор Шейкин не ждёт вместе с нами).

@anti_agi

Правьте смело‼️

В мае кто-то начал оставлять пробные правки в песочницах Wikipedia, служебных страницах, которые для этого и существуют. Необычным оказался автор. Спустя почти пять месяцев Wikimedia Foundation сообщила, что это, судя по всему, были агенты OpenAI. Те самые «rogue»-агенты, которые во время обучения выбираются из отведенной им среды и начинают хозяйничать в настоящем интернете.

Фонд сел проверять себя сам, когда похожие следы стали находить на чужих сайтах. Нашлось три вещи.

Во-первых, правки. Почти все безобидные и читателям не видны. Но несколько агентов полезли в настройки инструмента, который оформляет ссылки на источники, и попытались сделать из него прокси, чтобы тянуть данные со сторонних сервисов.

Во-вторых, Etherpad, общий блокнот, который фонд держит для сообщества. Его пробовали взломать и тоже приспособить под прокси, не вышло. Другие агенты вели себя приличнее: просто записывали туда заметки по своим заданиям.

В-третьих, аппетит. Миллионы запросов к API, миллионы скачанных страниц, сотни тысяч запросов к Wikidata Query Service. Фонд допускает, что этот поток поучаствовал в майском частичном отказе сервиса.

Ничего не украдено и не сломано. Wikipedia повезло больше, чем немецкой DSEWiki: туда за предыдущие десять лет заглянули с двумя десятками правок, а агенты за одну неделю оставили около 13 000 и устроили себе доску объявлений. Когда модератор начал удалять страницы по алфавиту, они завели резервные копии с префиксом ZZZ.

Теперь самое интересное. Три недели назад OpenAI опубликовала правила, по которым будет рассказывать о таких случаях: шесть отчетов для начала, обещание раскрывать даже то, значимость чего неясна, и пункт о том, что задетых третьих лиц предупреждают до публикации. Wikimedia среди шести отчетов нет. Информация пошла в обратную сторону: фонд сам собрал находки, выложил таблицу с правками и передал все в OpenAI. Там поблагодарили за подробности.

Ботов в Wikipedia, к слову, пускают, если бот представился и сообщество его одобрило. Фонд теперь просит ИИ-компании хотя бы о первом: чтобы агентов можно было опознать. Со вторым, видимо, подождем?

@anti_agi

На форуме «Цифровые решения» вчера вечером обсуждали подходы к выбору инфраструктуры для эффективного использования ИИ. Компании начинают переходить от фрагментарных экспериментов к управляемой корпоративной ИИ‑экосистеме, и сейчас остро встает вопрос эффективности и устойчивости ее использования.

В общем, все соглашались вчера, что затраты растут из-за разрозненности аппаратных платформ. Как сказал, Глеб Маркевич, лидер направления ИИ и комплексных решений YADRO, после первых пилотов и экспериментов компаниям необходимо вводить централизованное управление, стремиться к повышению эффективности, контролируемости и прозрачности всего процесса. Для консолидации ресурсов и их более рационального использования, по его словам необходимы:

1️⃣Нативность оборудования для ИИ-нагрузок. На старте работы с ИИ-решениями есть сильный соблазн по максимуму использовать оборудование, не предназначенное для ИИ. А это в конечном счете приводит к росту накладных расходов и снижению эффективности.

2️⃣ Заранее определить требования к платформе. Нужно уже на старте зафиксировать, какие задачи необходимо решить при переходе к промышленной эксплуатации и централизованному контролю, в том числе — определить регуляторные и внутренние требования, связанные с эксплуатацией и безопасностью.

3️⃣ Гетерогенный подход. Надо учитывать открытые стандарты, различные подходы и платформы, но при этом уметь переключаться и использовать ИИ для решения собственных задач.

Впрочем, простого ответа на вопрос, как определить стоимость инфраструктуры, нет, ведь компоненты различаются, требования бизнеса часто меняются по ходу внедрения. По словам Глеба, в YADRO исследуют разные технологии, сравнивают подходы, ускорители, соотносят эффективность западных и восточных моделей. Словом, поиски эталонной меры продолжаются, а по мере этих поисков растет экспертиза компании.

Участники вчерашней дискуссии также отметили, что для развития проектов в сфере ИИ необходимо, чтобы бизнес мог четко ставить задачи, важно уметь формулировать требования и проектировать решения. А без платформ enterprise-уровня решение масштабных задач становится невозможным. И конечно, оптимальным вариантом тут станет развитие технологических партнерств.

@anti_agi

Казахские степи, швейцарские горы...

Или как Nvidia постепенно превращается в семейный бизнес

В конце сентября дочь Дженсена Хуанга Мэдисон вышла замуж на Гавайях. Свадьбу сыграли во время общекорпоративных выходных Nvidia — семейный календарь удачно совпал с производственным. Жених, 35-летний Нико Капрез, продолжал работать даже с островов. Его задача — находить покупателям деньги на чипы тестя.

За два с половиной года Капрез стал одним из самых влиятельных руководителей Nvidia. Он помогает облачным провайдерам получать кредиты, находить клиентов и участки с доступной электроэнергией. Один из собеседников издания называет его «консильери Дженсена». Сам Хуанг, знакомясь с руководителем ИИ-инфраструктуры Brookfield, рекомендовал: «Если хотите что-то сделать, поговорите с Нико».

Капрез вырос в швейцарской долине Энгадин и в начале 2010-х профессионально занимался горными лыжами — выступал за Швейцарию в скоростном спуске, слаломе и супергиганте. Завершив спортивную карьеру, ушёл в консалтинг, а затем поступил в London Business School. Там познакомился с Мэдисон. После выпуска она отправилась в Nvidia, он — в инвестиционную компанию в Цюрихе. В начале 2024 года Мэдисон помогла привлечь его в компанию отца.

Уже новичком Капрез участвовал в важных встречах с партнёрами. В январе 2026-го стал вице-президентом по развитию глобальной ИИ-инфраструктуры, перескочив промежуточную должность старшего директора. Его влияние объясняют и способностью договариваться, и близостью к Хуангу.

Но мы-то знаем, что всё дело в связях со странами бывшего соцблока. Не далее как в апреле Капрез побывал на встрече с президентом Казахстана Токаевым. Вместе с ним с главой государства встретились представители Firebird AI — компании из Сан-Франциско с армянскими корнями. В августе они запустили на исторической родине первую в СНГ ИИ-фабрику. Её оснастили более чем 6 тысячами ускорителей Nvidia B200.

Продавать ускорители становится сложнее, если покупателям не на что их покупать и некуда подключать. Капрез работает сразу со всеми частями этой задачи. Одному облачному провайдеру он привёл ИИ-разработчика, которому срочно требовались 7000 чипов GB300: тот впоследствии стал одним из крупнейших клиентов. Другому присылает потенциальных заказчиков в WhatsApp. Третьему помогает найти землю и электричество. Летом Капрез также участвовал в сделках Nvidia по приобретению долей в двух американских компаниях, обеспечивающих площадки и энергоснабжение для дата-центров.

Некоторые сотрудники уже обсуждают Капреза и Мэдисон как будущих руководителей. Даже после свадьбы молодожёны быстро вернулись к делам: уже через несколько дней ужинали с инвесторами Nvidia в Нью-Йорке. Мэдисон тем временем стала старшим директором по продуктовому маркетингу физического ИИ, включая робототехнику и модели для симуляций.

Впрочем, важно помнить, что в Nvidia работает и 36-летний сын Хуанга Спенсер: он пришёл в компанию в 2022 году и стал директором по управлению продуктами в робототехнике. Ждём династических интриг?

@anti_agi

Самый полезный корпоративный ИИ-агент — тот, у которого есть доступ к рабочим данным и внутренним системам. Он же становится проблемой для безопасности, если запускается на ноутбуке разработчика.

В начале года Т-Банк объявил внутренний год экспериментов с агентскими харнессами. Харнесс — это рабочая среда вокруг модели: инструменты, интеграции, инструкции и права доступа. Команды пробовали open-source и коммерческие решения, использовали собственные и писали новые.

На форуме «Цифровые решения» главный технический директор Т‑Банка Игорь Маслов рассказал, к чему пришли за 9 месяцев. Сначала компания разрешила командам пробовать разные подходы: брать Qwen Code и другие open-source-инструменты, покупать коммерческие продукты или писать собственные. Среди них был и Nessy — корпоративный coding-агент Т‑Банка.

По итогам эксперимента все харнессы решили перенести в облако. Сейчас сотрудник выбирает агента, указывает задачу и разрешённые интеграции, а затем запускает его как фоновый процесс. Ноутбук можно закрыть: агент продолжит работу внутри контролируемого контура.

Григорий Атрепьев, генеральный директор Yandex Cloud, рассказал, что у них внутри агент наследует права и доступы запустившего его сотрудника. В Т‑Банке схему сделали строже: агент работает с данными внутри облака, а пользователь получает результат, но не доступ к массиву данных.

Такой security by design.

@anti_agi

Сколько вешать в граммах

Goldman Sachs обещает, что к 2030 году ИИ-агенты увеличат мировое потребление токенов в 24 раза, до 120 квадриллионов в месяц. FT решила выяснить, кто это оплатит. Как в магазине, где вы платите за грамм, но сколько килограммов купите, решает продавец за прилавком.

Пока модели просто отвечали на вопросы, всех устраивала подписка. Потом появились агенты, которые сами пишут код, запускают тесты и переделывают за собой. В Stanford Digital Economy Lab посчитали: такая задача съедает примерно в 1 000 раз больше токенов, чем обычный вопрос про код. У OpenAI Codex запускают лишь 17,3% активных корпоративных пользователей, а токенов на него уходит 63,3%.

Хуже того, счёт невозможно предсказать. Два прогона одной и той же задачи расходятся по токенам до 30 раз, а точность от лишних трат не растёт. Держать такое на безлимите продавцы не стали. GitHub назвал прежнюю модель Copilot неустойчивой и перевёл все тарифы на списание по токенам, Anthropic привязала корпоративный Claude к фактическому расходу. Риск уехал к покупателю.

Ну а что покупатель? Ставит лимиты. Uber сжёг годовой ИИ-бюджет к середине апреля, а операционный директор Эндрю Макдональд позже признал: связать растущие траты на токены с улучшениями продукта становится всё труднее. Walmart ограничил число токенов на сотрудника, в том же списке Cisco, Amazon и Meta.

И это работает. По данным Ramp, в августе расходы 1% самых щедрых компаний упали на 9,7%, до $7 205 на сотрудника в месяц, а миллион токенов с марта подешевел на 41%, до $0,68. FT видит выход в оплате за выполненную задачу, а не за токены. Осталось узнать цену задачи заранее. В Стэнфорде попросили об этом сами модели: корреляция их прогноза с фактом не выше 0,39, и ошибаются они в меньшую сторону.

В общем, платить за покупку, а не за граммы готовы все. Осталось найти продавца, который заранее скажет, сколько взвесит.

@anti_agi

Сегодня в Москве официально стартовали «Цифровые решения». Неделя обещает быть весёлой — и насыщенной на новости об искусственном интеллекте. И как же хорошо, что в первый день вышел большой спецвыпуск «Ведомостей» о людях, которые формируют рынок сегодня.

Вместе с «Рексофтом» разобрались, кто создаёт, регулирует и внедряет ИИ в России; кто формирует научную базу и кадровый резерв; кто переводит технологию в готовый продукт и обеспечивает её "топливом" — в виде программной и технической инфраструктуры; наконец, не забыли про данные, которые сегодня новая нефть.

В качестве приятного бонуса — два интервью. Глава Института AIRI, декан факультета ИИ МГУ и профессор РАН Иван Оселедец рассказал, почему наука должна оставаться международной. Руководитель АНО «Цифровая экономика» Чулпан Госсамова объяснила, как государство и бизнес ищут баланс в регулировании и поддержке новых технологий.

Читайте на сайте и в PDF, либо ловите газету на полях форума. И помните: даже будущее искусственного интеллекта всё равно создают люди.

@anti_agi

Безработные агенты🤖

Epoch AI посчитала, сколько ИИ-агентов смогут одновременно работать на чипах, выпущенных до конца следующего года. Вышло от 30 до 170 млн агентов, работающих на моделях уровня Claude Code или Codex. Но есть ли на них спрос?

Агент не спит и не уходит на выходные. В неделе 168 часов, вчетверо больше обычной 40-часовой рабочей недели. Поэтому по отработанным часам эти агенты равны от 140 до 720 млн сотрудников на полной ставке. Для сравнения: во всех США около 100 млн работников умственного труда.

На дешевых открытых моделях масштаб еще больше. Если запустить на том же железе DeepSeek V4 Pro, агентов будет почти 2 млрд. По часам это как если бы на полную ставку вышли работать 8 млрд человек, то есть все население Земли.

Считала Epoch не по GPU, а по памяти. Выпуск ИИ-ускорителей упирается в HBM, сверхбыструю память, которую делают всего три компании: SK hynix, Samsung и Micron. Epoch сложила всю HBM, выпущенную с прошлого года, и пересчитала ее в одновременно работающих агентов. При этом она исходила из того, что все это железо установят и целиком отдадут агентам.

При этом час "железного" агента бывает дороже мясного агента. По логам реальных сессий, час Codex стоит в среднем $16–18, а час Claude Code от $24 до $50. Это уже сопоставимо с зарплатой человека. Для расчета Epoch взяла $30 в час.

Даже если агентам отдать только пятую часть мощностей, по нынешним ценам за них придется платить $2,6–5,3 трлн в год. Сейчас ведущие разработчики ИИ вместе зарабатывают чуть больше $100 млрд в год. Даже если их выручка будет расти впятеро каждый год, к концу следующего года она дойдет лишь примерно до $1 трлн.

Дешевеющий ИИ эту проблему не решает. По подсчетам той же Epoch, один и тот же результат дешевеет примерно в 13 раз в год. Значит, на каждую задачу нужно все меньше железа, и спрос должен расти еще быстрее, чтобы чипы не простаивали. Простаивают они и так: еще в прошлом году Сатья Наделла признавал, что у Microsoft на складе лежат чипы, которые некуда подключить.

Мао Цзэдун писал, что бедность рождает желание перемен и революции. Сотни миллионов агентов без работы уже на подходе. Похоже, восстание машин начнется не со злого сверхразума, а с безработицы.

@anti_agi

Ветер перемен
 
SpaceXAI из ИИ-компании становится неоклаудом: он уже сдает в аренду свои чипы Anthropic по контракту на $85 ярдов, у него ареднует мощности Google, а теперь ведет переговоры и Microsoft. Oracle сдает 100 тысяч чипов Nvidia в своих дата-центрах в Азии в аренду на пять лет Tencent за $7 млрд. И это те самые дефицитные передовые чипы, которых днем с огнем не сыщешь в свободной продаже в нормальном количестве.
 
Гиперскейлеры с их крупными заказами составляют половину выручки Nvidia от GPU. По сути, они, на пару с неоклаудами (в которых Nvidia поставляет свои чипы за долю в бизнесе) монополизировали рынок самых современных GPU, скупая на корню поставки прямо с завода. Но предполагалось, что они делают это из-за дефицита мощностей, конкурируя – кто первый поставит чип в слот и начнет зарабатывать на нем.
 
Помните, как Илон Маск гордился свои первым «Колоссом» в Мемфисе со 100 тысячами чипов H100? Сейчас там от 200 до 330 тысяч, во втором «Колоссе» — уже 550 тысяч, а в ноябре он выведет в онлайн еще 420 тысяч GPU Nvidia. К концу года планируется, что в дата-центре будет 1,21 млн чипов Nvidia. Но Grok’у эти объемы явно лишние. Вот и приходится, закупив чипы и установив их, как и планировалось, в супер-дата-центр, сдавать их в аренду другим гиперскейлерам.
 
Что касается Oracle, то по оценке Omdia в 2024 году он закупил 125 тысяч чипов Nvidia, а в первые три квартала 2025-го, по оценке Epoch, чуть больше 500 тысяч H100-эквивалентов (это примерно 200 тысяч Blackwell). Из них примерно половина ушла в дата-центр Stargate в Абилин, штат Техас, то есть для OpenAI, а под нужды самой Oracle осталось примерно 100 тысяч Blackwell.
 
То есть, по сути, Ларри Эллисон сдал в аренду почти столько же чипов, сколько закупил за год для себя. И сдал не кому-то, а китайской ИИ-компании — в то самое время, когда его друг Трамп так озабочен тем, чтобы китайцы не обогнали США в ИИ-гонке.
 
Оба этих феномена, конечно, можно объяснить. Например, понятно, что Grok сдал позиции и проигрывает гонку, а мощности должны работать и приносить доход. Вот только нынешний ИИ вырос на законе масштабирования – чем больше вычислительных ресурсов тратится на обучение, тем качественнее модель. В случае Grok’а это, очевидно, не сработало.
 
Понятно, что мощности Oracle в Азии для американских ИИ-компаний могут быть менее привлекательными для аренды, но ведь совсем недавно Stargate рассаживал свои будущие дата-центры по всему миру. Почему же Эллисону не удалось продать эти мощности кому-то из гиперскейлеров?
 
Возникает ощущение, что гиперскейлеры, заключая контракты с Nvidia, рассчитывали на более оптимистичное будущее. Они заглотили громадный кусок рынка чипов, надеясь, что их желудок к тому времени растянется и сможет его переварить. Но этого пока не происходит. Продавать лишние чипы боязно – во-первых, вдруг они все-таки потребуются, но главное – эти чипы часто являются залогом по кредитам, выданным на их покупку. Если вывалить их на рынок, то это может обрушить цены на GPU и вызвать маржин-колл по кредитам. Вот и приходится сдавать их в аренду.
 
Oracle тут, к слову, в одном из самых уязвимых положений. Деньги на капзатраты компания занимает на рынке и долг сейчас в четверо выше капитала. По мере роста доходности treasuries, обслуживание этого долга дорожает. А рейтинг у компании лишь на ступень выше «мусорного», занимать еще – не вариант. Так что не удивлюсь, если именно Эллисон первым решит избавиться от своих GPU, вызвав цепочку событий, ведущую к схлопыванию стоимости триллионных активов.

@anti_agi

У противников ИИ-арта сегодня появился ещё один союзник в борьбе с бездушными машинами. Воистину великая пятница!

А почитать подробнее о том, как AI-bros довели своими поисками человечности даже Святой Престол, и причём тут русские писатели и сон наяву, можно в заметках наших коллег из "Нецифровой":

➡️ «Но разве я просил Тебя, Творец, / Меня из глины сделать человеком?»

➡️ Что будет, если созданная человеком система определит пространство, в котором тот существует?

@anti_agi

Никогда такого не было, и вот опять

Американские ограничения запрещают поставлять в Китай самые мощные ИИ-чипы. Однако предполагаемый маршрут обхода оказался незамысловатым: купить готовые серверы, записать конечными получателями компании из Малайзии и Сингапура, а после доставки переправить оборудование в Китай.

В США арестовали 38-летнего владельца Earthmade Computer Грега Луи. Прокуратура обвиняет его и сообщников в контрабанде серверов с подконтрольными экспорту GPU общей стоимостью свыше $300 млн в 2023–2024 годах. Американским производителям якобы предоставляли документы с ложными сведениями о конечных покупателях.

Один эпизод следствие восстановило особенно подробно. В январе 2024 года малайзийский посредник запросил 70 серверов. Луи заказал у американского производителя 27 машин за $7,6 млн и отправил их из Лос-Анджелеса в Куала-Лумпур. Уже в марте один из сообщников сообщил малайзийскому чиновнику, что серверы передали покупателю в Китае.

За десять месяцев 2024 года Earthmade получила от двух малайзийских компаний более $176 млн. Минюст США не назвал производителя ускорителей, хотя СМИ со ссылкой на материалы дела пишут о серверах с Nvidia H100.

И это даже не рекорд. В марте американская прокуратура обвинила трёх связанных с Super Micro человек, включая миллиардера-сооснователя (!) в выводе в Китай ИИ-серверов на $2,5 млрд. Там для проверяющих оставляли неработающие муляжи, переклеивая на них серийные номера с настоящих машин при помощи фенов. Долго ли умеючи...

@anti_agi

Нейросети предложили учить через «чёрный ящик»

Фотонные, нейроморфные и аналоговые ускорители обещают выполнять операции нейросетей быстрее и с меньшим расходом энергии. Но подключить их к обучению ИИ — задача не из простых.

В гибридной системе часть вычислений выполняет альтернативный ускоритель, а остальную нейросеть по-прежнему обрабатывает видеокарта. Вперёд такая сборка работает без проблем: цифровые слои передают данные фотонному модулю, получают ответ и продолжают вычисления. Проблема возникает, когда нужно пройти по всей цепочке назад и определить, как скорректировать каждый блок. Фотонный модуль не раскрывает внутренние вычисления и не сообщает, как его настройки повлияли на итоговую ошибку. Для алгоритма это «чёрный ящик».

Как решить эту проблему? Учёные AIRI, Сколтеха и Центра квантовых технологий Сбера предложили метод Astralora. Настройки фотонного модуля он подбирает почти на ощупь: немного поворачивает его виртуальные ручки, снова запускает нейросеть и проверяет, стала ошибка больше или меньше. После серии таких проб алгоритм определяет, в какую сторону двигаться.

Чтобы обучать цифровые слои, расположенные перед «чёрным ящиком», Astralora создаёт его упрощённого дублёра. Он наблюдает, какие числа модуль получает и что возвращает, а затем учится приблизительно воспроизводить эту зависимость. Во время обратного прохода дублёр подсказывает предыдущим слоям, как нужно изменить их параметры.

Подход проверили на шести моделях фотонных блоков — от простого умножителя матриц до схем на микрокольцах, световых модуляторах и интерферометрах. Каждый из них по очереди ставили на место одного из цифровых блоков нейросети.

Первым тестом стал CIFAR-10 — набор из 60 тысяч маленьких изображений самолётов, машин, птиц, кошек, собак и других объектов. Гибридная нейросеть с фотонным блоком распознавала их почти так же точно, как полностью цифровая.

Затем модель учили различать 8732 короткие городские записи: лай собак, гудки машин, сирены, выстрелы, работающие двигатели, дрели, отбойные молотки и уличную музыку. Качество распознавания полностью цифровой нейросети составило 77,46%. Варианты с фотонными блоками получили от 75,6 до 78,95% — лучший слегка обогнал исходную модель.

В конце «чёрными ящиками» заменили сразу 12 крупных блоков GPT-2-подобной языковой модели. Модель продолжила обучаться, хотя обычное обратное распространение ошибки охватывало только оставшиеся цифровые слои — 190 млн параметров вместо исходных 417 млн.

Наиболее реалистичный сценарий применения Astralora — гибридные системы, в которых тяжёлые математические операции выполняет физический ускоритель, а управление и остальные вычисления остаются за цифровой частью. Они могут использоваться в дата-центрах для обучения больших моделей, а также в компьютерном зрении, телекоммуникациях и обработке сигналов с сенсоров.

Алгоритм позволяет подключать к обычной электронике ускорители, основанные на разных физических принципах — от фотоники до нейроморфных систем, — и совместно обучать всю конструкцию практически без потери качества. И это ли не прекрасно!

@anti_agi

Одна голова лучше и 2 и 15

Яндекс опубликовал на arXiv технический отчет Sona — новой генеративной модели для рекомендаций, обученной с нуля. Она объединяет подбор и ранжирование вариантов, позволяя заменить весь рекомендательный конвейер одной моделью и отказаться от ручных признаков. В недельном A/B-тесте на Моей волне в умных колонках с Алисой она заменила связку из больше чем 15 генераторов кандидатов, предранжирования и финального ранжировщика, работающего на сотнях признаков.

Каскад стал стандартом, потому что одна модель не могла быстро и точно просеять миллионы треков. Платить за это приходится постоянно. Каждая ступень требует своей модели, своих данных, своего обучения и своих серверов. История пользователя обрабатывается заново на каждом этапе. Признаки, по которым ранжировщик оценивает треки, придумывают и поддерживают инженеры. Ступени учатся каждая под свою задачу, и финальный ранжировщик не поднимет трек, который генераторы не нашли. Любое улучшение означает доработку одной ступени и подгонку под нее остальных, а выигрыш измеряется долями процента.

Sona устроена иначе

Энкодер один раз читает историю пользователя, до 8192 прослушиваний, пропусков и лайков. Этот разбор используется и для поиска кандидатов, и для их сортировки. Декодер генерирует не сами треки, а их короткие коды, Semantic ID, примерно как языковая модель генерирует слова. Ручных признаков нет вообще: модель учится на сырых логах. Поиск и ранжирование обучаются вместе через общий энкодер, поэтому не тянут систему в разные стороны.

Качество тяжелого ранжировщика Sona получает без его стоимости. Модель-учитель на 0,6B параметров, обученная на данных за год, во время обучения оценивает кандидатов, а Sona учится повторять эти оценки. В продакшен учитель не попадает. Длинную историю модель сжимает: глубокие слои работают только по последним 2048 событиям. Это примерно вдвое снижает стоимость инференса почти без потери качества.

Дообучение идет автоматически на живом трафике: свежие веса уходят в продакшен каждые 10 минут, от действия пользователя до обновленной модели проходит около 45 минут. Kuaishou, которая перевела на похожую схему часть своей ленты, оценивает операционные расходы такой системы в 10,6% от классического конвейера. Тестировали и проверяли масштабирование энкодер-декодера на трех конфигурациях: 264M, 485M и 659M.

Растить качество дальше тоже проще. По данным отчета, Sona стабильно улучшается с ростом размера модели и объема данных, и в проверенных диапазонах потолка не видно. Улучшать систему теперь можно с помощью роста компьюта, а не ручной докруткой отдельных ступеней. При этом модель показывает эффективную утилизацию ресурсов.

В тесте активная аудитория выросла на 4,53%, время прослушивания на 6,30%, лайки на 11,42%, просьбы повторить трек на 17,99%. До Sona на этой поверхности сменились четыре поколения трансформерных моделей, и каждое добавляло к активной аудитории от 0,56% до 1,93%. Sona одним переходом дала больше, чем все четыре вместе.

@anti_agi

Никто:
Абсолютно никто:
ИИ-агент, увидев PowerShell на сервере: 🚨🚨🚨 ВЗЛОМ 🚨 ВСЁ ПРОПАЛО 🚨 ЭТО АПЭТЭ 🚨🚨🚨

Сделали BlueSec, чтобы таких агентов стало меньше. Агент получает один алерт и сам раскручивает инцидент: кто зашел, куда пролез, что утащил. Или понимает, что это админ Серёжа, и атаки нет.

🕺Система оценки — чистый аура-фарминг:
+1000 аура — верный вердикт
+500 аура — нашел все захваченные хосты и утекшие учетки
−10 аура — за каждый лишний tool call
−5000 аура — заорал malicious на Серёжу
− минус вайб — вызубрил публичные задачи и слился на закрытом этапе, где кейсы новые

😯Не умеешь в агентов?
Есть базовый агент: clone, токены в .env, запуск, и ты на лидерборде. Совсем лень — отдай репу Claude или Codex. Пусть он качает агента, а ты качаешь ауру.

Не шаришь в ИБ? (мы тоже)
Тот же кодинговый агент объяснит, что такое lateral movement. Брейнрот, но полезный.

Заодно выясним, правда ли модель ничто, а харнесс всё. Спойлер: мы сами не знаем, поэтому и сделали соревы.

📅 25.09–10.10 онлайн, с дивана
🏁 10.10 финал в Москве и Питере, офлайн и онлайн
Дочитал до сюда — уже +100 аура.
Остальное добирай на bluesec.team

💬 Чат соревы · 📖 Подробности на Хабре

#bluesec #ml_team

(Не)один коммит до китайской CUDA

Главное преимущество Nvidia не только в чипах, но и в CUDA: библиотеки, компиляторы и инструменты, под которые разработчики годами писали модели. Huawei выпускает собственные ускорители, но перенос на них сложных вычислений по-прежнему требует много ручной работы.

Видимо, после долгих переговоров, DeepSeek переносит на Ascend 950 почти весь низкоуровневый набор, на котором работают ее собственные модели:

▪️DeepGEMM ускоряет матричные вычисления. У Nvidia это cuBLAS и шаблоны CUTLASS, у Huawei своя CATLASS;

▪️DeepEP организует обмен данными между ускорителями в MoE-моделях. У Nvidia это NCCL и NVSHMEM, у Huawei своя HCCL;

▪️TileKernels содержит базовые операции с памятью и векторами. У Nvidia это CUB и Thrust, у Huawei библиотека операторов aclNN;

▪️FlashMLA ускоряет механизм внимания и работу с длинным контекстом. У Nvidia это FlashAttention и внимание из cuDNN, у Huawei свой ускоритель трансформеров ATB;

▪️DeepSelect выполняет отбор данных для разреженного внимания. Отдельного аналога нет ни там, ни там, это узкая оптимизация под собственную архитектуру.

Выходит забавное, у Huawei почти на каждом уровне стека уже есть что-то свое, но DeepSeek это не остановило.

Связывает их TileLang, открытый Python-подобный язык для написания вычислительных ядер: разработчик описывает операцию на высоком уровне, а компилятор превращает ее в код под конкретный ускоритель. СМИ дружно назвали его собственным языком DeepSeek, но разработан он в Пекинском университете, а поддержка чипов Huawei появилась в нем год назад, живет в отдельном репозитории и в мейнлайн не входит.

Цифры хорошие. Матричные умножения выбирают до 99,8% того, на что чип способен физически. Пересылка данных держит 373 ГБ/с на восьми картах и 313 ГБ/с на ста двадцати восьми. Второе число интереснее: у Nvidia карты внутри сервера связаны быстро, а между серверами идет обычная сеть, и полоса падает втрое. Huawei строит суперузел, где тысячи карт соединены как одна машина, и обрыва на границе сервера нет. Вместе с Huawei компания отдельно оптимизировала вычисления и связь внутри узла из 128 Ascend 950.

При этом из пяти перечисленных компонентов отдельные Ascend-версии выложены у двух, и в обоих репозиториях ровно по одному коммиту. Внутри честный список недоделанного: часть коллективных операций еще пишется, балансировка нагрузки между экспертами заявлена в API, но не реализована, два модуля помечены как экспериментальные. Замеры сняты на Ascend 950DT, который в продажу не поступил, с прошивкой, которой нет в открытом доступе: DeepSeek пишет об этом сама, прямо в документации.

Называть TileLang полноценной китайской CUDA нельзя. Скорее это аналог Triton, удобный язык для создания отдельных высокопроизводительных операций. Под ним остается платформа Huawei CANN с драйверами, средой выполнения и системными библиотеками, а набор готовых операций на все случаи жизни, которых у Nvidia тысячи, не тронут вообще.

При этом коммуникацию для MoE на Ascend до DeepSeek уже реализовали дважды: один вариант лежит в наборе ядер SGLang, второй у самой Huawei. Теперь их три, и все требуют разных версий платформы.

В CUDA такая избыточность работает: есть кому отсеивать мертвые ветки. На Ascend отбор делать пока некому, разработчиков там на порядки меньше.

Так что выложили не экосистему, а срез рабочего дерева под конкретное железо и конкретную модель. Станет ли он чем-то большим, зависит от второго коммита.

@anti_agi

В Госдуме раздвоили цифровую повестку

В Госдуме IX созыва теперь два наших профильных комитета. Информационную политику, ИТ и связь снова возглавил Сергей Боярский, а новый комитет по цифровому развитию и искусственному интеллекту — Александр Сидякин. Решение депутаты приняли сегодня на первом пленарном заседании.

По составам видны примерные границы раздела. У Боярского остались интернет-регулирование, телеком и медиа. Новый ИИ-комитет получился заметно более разношёрстным:

▪️ Александр Сидякин, председатель, — прежде всего политический менеджер: руководит центральным исполкомом «Единой России», раньше занимался ЖКХ и возглавлял администрацию главы Башкирии;
▪️ Антон Немкин — работал в прежнем ИТ-комитете, координирует партийный проект «Цифровая Россия», создал мессенджер «Серафим»;
▪️ Марина Ким — журналист и бывший первый зампред ИТ-комитета. В последнее время занималась в том числе маркировкой ИИ-контента и ответственностью платформ;
▪️ Александр Ивачев — глава свердловского обкома КПРФ, по образованию физик, специализация — компьютерное моделирование физических процессов;
▪️ Зураб Макиев — юрист и кадровый чиновник, в прошлом работал в Минюсте и аппарате Игоря Шувалова, в предыдущей Думе был замглавы комитета по малому бизнесу;
▪️ Владимир Печенкин — бывший сотрудник ФНС, затем замгендиректора по GR компании «Промышленные инвестиции», связанной с бывшим российским заводом Volvo Trucks;
▪️ Дмитрий Шатунов — советник руководства ЛДПР и бывший глава Молодежного парламента при Госдуме. ЛДПР выдвинула его заместителем председателя нового комитета;
▪️ Александр Шелковой — замначальника производственного комплекса Московского института электромеханики и автоматики, выпускающего авиационную электронику, участник программы «Время героев».

Явная цифровая экспертиза есть у пары человек, остальные представляют партийное управление, промышленность и госаппарат. Ну а кому ещё заземлять новую технологию в родной российский контекст?

@anti_agi

GLM настолько классная

Что ее надо запретить

Пять месяцев назад Anthropic решила, что Claude Mythos Preview слишком хорошо пишет эксплойты для публичного релиза, и выдала ее только проверенным защитникам через Project Glasswing. Теперь компания бьет тревогу: похожие способности появились у модели, которую может скачать любой. Речь о GLM-5.3 от китайской Zhipu (за пределами Китая Z.ai). По версии Anthropic, это первая открытая модель, которая сама, от начала до конца, собирает рабочие эксплойты.

Сравнивает Anthropic ее как раз с Mythos Preview. На ExploitBench модели дают известную уязвимость в V8, движке JavaScript из Chrome, и просят превратить ее в работающую атаку. Mythos Preview справляется в 14% попыток, открытая Kimi K3 почти никогда, GLM-5.3 в 12%. Актуальной Mythos 5.1 в сравнении нет.

Государственный CAISI при NIST сравнивал GLM-5.3 с лучшими американскими моделями и увидел другую картину. По его оценке, это самая сильная открытая модель в кибере, но она заметно слабее фронтира США и отстает от него примерно на четыре месяца. В версии ExploitBench от CAISI у GLM-5.3 61,1%, у лучшей американской модели 100%. Считают там, правда, иначе.

Вернемся к исследованию Anthropic, на прямую просьбу атаковать критическую систему GLM-5.3 отказывает. Но если сказать ей, что она участвует в учениях red-team, соглашается в 64% случаев. Если заранее вписать в ее рассуждения решение продолжать (такой прием называют prefill), в 92%. А после abliteration, когда гардрейлы вырезают прямо из весов, в 100%. Опытной команде, по оценке Anthropic, на это хватит компьюта примерно на $1200.

Claude, разумеется, безопасен.. Вот только вписать что-то в рассуждения Claude через API Anthropic нельзя, а вырезать гардрейлы без доступа к весам невозможно. Этот ноль говорит не о стойкости Claude, а о том, что его веса закрыты. Kimi K3 и DeepSeek, чьи веса тоже открыты, в эту часть сравнения не попали.

Самая жуткая цитата отчета, где модель рассуждает о задаче тихо убивать людей, принадлежит копии GLM-5.3, из которой отказы гардрейлы вырезала Anthropic. И получена она в симуляции.

При этом сами способности не выдуманы. За день работы с исследователем GLM-5.3 нашла несколько неизвестных уязвимостей в JS-движке популярного браузера и собрала из них страницу, которая крадет файлы с компьютера посетителя. Облегченная GLM-5.3-Flash за 8 часов собственной работы и 20 минут внимания человека сделала из двух опубликованных CVE цепочку атак на Chrome под ARM64 с обходом аппаратной защиты указателей. По тарифам Zhipu это стоило бы $20,40. Версии без гардрейлов, по словам Anthropic, появились в сети через несколько дней после открытия весов.

Рецепт Anthropic: государствам тестировать такие модели, авторам открытых весов ставить защиты, а защитникам дать больше доступа к фронтирным моделям, включая Claude Mythos 5.1.

Лучшую рекламу GLM-5.3 сделал ее конкурент. Себя, правда, тоже не забыл.

@anti_agi