🤖 kimi-k3-in-c
👁️ Реализация инференса Kimi K3 на переносимом C99 без BLAS, сторонних фреймворков и видеокарты.
Модель с 2,78 трлн параметров запускается на одном процессоре с пиковым потреблением около 8,24 ГБ оперативной памяти. Движок занимает 176 КБ, а модель объёмом 1,56 ТБ потоково загружается с диска, сохраняя одинаковый результат на разных объёмах памяти.
❗ Подойдёт разработчикам и исследователям, изучающим низкоуровневую реализацию инференса больших языковых моделей.
Проверить в деле
tags: #утилиты #ии
🧭 @recura_tech
👁️ Реализация инференса Kimi K3 на переносимом C99 без BLAS, сторонних фреймворков и видеокарты.
Модель с 2,78 трлн параметров запускается на одном процессоре с пиковым потреблением около 8,24 ГБ оперативной памяти. Движок занимает 176 КБ, а модель объёмом 1,56 ТБ потоково загружается с диска, сохраняя одинаковый результат на разных объёмах памяти.
❗ Подойдёт разработчикам и исследователям, изучающим низкоуровневую реализацию инференса больших языковых моделей.
Проверить в деле
tags: #утилиты #ии
🧭 @recura_tech