Видео недоступно для предпросмотра
Смотреть в Max
ВАМ LLM ИЛИ LLM ПОБЫСТРЕЕ? 🔫
ㅤ
Команда ML-инженера Sber AI Артёма Снегирева выпустила FRIDA-Decisions — быстрый энкодер, который берёт на себя простые решения, пока LLM занимается сложными. Энкодер может использоваться для роутинга, guardrails, классификации и отбора документов для RAG.
ㅤ
Вот всё, что нужно знать о FRIDA:
ㅤ
👉 просит всего 1,8 ГБ видеопамяти
👉 запускается на CPU через int8 ONNX
👉 новая задача не требует дообучения — достаточно передать новые варианты в JSONㅤ
Модель не прогоняет текст заново для каждого варианта, а читает его один раз, поэтому разбирает каталог из 243 интентов за 0,44 вместо 4,65 секунды. На бенчмарке razvilka из 735 задач на русском FRIDA-Decisions набрала 0,893 — почти на уровне коммерческого API TypeSafe Jev (0,897).
ㅤ
Веса, код и демодоступны открыты по лицензии MIT:
ㅤ
ㅤ
Команда ML-инженера Sber AI Артёма Снегирева выпустила FRIDA-Decisions — быстрый энкодер, который берёт на себя простые решения, пока LLM занимается сложными. Энкодер может использоваться для роутинга, guardrails, классификации и отбора документов для RAG.
ㅤ
Вот всё, что нужно знать о FRIDA:
ㅤ
👉примерно в 10 раз быстрее API по независимым замерам — 28–34 мс на запрос на RTX 5060 Ti
👉 просит всего 1,8 ГБ видеопамяти
👉 запускается на CPU через int8 ONNX
👉 новая задача не требует дообучения — достаточно передать новые варианты в JSONㅤ
Модель не прогоняет текст заново для каждого варианта, а читает его один раз, поэтому разбирает каталог из 243 интентов за 0,44 вместо 4,65 секунды. На бенчмарке razvilka из 735 задач на русском FRIDA-Decisions набрала 0,893 — почти на уровне коммерческого API TypeSafe Jev (0,897).
ㅤ
Веса, код и демодоступны открыты по лицензии MIT:
ㅤ
🤖 Демо
🤖 Модель
🤖 Бенчмарк
🤖 Код
🤖 Примеры