Видео недоступно для предпросмотра
Смотреть в Max
Decision 2.0
Семейство открытых decision-моделей от vLLM Semantic Router. Не генерируют текст, а отвечают на вопросы с вариантами ответа, да/нет или по шкале — сразу вероятностью для каждого варианта, одним проходом.
• Ответ на вопросы выбора, да/нет и по шкале за один проход
• Вероятность для каждого варианта вместо генерации текста
• Вход — текст или JSON
• Режим роутинга запросов: какой команде отдать тикет, есть ли чек, насколько срочно
• 6 размеров: от 0.6B до 27B (Vega-27B, Lux-9B, Nox-4B, Sol-2B, Eos-0.8B, Kai-0.6B)
• Контекст 32,768 токенов
• Медиана 71.4 мс на вопрос на одной GPU
Vega-27B — лучший в семействе, топ-скоор JevArena для своего размера (74.0)
github.com/vllm-project/semantic-router
Спасибо @m_franz
#decision #rlcd
Семейство открытых decision-моделей от vLLM Semantic Router. Не генерируют текст, а отвечают на вопросы с вариантами ответа, да/нет или по шкале — сразу вероятностью для каждого варианта, одним проходом.
• Ответ на вопросы выбора, да/нет и по шкале за один проход
• Вероятность для каждого варианта вместо генерации текста
• Вход — текст или JSON
• Режим роутинга запросов: какой команде отдать тикет, есть ли чек, насколько срочно
• 6 размеров: от 0.6B до 27B (Vega-27B, Lux-9B, Nox-4B, Sol-2B, Eos-0.8B, Kai-0.6B)
• Контекст 32,768 токенов
• Медиана 71.4 мс на вопрос на одной GPU
Vega-27B — лучший в семействе, топ-скоор JevArena для своего размера (74.0)
github.com/vllm-project/semantic-router
Спасибо @m_franz
#decision #rlcd