🤖 Яндекс выложил в открытый доступ новую ИИ-модель
Компания представила Alice AI Foundation LLM — базовую MoE-модель, которую Яндекс полностью обучил с нуля.
Всего у модели 80 млрд параметров, но для обработки каждого токена задействуется только 3 млрд. Такой подход позволяет не держать всю модель активной при каждом запросе.
При обучении Яндекс отдельно оптимизировал работу с видеокартами и отбор данных, а также заложил основу для рассуждений уже на этапе претрейна.
📦 Модель доступна под лицензией Apache 2.0 — её можно использовать и дообучать под свои задачи.
🔗 Модель на Hugging Face
📄 Технический отчёт
💬 Как вам новость? Ставьте реакцию:
❤️ — класс
🔥 — буду следить
Компания представила Alice AI Foundation LLM — базовую MoE-модель, которую Яндекс полностью обучил с нуля.
Всего у модели 80 млрд параметров, но для обработки каждого токена задействуется только 3 млрд. Такой подход позволяет не держать всю модель активной при каждом запросе.
При обучении Яндекс отдельно оптимизировал работу с видеокартами и отбор данных, а также заложил основу для рассуждений уже на этапе претрейна.
📦 Модель доступна под лицензией Apache 2.0 — её можно использовать и дообучать под свои задачи.
🔗 Модель на Hugging Face
📄 Технический отчёт
💬 Как вам новость? Ставьте реакцию:
❤️ — класс
🔥 — буду следить