⚡ GuppyLM

👁️ Небольшая языковая модель с открытым исходным кодом, которую можно обучить с нуля примерно за пять минут на одной видеокарте.

Проект показывает полный путь создания модели: генерацию данных, токенизацию, архитектуру, обучение и инференс. Модель содержит 8,7 млн параметров, обучается на 60 тысячах синтетических диалогов и достаточно мала для запуска в браузере.

❗ Подойдёт разработчикам и исследователям, которые хотят на практике разобраться в устройстве и обучении небольших языковых моделей.

Проверить в деле

tags: #утилиты #ии #разработка

🧭 @recura_tech