Как построить Diffusion Language Model
#ai
Это, по сути, введение в диффузионные языковые модели, альтернативу авторегрессивным LLM, которые генерируют текст по токену слева направо. Вместо этого диффузия создает сразу всю последовательность и итеративно "денойзит" ее. Такой подход дает исправление ошибок, возможность менять скорость за счет числа шагов и двунаправленный контекст
Статья разбирает строительные блоки современных моделей - блочную диффузию для переменной длины, энкодер-декодер архитектуру, ремаскинг для исправления ошибок, дистилляцию для ускорения, контролируемую генерацию и постобучение.
Автор описывает реальные модели вроде Mercury 2, Gemma Diffusion, Nemotron Diffusion
https://kodikapusta.ru/news/1210-kak-postroit-diffusion-language-model
Поддержать проект на boosty: https://boosty.to/kodikapusta
#ai
Это, по сути, введение в диффузионные языковые модели, альтернативу авторегрессивным LLM, которые генерируют текст по токену слева направо. Вместо этого диффузия создает сразу всю последовательность и итеративно "денойзит" ее. Такой подход дает исправление ошибок, возможность менять скорость за счет числа шагов и двунаправленный контекст
Статья разбирает строительные блоки современных моделей - блочную диффузию для переменной длины, энкодер-декодер архитектуру, ремаскинг для исправления ошибок, дистилляцию для ускорения, контролируемую генерацию и постобучение.
Автор описывает реальные модели вроде Mercury 2, Gemma Diffusion, Nemotron Diffusion
https://kodikapusta.ru/news/1210-kak-postroit-diffusion-language-model
Поддержать проект на boosty: https://boosty.to/kodikapusta