Почти в любом сервисе с персональной лентой рекомендации подбирает цепочка из большого количества моделей. В Яндексе проверили, может ли всю цепочку заменить одна нейросеть.
В умных колонках с Алисой, например, музыку подбирает каскад из десятков алгоритмов: одни отбирают из миллионов треков подходящие, другие отсеивают лишнее и выбирают лучшее. Каждый из них обучают отдельно, а признаки, по которым они оценивают треки, инженеры подбирают вручную.
Новая модель Sona делает всё это одна. Она устроена как языковая модель, только вместо следующего слова угадывает следующий трек. Для этого у каждой песни есть код из трёх токенов: его составляет другая нейросеть по первым 90 секундам звучания, названию и тегам. Вместо признаков Sona получает сырую историю — до 8192 последних действий человека, например что он слушал, пропускал, лайкал и дизлайкал. Закономерности в этих данных модель находит сама и постоянно дообучается: пропущенный трек попадает в её обучение примерно через 45 минут.
Инженеры проверили, справится ли Sona вместо всей прежней цепочки: неделю она подбирала музыку части слушателей умных колонок с Алисой. Время прослушивания рекомендованных треков выросло на 6,3%, а просьб повторить трек стало почти на 18% больше.
Единые рекомендательные модели сейчас строят крупные технологические компании. Китайская Kuaishou, владелец одной из самых популярных видеоплатформ страны, заменила цепочку одной моделью, но оставила ручные признаки. Pinterest объединил только часть этапов. Яндекс первым в мире разработал и протестировал систему с одной нейросетью вместо всей цепочки, самостоятельным подбором критериев и ростом качества в реальных условиях.
Поскольку эксперимент оказался успешным, Яндекс планирует развивать этот подход к созданию рекомендательных систем.
Подписывайтесь 👉 @techno_yandex
В умных колонках с Алисой, например, музыку подбирает каскад из десятков алгоритмов: одни отбирают из миллионов треков подходящие, другие отсеивают лишнее и выбирают лучшее. Каждый из них обучают отдельно, а признаки, по которым они оценивают треки, инженеры подбирают вручную.
Новая модель Sona делает всё это одна. Она устроена как языковая модель, только вместо следующего слова угадывает следующий трек. Для этого у каждой песни есть код из трёх токенов: его составляет другая нейросеть по первым 90 секундам звучания, названию и тегам. Вместо признаков Sona получает сырую историю — до 8192 последних действий человека, например что он слушал, пропускал, лайкал и дизлайкал. Закономерности в этих данных модель находит сама и постоянно дообучается: пропущенный трек попадает в её обучение примерно через 45 минут.
Инженеры проверили, справится ли Sona вместо всей прежней цепочки: неделю она подбирала музыку части слушателей умных колонок с Алисой. Время прослушивания рекомендованных треков выросло на 6,3%, а просьб повторить трек стало почти на 18% больше.
Единые рекомендательные модели сейчас строят крупные технологические компании. Китайская Kuaishou, владелец одной из самых популярных видеоплатформ страны, заменила цепочку одной моделью, но оставила ручные признаки. Pinterest объединил только часть этапов. Яндекс первым в мире разработал и протестировал систему с одной нейросетью вместо всей цепочки, самостоятельным подбором критериев и ростом качества в реальных условиях.
Поскольку эксперимент оказался успешным, Яндекс планирует развивать этот подход к созданию рекомендательных систем.
Подписывайтесь 👉 @techno_yandex