⚡️ Ученые нашли способ обучать ИИ на фотонных чипах
Обучение нейросетей на альтернативном железе – фотонных, аналоговых и нейроморфных чипах – долго оставалось проблемой. Классические методы требуют полного доступа к внутренним процессам, а такие вычислители работают как «черный ящик». Исследователи из AIRI, Центра квантовых технологий Сбера и Сколтеха решили эту задачу, представив алгоритм astralora.
Его суть в том, что система подает случайные сигналы и фиксирует, как реагирует чип. На основе этих откликов строится компактная суррогатная модель, которая адаптируется под «черный ящик» и позволяет пропускать сигнал об ошибке. То есть разбираться во внутреннем устройстве конкретного компонента больше не нужно.
Альтернативные чипы обещают огромный выигрыш в скорости и энергоэффективности. Подход уже успешно протестировали на языковой модели GPT-2 (417 млн параметров), а также на задачах классификации звука и изображений. В будущем такие гибридные системы могут стать стандартом для крупных дата-центров, делая обучение тяжелых моделей быстрее и дешевле 🚀
Обучение нейросетей на альтернативном железе – фотонных, аналоговых и нейроморфных чипах – долго оставалось проблемой. Классические методы требуют полного доступа к внутренним процессам, а такие вычислители работают как «черный ящик». Исследователи из AIRI, Центра квантовых технологий Сбера и Сколтеха решили эту задачу, представив алгоритм astralora.
Его суть в том, что система подает случайные сигналы и фиксирует, как реагирует чип. На основе этих откликов строится компактная суррогатная модель, которая адаптируется под «черный ящик» и позволяет пропускать сигнал об ошибке. То есть разбираться во внутреннем устройстве конкретного компонента больше не нужно.
Альтернативные чипы обещают огромный выигрыш в скорости и энергоэффективности. Подход уже успешно протестировали на языковой модели GPT-2 (417 млн параметров), а также на задачах классификации звука и изображений. В будущем такие гибридные системы могут стать стандартом для крупных дата-центров, делая обучение тяжелых моделей быстрее и дешевле 🚀