🔬 Можно ли обучать очень глубокие нейросети без привычного обратного распространения ошибки?
Исследователи Sakana AI представили PC-ALM — метод обучения нейросетей, основанный на локальных взаимодействиях между соседними слоями.
Вместо привычного сквозного обратного распространения градиентов авторы предлагают другой подход. В экспериментах им удалось обучать сети глубиной до 1000 слоёв.
Как исследователям удалось обучить такую глубокую сеть и что делает PC-ALM необычным? Рассказываем, как устроен новый метод ⬆️
Исследователи Sakana AI представили PC-ALM — метод обучения нейросетей, основанный на локальных взаимодействиях между соседними слоями.
Вместо привычного сквозного обратного распространения градиентов авторы предлагают другой подход. В экспериментах им удалось обучать сети глубиной до 1000 слоёв.
Как исследователям удалось обучить такую глубокую сеть и что делает PC-ALM необычным? Рассказываем, как устроен новый метод ⬆️