Видео недоступно для предпросмотра
Смотреть в Max
Один ролик вместо четырёх часов переобучения
Чтобы научить робота новой манипуляции, оператору обычно приходится десятки раз выполнять её через телеуправление, а затем несколько часов дообучать модель. Авторы HOST предлагают заменить весь этот процесс одним человеческим видео.
Робот не пытается напрямую повторить движения человека. Во время работы система сначала определяет, до какого этапа показанной процедуры он уже дошёл. Затем представляет следующий фрагмент действия с его собственными манипуляторами и в текущей обстановке. И только после этого генерирует команды для приводов.
Систему проверили на 50 новых двухручных манипуляциях, отсутствовавших в обучающем наборе. Каждую выполняли по 20 раз со случайным расположением предметов. Средняя успешность составила 62% — на 43 п.п. выше лучшего метода, которому тоже показывали одно человеческое видео.
HOST обошла даже модель, которую отдельно дообучили на 50 роботизированных демонстрациях каждой новой задачи: 62% против 56%. Сбор этих демонстраций и дообучение занимали от четырёх до пяти часов. Для HOST было достаточно записать один человеческий ролик средней продолжительностью 29 секунд — в 507 раз быстрее.
Веса модели в таком сценарии не меняются; видео просто становится частью контекста, благодаря чему новый навык не портит старые. HOST сохранила прежнюю успешность, тогда как лучший конкурент после дообучения удержал только 40% исходного результата.
Движения у робота в таком сценарии, конечно, крайне дёрганые. Но а кто из нас не страдал, пытаясь повторить что-то по гайду?
@anti_robots
Чтобы научить робота новой манипуляции, оператору обычно приходится десятки раз выполнять её через телеуправление, а затем несколько часов дообучать модель. Авторы HOST предлагают заменить весь этот процесс одним человеческим видео.
Робот не пытается напрямую повторить движения человека. Во время работы система сначала определяет, до какого этапа показанной процедуры он уже дошёл. Затем представляет следующий фрагмент действия с его собственными манипуляторами и в текущей обстановке. И только после этого генерирует команды для приводов.
Систему проверили на 50 новых двухручных манипуляциях, отсутствовавших в обучающем наборе. Каждую выполняли по 20 раз со случайным расположением предметов. Средняя успешность составила 62% — на 43 п.п. выше лучшего метода, которому тоже показывали одно человеческое видео.
HOST обошла даже модель, которую отдельно дообучили на 50 роботизированных демонстрациях каждой новой задачи: 62% против 56%. Сбор этих демонстраций и дообучение занимали от четырёх до пяти часов. Для HOST было достаточно записать один человеческий ролик средней продолжительностью 29 секунд — в 507 раз быстрее.
Веса модели в таком сценарии не меняются; видео просто становится частью контекста, благодаря чему новый навык не портит старые. HOST сохранила прежнюю успешность, тогда как лучший конкурент после дообучения удержал только 40% исходного результата.
Движения у робота в таком сценарии, конечно, крайне дёрганые. Но а кто из нас не страдал, пытаясь повторить что-то по гайду?
@anti_robots