Сбер представил GreenWAM — модель ИИ, которая умеет формировать команды для робота и прогнозировать, как изменится сцена после его действий. Разработка сочетает два направления — моделирование происходящего и управление движениями.

GreenWAM продолжает линейку исследований Сбера в робототехнике, к которой относится и Green-VLA. В новой работе акцент сделали на прогнозе последствий действий. По прогнозированию и управлению она показала уровень ведущих мировых решений, усиливая обе способности друг за счет друга.

Для обучения специалисты Сбера использовали данные 20 семейств роботов — от двуруких манипуляторов до человекоподобных машин с кистями. Все действия привели к единому формату, а в архитектуру добавили отдельный модуль выбора действий.

По командам робота GreenWAM может предсказывать видео длиной до минуты. В международном тесте WorldArena 1.0 модель заняла второе место среди 128 участников по качеству прогноза. В RoboTwin 2.0 она успешно выполнила 67,5%, а в знакомых условиях — 87%, что уступает только двум моделям в официальном рейтинге. В тесте LIBERO-plus, где менялись освещение, положение камер, фон и формулировка команды, GreenWAM без дообучения справилась с 86,8% задач, обойдя π0.5 и аналоги NVIDIA и AgiBot.

Модель также протестировали на человекоподобном роботе «Грине», созданном Сбером. В сравнении с NVIDIA Cosmos 3 Edge доля успешных задач выросла до 95,6% в знакомых условиях и до 84% в новых.

Эксперименты показали, что прогнозирование и управление в модели усиливают друг друга. Обучение на робототехнических данных улучшило точность предсказаний и повысило успешность выполнения задач. При этом сохранение навыка прогнозирования помогло лучше справляться с новыми условиями, где ошибки чаще связаны с неверным представлением изменившейся сцены.

Для работы в реальном времени Сбер создал ускоренную версию модели. Она работает в 12,3 раза быстрее, а успешность на роботе снизилась лишь с 95,6% до 91,1%, что важно для быстрой реакции на изменения обстановки.

Источник: Сбербанк