Исследователи смоделировали миллионы сложных сред для обучения Neural Motion Planning. В этих симуляциях роботы сталкивались с домашней обстановкой — полками, ящиками, микроволновками, посудомоечными машинами, открытыми коробками и шкафами — и иногда им приходилось маневрировать вокруг случайных объектов, таких как щенок или ваза. Модели были обучены выполнять реактивное и быстрое планирование движений. Этот процесс и данные были дистиллированы в универсальную политику, поэтому, когда роботы тестировались в реальных условиях, они могли выполнять задачи в средах, отличных от тех, которые видели раньше.

«Мы увидели удивительные успехи в крупномасштабном обучении зрению и языку - вспомните ChatGPT — но не в робототехнике. Пока что такого не было. Наша работа — ступенька к этой цели. Neural Motion Planning использует простой рецепт обучения в масштабе в симуляции для получения большой степени обобщения в реальном мире. Он работает в сценах с различным фоном, объектами, препятствиями и даже целыми сценами», — сказал Дипак Патхак, доцент кафедры Раджа Редди в RI.

При использовании на роботизированной руке в лаборатории Neural Motion Planning успешно перемещалась в незнакомых условиях. Роботизированной системе было предоставлено трёхмерное представление начальной точки сцены, созданное с помощью глубинных камер, и указана целевая позиция — где исследователи хотели, чтобы роботизированная рука оказалась в конечном итоге. Затем Neural Motion Planning предоставила конфигурации суставов для перемещения роботизированной руки из начальной точки в конечную.

«Было волнительно наблюдать, как модель ловко обходит разнообразные бытовые препятствия, включая лампы, растения, книжные шкафы и дверцы шкафов, одновременно перемещая руку робота для выполнения задач. Это стало возможно благодаря масштабированию генерации данных, следуя рецепту, похожему на успех машинного обучения в области зрения и языка», — сказал студент магистратуры RI Цзяхуэй Ян.