Нов симулатор 430 000 пъти ускорява обучението на роботите

Изследователи от университета Карнеги Мелън представиха платформата Genesis – нова симулационна система с отворен код, която ускорява обучението на роботи във виртуална среда 430 000 пъти по-бързо, отколкото в реалния свят. За един час симулация роботите могат да натрупат опит, еквивалентен на 10 години обучение. Genesis извършва физични изчисления до 80 пъти по-бързо от съществуващите решения и може да изпълнява до 100 000 симулации едновременно. Системата също така генерира „4D светове“ от текстови подсказки, като автоматично създава сложни среди за тестване на роботите.

Платформата Genesis извършва физични изчисления до 80 пъти по-бързо от аналогични решения като Isaac Gym на Nvidia. Процесът включва графични процесори, подобни на тези, използвани при видеоигрите. Това прави платформата способна да изпълнява до 100 000 симулации едновременно. Това е важно за обучението на невронните мрежи, предназначени за управление на роботи в реалния свят.

Разработчиците представиха и технология за генериране на „4D динамични светове“. Терминът „4D“ вероятно се отнася до моделирането на 3D пространството във времето, т.е. динамично. Моделите зрение-език (VLM) се използват за създаване на виртуални среди от текстови описания (подобно на промптовете в другите ИИ системи), като се прилагат собствените инфраструктурни API на Genesis. Генерираните с ИИ светове имат реалистична физика, движения на камерата и поведение на обектите, зададени чрез текстови команди. Системата генерира физически коректни видеоклипове с трасиране на лъчите и данни за обучението на роботите.

Традиционно симулациите изискват огромно количество усилия от страна на художниците: 3D модели, текстури, оформление на сцената. Но всеки компонент в този процес може да бъде автоматизиран. Новата технология, базирана на текстови заявки, дава възможност да се създават сложни среди за тестване на роботи чрез въвеждане на команди на естествен език вместо ръчно програмиране.

Движенията на героите, интерактивните 3D сцени, лицевите анимации и други елементи могат да се генерират с енджина Genesis, което е полезно както за създаване на художествени активи, така и за разработване на по-реалистични игри и видеоклипове с помощта на изкуствен интелект. За разлика от дифузионните модели, които работят със статистически данни за пикселите, Genesis конструира моделиран свят директно в данните.

Genesis се появява в момент, когато изследователите в областта на роботиката търсят по-добри инструменти за тестване и обучение на роботите във виртуална среда, преди да ги внедрят в реалния свят. Бързото и точно моделиране помага на роботите да усвояват по-бързо сложни задачи, като същевременно намалява необходимостта от скъпи физически тестове. Генеративната система все още не е част от кода, достъпен в GitHub, но екипът планира да я публикува в бъдеще.

Платформата се различава от другите симулатори на 3D свят за обучение на роботи с това, че използва Python както за интерфейса, така и за физичния енджин. За разлика от другите енджини, които използват C++ или CUDA с API на Python като среда, Genesis е изграден от нулата изцяло на Python. Благодарение на отворената платформа високоскоростното моделиране за обучение на роботи е достъпно за всеки изследовател безплатно, с прости команди на езика Python на стандартен хардуер.