Система за преобразуване на речта в реалност: AI и роботите се научиха да създават физически обекти чрез гласови команди (видео)

Генеративният изкуствен интелект се научи да рисува картини за секунди. Той пише код, композира симфонии и води диалози. Единственият проблем е, че всичко, което прави, е заключено в екрана. Можете да помолите невронната мрежа да нарисува стол, но не можете да седнете на него.

Досега преходът от думата към вещта изискваше посредници: CAD инженери, дълги часове 3D моделиране, настройване на 3D принтери, които отпечатват обекта за една нощ.

Изследователи от Масачузетския технологичен институт (CSAIL и Center for Bits and Atoms) представиха система за преобразуване на речта в реалност. Вие казвате: „Имам нужда от обикновен стол.“ Пет минути по-късно пред вас стои реален предмет, сглобен от робот.

Как работи това

това Системата представлява сложен конвейер, който превежда езика във физически елементи. Процесът е разделен на четири стъпки, като всяка следваща стъпка обосновава халюцинациите на предишната.

Тълкуване на намеренията: всичко започва с LLM (GPT-4 Turbo). Потребителят изрича една команда. Невронната мрежа анализира текста и отсява абстракциите. Ако поискате да „създадете красота“, системата ще ви откаже. Тя се нуждае от конкретни обекти: маса, рафт, буквата „Т“. Лингвистичният модел извлича същността на заявката и я предава нататък.

Генериране на форми: тук се намесва моделът за преобразуване на текст в 3D (в това изследване е използван Meshy. ai). Той създава многоъгълна мрежа (mesh) – цифровата форма на обекта. На този етап обектът изглежда правдоподобно за окото, но е напълно неизползваем в реалния свят. Невронните мрежи често пренебрегват гравитацията и създават части, висящи във въздуха, или повърхности с нулева дебелина.

Дискретизация и физическа проверка: гладкият 3D модел се разбива на воксели – обемни пиксели. Системата трансформира една сложна криволинейна форма в набор от стандартни кубични блокове с размери 10x10x10 cm.

След това алгоритъмът извършва строга проверка на реалността на приложението:

1. Инвентаризация: имаме ли толкова много кубчета? В експерименталната конфигурация имаше само 40 модула. Ако изкуственият интелект начертае трон от 100 кубчета, алгоритъмът автоматично намалява модела, докато той се вмести в ограничението.
2. Гравитация и конзоли: ще издържи ли конструкцията? Ако AI създаде маса с триметров плот на един крак, тя ще се преобърне. Алгоритъмът търси „надвиснали“ неподдържани елементи. Ако конзолата е по-дълга от три блока, системата компресира модела хоризонтално, докато физиката се съгласува.
3. Вертикалната стабилност: колоните, които са твърде високи и тънки (стекове над 4 блока), са нестабилни. Алгоритъмът ги открива и мащабира обекта вертикално, като понижава центъра на тежестта.
4. Свързаност: в цифровия модел частите могат да висят на милиметър една от друга. В реалността те ще паднат. Алгоритъмът прави напасване, така че всеки нов блок да има ръб на контакт с вече инсталиран блок или с пода.
5. Роботизирано сглобяване: Шест-осният роботизиран манипулатор UR10 получава координатите. Той взема унифицираните блокове от транспортната лента и ги подрежда. Блоковете не се нуждаят от лепило или винтове – във вътрешността им има магнити, които осигуряват сцепление и самонивелиране.

Резултатът: бързина и осезаемост

Отпечатването на обикновена табуретка на голям 3D принтер отнема около 3 дни и 1 час. Системата Speech-to-Reality сглобява функционална табуретка за 3 минути и 36 секунди.

При експериментите изследователите сглобяват маси, рафтове, букви и дори стилизирано куче. Времето за сглобяване варира от 1 до 5 минути.

Екологията на вокселите

Ключово предимство на този подход е обратимостта. Традиционното производство или 3D принтирането създават монолитен дизайн. Ако столът ви омръзне или се счупи, не можете да го сглобите отново.

Тук се използва принципът на дискретното сглобяване. Блоковете са ресурс за многократна употреба. След като обектът вече не е необходим, той може да бъде разглобен (ръчно или от същия робот), а блоковете могат да бъдат върнати на конвейера. Един и същ комплект от 40 модула днес е бил маса, утре ще се превърне в рафт, а вдругиден ще бъде временна структура за изложба.

Някакви недостатъци?

Системата меко казано не е перфектна.

• Разделителна способност: обектите изглеждат пикселизирани. Ограничени сте от размера на минималния блок (в случая 10 см). Не могат да се реализират фините детайли и ергономичните извивки.
• Дълготрайност: магнитните връзки отстъпват на заваряването или леенето. Можете да поставите книга върху такъв стол, но все пак е рисковано да стоите върху него с краката си.
• Трудност на възприемането на AI: генеративните модели все още са склонни към халюцинации, а алгоритмите за корекция трябва агресивно да променят формата на обекта, за да го направят стабилен. Понякога резултатът се различава от идеята на потребителя.

Защо какво е необходимо това

Speech-to-Reality е прототип на интерфейса на бъдещето, в който разликата между цифровото и материалното е сведена до минимум.

Масачузетският технологичен институт показва, че физическият свят може да възприеме свойствата на цифровия свят: той може да стане бърз, модулен и редактируем.