Waymo и Gemini ще научат роботакситата да се справят с трудните ситуации на пътя

Waymo, дъщерно дружество на Alphabet, въведе нов подход за обучение на своите самоуправляващи се превозни средства, използвайки модела Gemini — голям мултимодален езиков модел (MLLM) от Google. Моделът ще подобри навигацията на автономните автомобили и ще им позволи да се справят по-добре със сложните пътни ситуации.

В нов изследователски документ Waymo дефинира своето развитие като „мултимодален модел от край до край за автономно шофиране“ (EMMA), който обработва данните от сензорите и помага на роботакситата да вземат решения за посоката на движение, като същевременно избягва препятствията. Според The ​​Verge, Waymo отдавна подчертава стратегическото си предимство поради достъпа до научни изследвания в областта на изкуствения интелект (AI) от Google DeepMind, който е бивша собственост на британската компания DeepMind Technologies.

Новата система EMMA представлява фундаментално различен подход към обучението на автономните превозни средства. Вместо традиционните модулни системи, които разделят функциите на възприемане, планиране на маршрут и други задачи, EMMA предлага унифициран подход, който ще позволи холистичното обработване на данните, ще помогне за избягване на грешките, които възникват при прехвърляне на данните между модулите, и ще подобри адаптирането към новите, непознати пътни условия в реално време.

Едно от ключовите предимства на използването на MLLM моделите, по-специално Gemini, е способността им да обобщават знанията, събрани от огромни количества данни, получени от Интернет. Това позволява на моделите да се адаптират по-добре към необичайните ситуации на пътя, като неочаквана поява на животни или ремонтни дейности. Освен това обучените с Gemini модели са способни на „верига от разсъждения“. Това е техника, която помага да се разделят сложните проблеми на последователни, логични стъпки, подобрявайки вземането на решения.

Въпреки успехите си, Waymo признава, че EMMA има своите ограничения. Например, моделът все още не поддържа обработка на 3D данни от сензори като лидар или радар поради високата изчислителна сложност. Освен това EMMA може да обработва едновременно само ограничен брой кадри на изображенията. Подчертава се, че ще са необходими допълнителни изследвания за преодоляване на всички тези ограничения преди пълното внедряване на модела в реалните условия.

Waymo също признава рисковете, свързани с използването на MLLM за управление на автономни превозни средства. Модели като Gemini могат да грешат или да „халюцинират“ в простите задачи, което разбира се е недопустимо на пътя. Въпреки това се надяваме, че по-нататъшните изследвания и подобренията в архитектурата на AI моделите за автономно шофиране ще преодолеят тези проблеми.

Спомнете си за роботаксито на Waymo, което блокира кортежа на Камала Харис и полицай трябваше да бута колата на ръце, за да освободи пътя.