Проучване на Microsoft констатира, че изкуственият интелект все още не е много добър в отстраняването на грешки в софтуерния код

Ново проучване на подразделението Microsoft Research разкрива, че въпреки факта, че изкуственият интелект помага на разработчиците да пишат код, дори усъвършенстваните модели OpenAI (o1) и Anthropic (Claude 3.7 Sonnet) се справят с коригирането на грешките в не повече от половината от случаите. Тестовете са базирани на най-добрия бенчмарк SWE-bench, който измерва способността на ИИ системите да създават програмен код.

По време на експеримента ИИ агентите се опитват да решат 300 задачи, за да отстранят бъговете в кода. Лидер стана Claude 3.7 Sonnet, който изпълни задачата с успеваемост от 48,4%, на второ място се класира OpenAI o1 (30,2%), а на трето – o3-mini (22,1%). Както може да се види обаче, дори и тези числа са далеч от нивото, което може да се очаква от опитни програмисти-хора. Както обяснява TechCrunch, основният проблем е, че изкуственият интелект все още не разбира добре как да използва наличните инструменти и да интерпретира грешките.

Според авторите на проучването основна пречка остава липсата на данни за обучение на моделите.

„Твърдо вярваме, че обучението или предварителното обучение може да ги направи по-добри интерактивни дебъгъри“, пишат те. – „Това обаче изисква специализирани данни, като например верига от записи на всички човешки взаимодействия с ИИ дебъгъри.

В момента тези данни са твърде оскъдни, което ограничава възможностите на моделите. Така например популярният инструмент Devin на стартъпа Cognition Labs успя да премине само три от 20-те теста за кодиране именно поради тази причина. И макар че ИИ активно се използва от компании като Google, според главния изпълнителен директор Сундар Пичай една четвърт от кода, който се създава с помощта на изкуствен интелект, може дори наобратно – да добави грешки.

Технологичните лидери са скептични по отношение на пълното автоматизиране на професията на програмиста. Бил Гейтс е сигурен, че програмирането като професия със сигурност никъде няма да изчезне. Главният изпълнителен директор на Replit Амджад Масад (Amjad Masad), главният изпълнителен директор на Okta Тод Маккинън (Todd McKinnon) и главният изпълнителен директор на IBM Арвинд Кришна (Arvind Krishna) са на същото мнение.

Въпреки очевидните предизвикателства, интересът към инструментите за разработка на изкуствен интелект продължава да расте. Инвеститорите виждат потенциал за повишаване на ефективността, но водещите разработчици смятат, че е твърде рано да се доверим напълно на ИИ.