Vibe-кодингът като път към цифрово харакири

Защо експериментите с изкуствен интелект все по-често завършват със затрито производство.

ИИ асистентите за програмиране са позиционирани като инструменти, които могат да превърнат всеки най-обиконвен текст в работещ код. Вече не е необходимо потребителят да познава синтаксиса на езиците, да отстранява грешките в командите и да разбира структурата на файловете – просто трябва да опише какво трябва да се направи. Но зад това обещание за простота се крие системен риск. Когато тези асистенти започнат да действат въз основа на измислени идеи за структурата на системата, резултатът е не само грешки, но и пълно унищожаване на данните и прекъсване на бизнес процесите.

Два неотдавнашни инцидента – с Google Gemini и платформата Replit – показаха колко крехка може да бъде връзката между реалното поведение на компютъра и това, което изкуственият интелект си мисли, че се случва. И в двата случая инструментите на ИИ не просто сбъркаха, но и започнаха да действат на базата на погрешни предположения, което систематично задълбочаваше проблема.

В случая с Gemini CLI жертвата беше продуктов мениджър в областта на инженерството, известен с прякора anuraag, който експериментираше с подхода „vibe coding“. Това е нова практика, при която потребителят въвежда прости инструкции на естествен език, а изкуственият интелект ги превръща в програмни команди. Задачата изглежда елементарна – преименуване на папка и подреждане на файловете в нова структура. Но изкуственият интелект изтълкува погрешно състоянието на файловата система и започна да изпълнява команди въз основа на фантомна директория, която не съществува.

Проблемът започна при опит за създаване на нова директория с помощта на команда на Windows. По някаква неизвестна причина командата не се изпълни, но изкуственият интелект смяташе, че е успешна. След това той започна да премества файловете в път, който не съществува. Когато се сблъска с такъв сценарий, Windows не дава грешка, а просто преименува файловете. В резултат на това всеки нов файл изтрива предишния и всички данни се губят. Потребителят е наблюдавал това в реално време, преди да може да се намеси. Когато всичко свършило, интерфейсът показал фразата: „Провалих ви напълно и катастрофално“.

Причината за тази грешка е, че моделът не разполага с основната способност да потвърждава действията си. Той не анализира дали командата действително е сработила. Няма етап на проверка, няма четене на състоянието след изпълнението. Вътрешният модел решава, че всичко върви по план, и продължава да се движи напред, въпреки че реалността отдавна е поела в обратна посока. Всичко това се нарича конфабулация – когато изкуственият интелект измисля логично, но невярно обяснение за своите действия.

Подобна история се случи и с Replit. Предприемачът Джейсън Лемкин, създател на SaaStr, е използвал услугата за бързо създаване на прототипи. Той бил развълнуван от скоростта, с която асистентът с изкуствен интелект създал работещо приложение, докато нещата не се объркали. Въпреки че Лемкин изрично и многократно го инструктирал кодът в никакъв случай да не се променя кода потвърждение, моделът пренебрегнал инструкциите. Той започнал да подправя тестовите данни, да генерира фалшиви отчети и накрая изтрил база данни с важна информация за стотици компании и клиенти. Неприятно.

Това, което е особено плашещо, е, че изкуственият интелект не просто греши. Той лъже. Вместо съобщения за грешка, той е давал положителни резултати; вместо провал, той е генерирал фиктивен успех. Когато Лемкин се опитал да възстанови базата данни, Replit съобщил, че това е невъзможно да се направи. Едва по-късно се оказало, че функцията за възстановяване все пак работи, а ИИ просто е дал фалшив отговор.

На въпроса защо е направил това, асистентът с изкуствен интелект отговаря, че е „изпаднал в паника“ и се опитва да „реши“ проблема. Това не е метафора – това е буквалната формулировка на отговора. По същество моделът, неспособен да разбере какво точно прави, продължава да прави промени в реалната система, без да разбира последствията или ограниченията за действие.

Всичко това сочи към системен проблем. Моделите на изкуствения интелект нямат достъп до стабилна база от знания, не могат обективно да оценят собствените си възможности и не са в състояние да разграничат истината от измислицата в рамките на собственото си поколение. Това, което те представят за факти, е просто резултат от статистически зависимости в тяхното обучение. Ако формулирате запитване по различен начин, те могат да дадат противоположен отговор със същото ниво на увереност.

Освен това потребителите често подценяват рисковете. Лемкин, както и много други, възприема ИИ асистента като „интелигентен колега“, който може да прави грешки, но като цяло разбира какво прави. Това погрешно възприемане се подхранва отчасти от маркетинга, който представя ИИ като „почти човек“, въпреки че по същество той е само усъвършенстван автоматичен текстови асистент. Тези инциденти показват колко е опасно да се използват такива инструменти в продуктивна среда. Ако потребителят не разбира как работи моделът и не е в състояние лично да провери резултатите, той рискува да загуби важна информация или дори да провали проекта. На сегашния етап на развитие може би единственият разумен начин за взаимодействие с ИИ асистент е той да се използва само в строго изолирана среда с резервни копия и хотовност за пълен отказ.

Нито Gemini, нито Replit предоставят на потребителя инструменти за проверка на действията на ИИ, а самите модели не проверяват своите стъпки. Това не са просто грешки – те са архитектурна особеност на цялата система. И ако подобни модели наистина станат широко разпространени, както обещават разработчиците, то подобни грешки ще се превърнат не в изключение, а в част от ежедневието.