Claude срещу ChatGPT срещу Gemini: Симулацията на реални задачи излъчи категоричния победител

LLM се развиват със застрашителна скорост и в зависимост от вашата позиция това е или апокалиптично, или фантастично. Днес се говори за AI агенти, но в крайна сметка всеки агент е ограничен от модела, в който работи. Така че, независимо от това каква конфигурация използвате, очевидно е важно кой модел в крайна сметка ще бъде използван.

Чувал съм много за Claude, както вероятно и вие. Изглежда, че Claude е най-подходящият LLM за хора, които действително искат да свършат нещо – отвъд превръщането на снимки в карикатури или чатбот отдушник. Но аз се абонирах за ChatGPT, още когато стартира, и така и не събрах смелост да го напусна. На всичкото отгоре имам абонамент за Google One, който идва с Gemini. Да плащам за трети LLM ми се струваше… екстравагантно.

Но ето, че се случи. Около Claude се вдигна толкова много шум, че реших най-накрая да го пробвам. А какъв по-добър начин всички тези LLM да бъдат изправени един срещу друг от един симулатор на Слънчевата система?

Да създадем симулатор на слънчевата система

Той тества нещо много повече от сорс кода.

Забавлявах се с много най-различни идеи за подходящ сравнителен тест за LLM. Тъй като това са големи езикови модели, най-добрият начин да ги тестваме е да ги накараме да използват някакъв език, а няма по-подробно документиран език от езика за програмиране. Естествено, първо обмислих обичайните заподозрени: създаване на уеб сайт, клонинг на Flappy Bird, може би симулатор на движение. Но исках нещо с повече физика, повече правила и за предпочитане нещо, което още не е било правено досега. Спрях се на пълноценен изследовател на Слънчевата система.

Триизмерният симулатор на Слънчевата система щеше да принуди LLM да се справи наведнъж с физиката, графиката, логиката на симулацията, UX и архитектурата. Проектът щеше да бъде уеб базиран, самостоятелен в един файл и нямаше да задавам стека. Изкушавах се да наложа Babylon.js вместо Three.js, само за да направя нещата по-интересни, но изборът на стек е част от предизвикателството. Добавих и още едно правило: никакви повторни опити, никакви редакции, никакви поправки. Първият резултат щеше да бъде крайният резултат.

По-долу е заданието, което използвах и за трите. Опитах се да го запазя колкото се може по-живописно и избягвах да давам твърди технически ограничения. Подсказката се фокусира почти изцяло върху формата и функцията. Освен това пуснах и трите в основните им уеб интерфейси за чат, а не в техните настолни приложения или специфични за кодирането инструменти.

Създай браузърно базиран изследовател на Слънчевата система, който работи локално в уеб браузъра и прилича на истинска интерактивна симулация, а не на демонстрационна играчка. Той трябва точно да представя структурата и движението на Слънчевата система, с правдоподобни размери на планетите, орбитално поведение, осветление, въртене и пространствен мащаб, като същевременно остава удобен за използване и визуално ясен. Усещането трябва да е реалистично, изпипано и естетически издържано, с плавна навигация, интуитивно приближаване и движение на камерата и представяне, което прави пространството обширно и детайлно. Крайният резултат трябва да е напълно функционален, визуално впечатляващ, научно обоснован и да може да се изпълнява директно в браузъра, без да изисква бекенд или външни услуги.

Забележка: Хоствах и трите резултата във Vercel, така че можете да ги изпробвате самостоятелно.

Gemini беше бърз и изглеждаше почти впечатляващо

Лъскавината изчезна в момента, в който се доближих.

Gemini 3 Thinking завърши първи. Това беше и единственият модел, който нямаше смисъл да извежда резултата в интерфейс в стил Canvas, но това е незначителна забележка. Взех кода и го стартирах.

Gemini избра Three.js и отдалеч изглеждаше добре. Планетите обикаляха около слънцето, осветлението се усещаше като истинско и имаше реални сенки. На един от скрийншотите можете да видите как планетите се затъмняват една друга, което е приятно попадение и веднага прави цялото творение по-съществено. Най-малкото, това може да се използва като наистина хубав тапет за програмата Wallpaper Engine.

Пукнатините се появяват, когато увеличите изображението. Промптът на екрана гласи „кликнете върху планетите, за да фокусирате“, но кликването всъщност не върши нищо. А кликването върху движеща се планета е по-разочароващо, отколкото би трябвало да бъде. Текстурите на планетите бяха другата слаба страна – опростени градиенти, без истински детайли на повърхността и без начин да се разбере дали някоя планета изобщо се върти. Избирането на планета от менюто предизвикваше красив ефект на преследване с камерата, но той идваше с грешка: след като веднъж сте се фиксирали върху нея, не можете да се отдалечите назад. Налага се опресняване на страницата, за да се оправи. Забавна функция, лошо изпълнение.

ChatGPT мисли дълго и упорито

И после сбърка.

ChatGPT финишира последен. Използвах ChatGPT 5.4 Thinking и той мисли доста дълго, преди да създаде кода. За съжаление, резултатът беше фатално лош още от самото начало. Всички планети бяха подредени на една и съща позиция със Слънцето – нямаше орбити, нямаше разстояние, нямаше въртене, просто купчина сфери, припокриващи се в началото.

Решихме да не се правят поправки и да не се правят повторни опити, така че това е резултатът, който оценяваме. Точно това е смисълът на теста.

Интересно е, че помолих ChatGPT да прегледа собствения си код и да идентифицира проблема. Той изброи около десетина потенциални проблема и напълно пропусна истинския. При по-внимателна ръчна проверка причината се оказа проста и почти човешка: симулацията съхраняваше орбиталните разстояния в AU (астрономически единици), но рендерът очакваше километри. Така че, когато кодът е трябвало да постави Меркурий на 0,5 AU от Слънцето, вместо това той го е поставил на 0,5 km – на практика вътре в него.

Струва си да се отбележи: ChatGPT също така напълно прескочи Three.js и използва 2D изглед отгоре надолу. Интерфейсът имаше повече контроли от този на Gemini и изглеждаше сравнително изпипан, но нищо от това няма значение, когато самата симулация не работи.

Claude е на съвсем друго ниво

Той беше единственият, който създаде продукт, който изглеждаше завършен.

Claude завърши след Gemini, но доста преди ChatGPT. Използвах Claude Sonnet 4.6, най-новия модел с безплатно ниво, тъй като нямам абонамент. Разликата в качеството на продукцията на Claude и на останалите беше голяма. Буквално на светлинни години.

Подобно на Gemini, той избра Three.js, но го приложи далеч по-задълбочено. Първото нещо, което се открояваше, беше, че той включваше астероидния пояс. Gemini дори не си беше направил този труд. Освен това имаше и текстури! Планетите на Claude наистина приличаха на планети. Земята изглеждаше разпознаваемо като Земята. Юпитер имаше своето Голямо червено петно. Сатурн, въпреки ограниченията от един HTML файл, изглеждаше изненадващо близко до истинския.

Последната част заслужава да се акцентира. Това все още беше само един самостоятелен файл. Обикновено бихте очаквали подходящи текстурни карти, както и външните изображения да бъдат заредени отделно. Нямаше такива. Claude генерира процедурно всички тези текстури в JavaScript, вътре в самия файл, и се справи чудесно.

Планетите бяха разположени по-реалистично, въртяха се с разумни относителни скорости, а орбитите им около Слънцето също бяха много по-близки до реалността. Има бутон за управление на скоростта, като по подразбиране е зададена стойност един ден в секунда, както и превключватели за орбиталните пътища, астероидния пояс и други визуални елементи.

Claude просто отиде много по-далеч от останалите.

Графиките бяха по-добри, потребителският интерфейс беше по-добър и цялата работа се усещаше по-изпипана както по отношение на формите, така и на функциите. Най-важното е, че се усещаше като действителен продукт, а не като интересен първи вариант. И това се получи само с един промпт и от първия път.

Claude е LLM за хора, които наистина искат да работят

Този малък експеримент ми струваше 20 долара и сега почти сигурно ще се абонирам за Claude. В крайна сметка може да се откажа от абонамента си за ChatGPT, за да го балансирам. Още по-неловко е, че от трите вече плащам за два от тях. Победителят спечели, при това с използването на неговата безплатна версия. Поне в този тест неплащането за Claude се оказа по-продуктивно, отколкото плащането за Gemini и ChatGPT.

Claude не разполага с режим за видеоразговори. Той не се опитва да бъде най-добрият ви приятел или да дава приоритет на това преди всичко да ви накара да се чувствате добре. Това показва за кого е създаден продуктът и какво всъщност цени компанията.

На пръв поглед всички LLM изглеждат сходни. Но си струва да се запитате за какво всъщност е оптимизиран даден модел. Дали е създаден, за да ви впечатлява при демонстрациите? За да ви държи ангажирани? За да се чувствате човечни? Или е, за да си свърши работата?

Claude очевидно попада в последната категория.