ИИ-моделите масово не могат да се справят с преброяването на буквите в думата „ягода“ на английски език

Въпреки впечатляващите възможности на големите езикови модели (LLM) като GPT-4o и Claude да пишат есета и да решават уравнения за секунди, те далеч не са съвършени.

Последният пример, който се превърна във вирусен мийм показва, че тези привидно всезнаещи изкуствени интелекти не могат да преброят правилно броя на буквите в английската дума за „ягода“ (strawberry).

Проблемът е в архитектурата на LLM, която се основава на трансформатори. Те разбиват текста на токени, които в зависимост от модела могат да бъдат пълни думи, срички или букви.

„LLM се основават на архитектурата на трансформаторите, която по същество не чете текст. Когато въведете заявка, тя се преобразува в кодировка.“

обяснява Матю Гуздиал, изследовател на изкуствения интелект и доцент в Университета на Алберта, в интервю за TechCrunch

Това означава, че когато моделът види члена „the“, той има само едно кодиране на значението на „the“, но не знае нищо за всяка от тези три букви поотделно.

Трансформаторите не могат ефективно да обработват и извеждат действителен текст. Вместо това текстът се преобразува в цифрови представяния, които след това се контекстуализират, за да помогнат на изкуствения интелект да създаде логически отговор. С други думи, ИИ може да знае, че лексемите „straw“ и „berry“ съставляват думата „strawberry“ (ягода), но не разбира реда на буквите в думата и не може да преброи техния брой. Ако зададете на ChatGPT въпроса: „Колко пъти буквата R се среща в думата „ягода“, чатботът ще даде отговор „два пъти“.

„Трудно е да се определи какво точно трябва да се счита за дума за един езиков модел и дори да съберем експерти, които да се споразумеят за идеален речник на символите, ИИ-моделите вероятно пак ще намерят за полезно да разбиват думите на още по-малки части.“

обяснява Шеридан Фойхт, докторант в Североизточния университет (Масачузетс, САЩ), който изучава интерпретацията на LLM

Фейхт смята, че е по-добре да се позволи на моделите директно да анализират символите, без да се налага токенизация, но отбелязва, че това просто не е изчислително осъществимо за трансформаторите в момента.

Нещата се усложняват още повече, когато LLM изучава няколко езика. Някои методи за токенизация например могат да приемат, че интервалът в изречението винаги предхожда нова дума, но много езици като китайски, японски, тайландски, корейски и други не използват интервали за отделяне на думи. Разработчикът на Google DeepMind Йени Джун установява в проучване от 2023 година, че някои езици изискват 10 пъти повече лексеми от английския, за да предадат същото значение.

Докато в интернет се разпространяват миймове, че много ИИ-модели не могат да преброят броя на „r“ в английската дума strawberry, OpenAI работи по нов продукт с кодовото име Strawberry, който се очаква да се окаже още по-умел в разсъжденията и да може да решава кръстословици, които изискват творческо мислене, както и да решава свръхсложни математически уравнения.