Изключително проста методология радикално подобрява точността на отговорите на LLM

Екипите за разработка търсят нови, все по-сложни и ефективни начини за оптимизиране на големите езикови модели (LLM). Те са принудени да разсъждават стъпка по стъпка и дори са подложени на емоционален шантаж. Ново проучване на Google обаче показва, че нещата могат да бъдат много по-прости: обикновеното повтаряне на заявката на потребителя забележимо подобрява качеството на отговора за водещите модели, включително Gemini, GPT-4o, Claude и DeepSeek. Методът дава значителни резултати при задачи, които не изискват сложни разсъждения.

Ключът към разбирането на ефекта, описан в статията, е в архитектурата Transformer. Съвременните LLM обработват текста стриктно отляво надясно, т.е. всяка следваща дума „не знае“ за следващите. Това създава „сляпо петно“: моделът може да пропусне контекста, прочетен в началото на дълго запитване.

Повтарянето на заявката решава този проблем. Когато моделът обработва второто копие на запитването, той вече е „видял“ първото, което му позволява да се обърне към целия текст наведнъж. На практика вторият екземпляр получава двупосочно внимание, което подобрява разбирането и точността на извличане на информация.

Експериментите върху седем тестови набора (включително ARC, MMLU-Pro) показват впечатляващи резултати. При задачи за точно извличане на данни, като например намиране на 25-тото име от списък, точността на модела Gemini 2.0 Flash-Lite се увеличава от 21,33% до 97,33%. В същото време методът почти не увеличава латентността на отговора, тъй като основното натоварване е поставено върху етапа на паралелната предварителна обработка на текста.

Методът обаче има ограничение: той е най-ефективен за задачи без сложни разсъждения, като например класификация или прости въпроси. Ако моделът вече използва „верига от мисли“, повтарянето на подканата става излишно и не дава значителна полза.

За бизнеса това откритие е рядка възможност за безплатно подобряване на ефективността, пише Venture Beat. Мениджърите трябва да обмислят автоматичното дублиране на подканите в конвейерите за задачи с директен отговор, което може да намали разходите за използване на по-мощни модели. В същото време трябва да се вземат предвид нови рискове: повторението може както да засили защитните ограничения на модела, така и да го направи по-уязвим за хакерски атаки.

Авторите на проучването напомнят, че дори и напредналите системи за изкуствен интелект все още са ограничени от своята архитектура. Докато не се появят нови разработки, прости решения като повтаряне на заявката могат да бъдат най-практичният начин за получаване на по-точен отговор. Може би скоро ще видим енджини за умозаключения, които безшумно удвояват нашите подкани във фонов режим, преди да ги изпратят на модела Понякога най-доброто решение е просто заявката да се повтори два пъти.