Бивши инженери на OpenAI представиха чат-бот, който умее да обработва огромни текстове – за “Великият Гетсби“ отне по-малко от минута

Стартъпът Anthropic успя да разшири контекстният прозорец за въвеждане на своя чатбот Claude до 75 000 думи – голямо подобрение спрямо настоящите модели. От компанията твърдят, че чатботът може да обработи цял художествен роман за по-малко от минута.

Често пренебрегвано ограничение за чатботовете е паметта. Въпреки че AI езиковите модели, които са в основата на тези системи, наистина са обучени върху терабайтове текст, количеството, което тези системи могат да обработват по време на употреба, е доста ограничено. За ChatGPT, това са около 3000 думи. И въпреки че има начини за заобикаляне на тези ограничения, това все още не е достатъчно. Anthropic, основана от бивши инженери на OpenAI, значително разшири контекстния прозорец за своя чатбот Claude, като го увеличи до 75 000 думи. Както посочват от компанията в своя блог, това е достатъчно, за да обработи “Великият Гетсби“ на един път. Всъщност, компанията тества системата, като редактира едно изречение в романа и помоли AI да забележи промяната. Това се случи за 22 секунди.

Езиковите AI модели измерват информацията не чрез броя знаци или думи, а чрез токени – семантична единица, която не винаги корелира с количеството на символите и тъй като думите могат да бъдат дълги или кратки, тяхната дължина не съответства непременно на броя на токени. В това отношение контекстният прозорец на Claude превъзхожда модела на OpenAI, тъй като може да обработва 100 000 токена в сравнение с 9 000 преди, докато напълно функционалният модел GPT-4 може да обработва до 32 000 токена.

Понастоящем, новите функции на Claude са достъпни само за бизнес-партньорите на Anthropic, които се свързват с чатбота чрез API на компанията. Цената също не е известна, но трябва да се е повишила значително, тъй като обработката на повече текст означава повече изчислителни разходи.