OpenAI стартира API за ChatGPT със специален капацитет за корпоративни клиенти

Да наречете ChatGPT безплатен инструмент с изкуствен интелект за генериране на текст е силно подценяване.

Към декември ChatGPT има над 100 милиона активни потребители месечно. Той привлече голямо медийно внимание и вече е използван за написването на стотици електронни книги в магазина Kindle на Amazon. Приписва му се и съавторство в поне една научна статия.

Но тъй като OpenAI е бизнес, макар и с ограничена печалба, трябваше по някакъв начин да монетизира ChatGPT, за да не се ядосват инвеститорите в него. Компанията направи крачка към това с пускането на премиум услугата ChatGPT Plus през февруари. Вчера компанията направи още по-голяма крачка, като представи API, който ще позволи на всеки бизнес да вгради технологията на ChatGPT в своите приложения, уебсайтове, продукти и услуги.

Планът винаги е бил API. Това твърди Грег Брокман, президент и председател на OpenAI и един от съоснователите на компанията. Той разговаря с репортер на TechCrunch чрез видеоразговор преди стартирането на API-то на ChatGPT.

„Отнема ни известно време, за да достигнем определено ниво на качество на тези приложни програмни интерфейси“, каза Брокман. „Мисля, че това е една възможност да можем да отговорим на търсенето и мащаба.“

Брокман казва, че API-то на ChatGPT се захранва от същия модел на изкуствения интелект, който стои зад ChatGPT, наречен „gpt-3.5-turbo“. GPT-3.5 е най-мощният модел за генериране на текст, който OpenAI предлага днес чрез своя API пакет. Прозвището „турбо“ се отнася до оптимизирана, по-отзивчива версия на GPT-3.5, която OpenAI „тихо“ тества за ChatGPT.

На цена от 0,002 долара за 1000 токена или около 750 думи, Брокман твърди, че API-то им ще може да управлява редица изживявания, включително „нечат“ приложения. Snap, Quizlet, Instacart и Shopify са сред първите, които ще се възползват от това.

Първоначалната мотивация за разработването на „gpt-3.5turbo“ може да е била да се намалят огромните изчислителни разходи на ChatGPT. Главният изпълнителен директор на OpenAI Сам Алтман веднъж нарече разходите на ChatGPT „главозамайващи“, като ги оцени на няколко цента на чат за изчислителни разходи.

Но Брокман казва, че „gpt-3.5-turbo“ е подобрен по други начини.

„Ако изграждате учител с изкуствен интелект, никога не искате той просто да даде отговор на ученика. Искате той винаги да го обяснява и да му помага да учи – това е пример за вид система, която трябва да можете да изградите с API“, казва Брокман. „Смятаме, че това ще бъде нещо, което ще направи API-то много по-използваемо и достъпнo.“

API-то на ChatGPT, например е в основата на „My AI“, наскоро обявения чатбот на Snap за абонатите на Snapchat Plus, и новата функция за виртуални учители Q-Chat на Quizlet. Shopify използва ChatGPT API, за да създаде персонализиран асистент за препоръки за пазаруване.

В началото потребителите можеха да подтикват ChatGPT да отговаря на въпроси по расистки и сексистки начин, което е отражение на необективните данни, на които ChatGPT е бил обучен първоначално. (Данните за обучение на ChatGPT включват широк спектър от интернет съдържание, а именно електронни книги, публикации в Reddit и статии в Wikipedia). ChatGPT също така си измисля факти без да разкрива, че го прави – явление в изкуствения интелект, известно като халюцинация.

ChatGPT и подобни на нея системи са уязвими и към атаки, базирани на подкани, които ги карат да изпълняват задачи, които не са били част от първоначалните им цели. Цели общности в Reddit са се формирали около намирането на начини за „бягство от затвора“ на ChatGPT и заобикаляне на всички защити, въведени от OpenAI. В един от по-малко обидните примери служител на стартъпа Scale AI успя да накара ChatGPT да разкрие информация за вътрешните си технически механизми.

Без съмнение компаниите не биха искали да попаднат под прицел. Брокман е категоричен, че това няма да се случи. Защо? Една от причините, казва той, е непрекъснатото усъвършенстване на бекенда. Но Брокман набляга на нов (и определено по-малко спорен) подход, който OpenAI нарича Chat Markup Language/Език за маркиране на чата, или ChatML. ChatML подава текст към API-то на ChatGPT като поредица от съобщения заедно с метаданни. Това е в противовес на стандартния ChatGPT, който използва суров текст, представен като поредица от лексеми (например думата „фантастичен“ ще бъде разделена на срички „фан“, „тас“ , „ти и „чен“).

Например, при задаване на подкана „Дай ми интересни идеи за парти за 30-ия ми рожден ден?“ разработчикът може да избере да допълни тази подкана с допълнителна подкана от типа „Вие сте забавен чатбот, създаден да помага на потребителите с въпросите, които те задават. Трябва да отговаряте вярно и по забавен начин!“ или „Вие сте бот“, преди API-то на ChatGPT да го обработи. Според Брокман тези инструкции помагат за по-доброто адаптиране и филтриране на отговорите на ChatGPT.

„Преминаваме към API от по-високо ниво. Ако имате по-структуриран начин за представяне на входните данни към системата, при който казвате: „това е от разработчика“ или „това е от потребителя“ … Би трябвало да очаквам, че като разработчик всъщност можете да бъдете по-устойчиви използвайки ChatML срещу тези видове подканващи атаки“, каза Брокман.

Друга промяна, която надяваме се ще предотврати непреднамереното поведение на ChatGPT, са по-честите актуализации на модела. С пускането на „gpt-3.5-turbo“ разработчиците по подразбиране ще бъдат автоматично обновявани до последния стабилен модел на OpenAI, казва Брокман, като се започне от „gpt-3.5-turbo-0301“ (пуснат днес). Разработчиците обаче ще имат възможност да останат с по-стар модел, ако решат, което може донякъде да отхвърли това предимство.

Независимо дали ще изберат да актуализират до най-новия модел или не, Брокман отбелязва, че някои клиенти, главно големи предприятия със съответно големи бюджети ще имат по-задълбочен контрол върху производителността на системата с въвеждането на специални планове за капацитет. За първи път в документацията, изтекла по-рано този месец, плановете за специален капацитет на OpenAI, стартирани днес, позволяват на клиентите да плащат за разпределение на изчислителна инфраструктура за работа с модела на OpenAI.

В допълнение към „пълния контрол“ върху натоварването на системата, обикновено повикванията към API-то на OpenAI се осъществяват на споделени изчислителни ресурси. Отделеният капацитет ще даде възможност на клиентите да активират функции като по-дълги ограничения на контекста. Контекстните граници се отнасят до текста, който моделът взема предвид, преди да генерира отговор. По-дългите контекстни граници позволяват на модела да „запомни“ повече текст по същество, макар че по-високите контекстни граници може да не решат всички проблеми с отклоненията и точността в отговорите, те могат да доведат до това модели като „gpt-3.5turbo“ да „халюцинират“ по-малко.

Брокман казва, че клиентите със специален капацитет могат да очакват модели „gpt-3.5-turbo“ с до 16 хил. контекстни прозореца, което означава, че те могат да приемат четири пъти повече токени/думи от стандартния модел на ChatGPT. Това може да позволи на някого да вмъква огромни страници с данни и същевременно да получава разумни отговори от модела, например – постижение, което днес не е възможно.

Брокман намекна за общо пускане в бъдеще, но не скоро.

„Контекстните прозорци започват да се увеличават и част от причината, поради която в момента това ще се предлага само за клиенти със специализиран капацитет, е, че има много компромиси с производителността от наша страна“, каза Брокман. „В крайна сметка може да сме в състояние да предложим версия на същото нещо при поискване.“

Като се има предвид нарастващият натиск върху OpenAI да излезе на печалба след многомилиардната инвестиция от Microsoft, това не би било много изненадващо.