Според СЕО-то на OpenAI, размера на данните няма значение за обучението на ИИ моделите

През последните няколко години моделите с изкуствен интелект стават все по-големи, но според главния изпълнителен директор на OpenAI Сам Алтман това няма да продължи в бъдеще. По време на събитие на Масачузетския технологичен институт (MIT) по-рано този месец Алтман заяви, че занапред напредъкът в областта на изкуствения интелект няма да идва от гигантски модели, които се хранят с огромни количества данни, а разработчиците ще трябва да намерят „други начини“ да ги направят по-добри.

Изявлението на Алтман привидно е в противоречие с начина, по който OpenAI разработи ChatGPT – чатбот, който в еднаква степен вълнува, забавлява и плаши технологичните ентусиасти със способността си да пише стихове, да решава математически уравнения, да отстранява грешки в код и др. Настоящата версия на ChatGPT се основава на езиковия модел GPT-4, който се смята за един от най-сложните големи езикови модели (LLM), налични днес.

Въпреки безспорния успех на GPT-4, Алтман смята, че размерът няма да определя качеството на моделите с изкуствен интелект занапред. Според него в момента се набляга твърде много на броя на параметрите, подобно на надпреварата за гигахерци при чиповете през 90-те и началото на 2000-те години. Това обаче вероятно ще се промени в бъдеще, когато моделите с ИИ ще продължат да се подобряват въпреки значителното намаляване на броя на параметрите, които ще се използват за обучението им.

Както съобщава Wired, за обучението на GPT-2 са използвани 1,5 милиарда параметри, докато в GPT-3 числото е стигнало до цели 175 милиарда. От OpenAI обаче не разкриха броя на параметрите, използвани в GPT-4, вероятно защото размерът на използваните данни вече не е определящ критерий за успеха на прочутия голям езиков модел на OpenAI.

Появиха се и спекулации, че обучението на GPT-4 е струвало 100 млн. долара, въпреки че до момента няма потвърждение за това от OpenAI. Когато беше попитан за това на събитието в MIT, Алтман каза, че всъщност е струвало повече от това. Той обаче не даде повече подробности по този въпрос.

Междувременно успехът на ChatGPT не само заинтригува широката общественост, но и изнерви някои от най-големите имена в областта на технологиите. В това число влизат Илън Мъск, Стив Возняк и Тристан Харис, които бяха сред 100-те технолози, написали миналия месец отворено писмо, в което призоваха всички компании за изкуствен интелект да преустановят обучението и разработването на системи за изкуствен интелект поне за 6 месеца.

На въпрос за това Алтман отговори, че писмото е правилно по отношение на необходимостта пред системите за изкуствен интелект да бъдат въведени предпазни огради, преди да бъдат пуснати в публичното пространство. Той обаче също така заяви, че някои от опасенията, посочени в писмото са просто неуместни. Например, той заяви, че OpenAI не е обучавал GPT-5, за разлика от това, което се твърди в първоначалната версия на писмото. Той също така заяви, че компанията постоянно работи по въпросите на безопасността и ще продължи да го прави, за да се увери, че нейните модели с изкуствен интелект в крайна сметка няма да причинят повече вреда, отколкото полза.