За обучението на ИИ-модела Google PaLM 2 са използвани пет пъти повече текстови данни, отколкото за предишния

Анонсираният миналата седмица голям езиков модел Google PaLM 2 беше обучен в обем пет пъти по-голям от този на модела от 2022 г. Това позволява на новата невронна мрежа да решава по-сложни задачи по програмиране, математика и писане на текстове, разбраха журналисти от CNBC.

При обучението на Google PaLM 2 са използвани 3,6 трилиона токена – тези елементи на обучение на големи езикови модели помагат на невронните мрежи да предскажат следващите думи в последователности. Алгоритмите за прогнозиране, от своя страна, позволяват на големите езикови модели да съставят съгласувани фрази. Предишната версия – Google PaLM, която беше пусната през 2022 г., беше обучена за 780 милиарда токена.

На последното събитие Google I/O, компанията активно демонстрира възможностите на изкуствения интелект при интегрирането му в търсенето, имейл, работа с текстови документи и електронни таблици, но не предостави подробности относно количеството данни за обучението. Подобна стратегия беше приета от OpenAI, който наскоро представи GPT-4. Компаниите обясняват действията си с конкурентния характер на бизнеса, а обществеността настоява за по-голяма прозрачност по отношение на ИИ.

Въпреки това Google каза, че новият модел е по-малък от предишните, тоест ефективността на технологията при изпълнение на по-сложни задачи се е увеличила. PaLM 2, според вътрешните документи на компанията, се обучава на 340 милиарда параметъра, докато първата версия имаше 540 милиарда от тях – това показва, че сложността на модела се е увеличила. Компанията потвърди, че PaLM 2 е обучен на 100 езика, което му позволява да се интегрира в 25 функции и продукта на екосистемата на Google, включително и в експерименталния чатбот Bard.

Google PaLM 2, според публично достъпните данни, може да е по-мощен от всички съществуващи модели. За сравнение, анонсираният през февруари Meta LlaMA, е обучен на 1,4 трилиона токена; OpenAI, когато все още споделяше информация, съобщи, че GPT-3 е обучен на 300 милиарда токена; а представения още преди две години Google LaMDA, беше обучен за 1,5 трилиона токена.