Последната версия на AI Google Gemini превъзхожда GPT-4o и Claude-3 в тестовете

Най-новата версия на големия езиков модел Gemini 1.5 Pro внезапно си проправи път до върха на класацията на платформата Chatbot Arena, превъзхождайки в тестовете традиционните лидери в областта на генеративния изкуствен интелект — OpenAI GPT-4o и Anthropic Claude-3.

Предишният шампион сред невронните мрежи OpenAI GPT-4o загуби лидерството си на 1 август, когато Google тихомълком пусна експериментална компилация от най-новия си модел — той бързо привлече заинтересованата от AI общност в социалните мрежи, а победата в бенчмарка започна да се превръща в доказателство за високото качество. OpenAI ChatGPT стана почти синоним на генеративен AI от стартирането през ерата на GPT-3. Към днешна дата OpenAI GPT-4o и Anthropic Claude-3 се считат за утвърдени лидери, които през последната година почти нямаха конкуренти в тестовете.

Един от най-популярните тестове е LMSYS Chatbot Arena. Той предлага на моделите различни задачи и им дава точки. Текущата версия на GPT-4o успя да набере 1286 точки, а Claude-3 — 1271 точки. Предишният Google Gemini 1.5 Pro имаше резултат от 1261, но Gemini 1.5 Pro 0801, пуснат на 1 август, внезапно отбеляза цели 1300 точки. Това може да означава, че новата невронна мрежа на Google е по-способна от своите конкуренти, но показателите не винаги отразяват точно какво може и какво не може да направи един AI-модел.

Днешният пазар на чатботове е достатъчно зрял, за да предложи на потребителите множество опции и да ги остави да решат сами кой AI е най-подходящ. Все още не е ясно дали експерименталният Gemini 1.5 Pro ще стане версията по подразбиране в бъдеще. Той остава публично достъпен, но със статус на експериментален и може да бъде затворен или радикално редактиран поради повишаване на безопасността или други причини.