Microsoft представи Windows Agent Arena – бенчмарк за тестване на AI-агенти

Microsoft Research представи бенчмарка Windows Agent Arena за тестване на генеративните агенти с изкуствен интелект на Windows компютрите. Решението е разработено, за да тества колко добре и бързо AI агентите могат да взаимодействат с Windows приложенията.

Windows Agent Arena беше тестван с браузърите Microsoft Edge и Google Chrome. Функции на операционната система включват File Explorer, приложения за кодиране, прост предварително инсталиран Windows софтуер като Notepad, Clock и Paint и гледане на видео с помощта на VLC Player.

Компанията пише, че адаптира фреймуърка OSWorld, за да създаде повече от 150 различни Windows задачи в презентирани домейни, които изискват способността агента да планира, разбира екраните и да използва инструментите. Бенчмаркът на компанията е мащабируем и може да бъде паралелен в Azure за пълна оценка само за 20 минути.

Microsoft Research също създаде свой собствен мултимодален агент, наречен Navi за тестване в Windows Agent Arena. С негова помощ се изпълняват задачи с определени текстови подсказки. Средната успеваемост на Navi е 19,5%, което е доста ниско в сравнение с оценката за човешка ефективност от 74,5%.

Появата на Windows Agent Arena може да бъде значителна стъпка напред в създаването на AI-агенти, което ще ги подобри и ще доближи работата им до човешките нива.

Специалистите на Microsoft Research са работили по проекта заедно с изследователи от университета Карнеги Мелън и Колумбийския университет. Подробности за Windows Agent Arena можете да намерите в статията, а кодът за сравнение е представен в GitHub.