Внедряването на Microsoft 365 Copilot не повиши производителността на британските чиновници

Британското правителство проведе тримесечен тест на ИИ-асистента M365 Copilot на Microsoft и не откри забележимо увеличение на производителността на „иновниците. Въпреки че някои задачи бяха изпълнени по-бързо, други станаха по-трудни поради ниското качество на материалите, предоставени от изкуствения интелект, съобщава The Register. Тестът обаче е проведен преди почти година и ИИ-асистентът вече би трябвало да е станал „по-умен“ през това време.

Министерството на бизнеса и търговията на Обединеното кралство получи 1000 лиценза за използване на съответния Copilot от октомври до декември 2024 г. Повечето от лицензите бяха взети от доброволци, като 30% от участниците бяха избрани на случаен принцип. Около 300 участници са се съгласили данните им да бъдат анализирани. Оказало се, че 72% от потребителите са били „доволни“ или „много доволни“ от работата на AI-асистента и не са били особено доволни, когато тестът приключил. Реалните подобрения в производителността обаче са смесени.

Около две трети от участниците са използвали Microsoft 365 Copilot поне веднъж седмично, а 30% са го използвали поне веднъж дневно. Във Великобритания месечните абонаменти струват между £4.90 и £18.10 на потребител, така че разходите биха могли да бъдат значителни за една правителствена операция.

Средно е имало само 72 взаимодействия с Copilot на потребител за 63 работни дни, или около 1,14/ден. Copilot е използван най-често в Word, Teams и Outlook, значително по-рядко в PowerPoint и Excel и най-рядко в Loop и OneNote. Трите най-популярни задачи са били транскрибиране или обобщаване на среща, писане на имейли и създаване на обобщение на бележки. Това са задачите, които са били „удовлетворени“. Най-рядко от Copilot е било искано да създаде график, да провери код и да генерира изображение.

Времето, прекарано в изпълнение на задача с помощта на Copilot, е записано и сравнено с времето, необходимо на служителите да изпълнят задачата ръчно. Оказало се, че потребителите на M365 Copilot съставят обобщения на отчети и пишат имейли по-бързо, с по-добро качество и с по-голяма точност от тези, които не са използвали бота. Спестяването на време при писане на имейли обаче се е оказало незначително. Анализът на данни в Excel се е извършвало от бота по-бавно и с по-лошо качество и точност, отколкото ръчно. Слайдовете в PowerPoint са създавани средно със 7 минути по-бързо, но качеството и точността са по-лоши и резултатите е трябвало да се коригират ръчно.

Според участниците в експеримента, рутинните административни задачи са по-ефективни за изпълнение с помощта на Microsoft 365 Copilot, освобождавайки време за по-важни задачи. Някои други участници в експеримента съобщиха, че са използвали спестеното време, за да посещават обучения или да се разхождат по време на обедните почивки. Но всичко това не означава, че ИИ-асистентът действително е увеличил производителността на чиновниците, въпреки че самата Microsoft набляга на спестяването на време, когато промотира Copilot.

Освен това, 22% от участниците са забелязали наличието на „халюцинации“ в ИИ-асистента, 43% не са ги забелязали, други 11% не можаха да кажат със сигурност дали е имало „халюцинации“ по време на тестването, а останалите запазиха мълчание. В същото време отношението на колегите към потребителите на Copilot също е било нееднозначно — някои се отнасят към участниците в експеримента с известна степен на „хладнокръвие“. Преди да вземе окончателно решение за масовото внедряване на Microsoft 365 Copilot, ведомството ще проведе анализ на екологичните разходи и ще изчисли съотношението цена-качество на услугата.