Microsoft започва да тества Copilot Vision — AI ще „вижда“ екрана и приложенията на вашия компютър

Microsoft започна да тества поредната актуализация на приложението Copilot за Windows, която ще ви позволи да предавате изображението от екрана на компютъра и интерфейса на приложенията, работещи на него, към асистента с изкуствен интелект. Copilot Vision първоначално беше ограничен до браузъра Edge, но сега се разширява до всяко приложение на компютъра.

Copilot Vision може да ви помогне да разберете как работи Adobe Photoshop, да анализирате снимки или уеб-страници, които потребителят отваря. На събитието, посветено на 50-годишнината на Microsoft, компанията показа как асистентът ви помага да играете Minecraft и да оптимизирате настройките във видеоредактора Clipchamp. Само потребителите на програмата Windows Insiders в САЩ към момента могат да тестват предварителната версия на Copilot Vision.

Copilot може да подчертае определени области от екрана, за да помогне на потребителя да навигира в интерфейса на определена програма. На практика това е отчасти като Recall, което автоматично прави екранни снимки и ви позволява да търсите в тях, и отчасти — предаване към екрана чрез Microsoft Teams. В Copilot за Windows също започнаха тестовете на AI-търсачката на файлове, което ви позволява да задавате въпроси на асистента относно тяхното съдържание; Поддържаните формати са .DOCX, .XLSX, .PPTX, .TXT, .PDF и .JSON. И двете функции са налични за всички компютри с Copilot за Windows, а не само за компютрите Copilot Plus.

Функцията Copilot Vision е налична и в приложенията за iOS и Android. На компютър, функцията в момента се тества като част от програмата Windows Insider, но може да стане общодостъпна през следващите седмици или месеци.