Copilot се научи да вижда, мисли и подсказва: Революция в AI асистентите и мултимодалните способности (видео)

Microsoft представи новата функция Copilot Vision – разширение на асистента с изкуствен интелект за Windows, което ви дава възможност да споделяте екрана си и конкретни приложения, за да получите интерактивна помощ. Потребителите вече могат например да поискат от Copilot да им обясни как да използват инструментите в Adobe Photoshop или да анализират изображението или уебстраницата, която разглеждат.

Екипът на Copilot обяснява, че когато е активирана, функцията може да наблюдава какво вижда потребителят и да води диалог с него в реално време. По същество това е втори поглед, който помага за навигацията, споделя полезни наблюдения и отговаря на възникнали въпроси.

Microsoft започна да тества Copilot Vision по-рано тази година, а сега функцията е достъпна безплатно за потребителите на Windows 10 и 11 в САЩ. Тя вече не изисква абонамент за Copilot Pro, за да се използва, въпреки че самата технология все още е част от експерименталната разработка на Microsoft под марката Copilot Labs.

Copilot Vision може да бъде активирана чрез приложението Copilot, като докоснете иконата с очилата. След това потребителят избира прозореца на браузъра или приложението, което желае да сподели. Механиката е подобна на споделянето на екрана в Microsoft Teams, само че в по-персонализиран формат. Това е напълно доброволна функция – Copilot Vision няма да работи, освен ако потребителят не разреши достъп. За разлика от функцията Recall, която прави постоянни скрийншоти, тук всичко зависи от конкретния избор.