Apple може да промени iPhone завинаги

През последните няколко месеца Apple пусна постоянен поток от изследвания, описващи подробно работата си с генеративния изкуствен интелект. Досега Apple мълчеше какво точно се готви в нейните изследователски лаборатории, но се появиха слухове, че Apple преговаря с Google за лицензиране на своя Gemini AI за iPhone.

Същевременно се появиха и няколко тийзъра за това, което можем да очакваме. В изследователска статия от февруари Apple описва модел с отворен код, наречен MLLM-Guided Image Editing (MGIE), който е в състояние да редактира медийните файлове, използвайки инструкции на естествен език от страна на потребителите. Сега друга изследователска статия за Ferret UI разгневи AI-общността.

Идеята е да се използва мултимодален AI (работи както с текстови, така и с мултимедийни ресурси), за да се разберат по-добре елементите на мобилния потребителски интерфейс. – И най-важното – да дава полезни съвети. Това е критична цел, тъй като инженерите се стремят да направят AI по-полезен за обикновения потребител на смартфони от сегашния му статут на „салонен фокус“.

В тази посока най-големият акцент е да се изключат възможностите на генеративния AI от облака, да се изостави нуждата от интернет връзка и всяка задача да се изпълнява локално на устройството, така че това да се случва по-бързо и по-сигурно. Вземете например Gemini на Google, който работи локално на телефоните от серията Google Pixel и Samsung Galaxy S24, а скоро и на телефоните на OnePlus, и изпълнява задачи като обобщаване и превод.

Какво представлява потребителският интерфейс Ferret на Apple?

2

С Ferret-UI, Apple изглежда се стреми да комбинира интелигентните възможности на мултимодалния AI модел с iOS. В момента фокусът е върху такива „елементарни“ задачи като „разпознаване на икони, търсене на текст и изообразяване на уиджети„. Не става дума обаче само за осмисляне на това, което е на екрана на iPhone, а за разбиране и отговаряне на контекстуалните запитвания от страна на потребителите.

Най-лесният начин да се опишат възможностите на Ferret UI е като интелигентна, базирана на изкуствен интелект, система за оптично разпознаване на символи (OCR). „След обучение върху набора от данни на Ferret-UI, ИИ демонстрира отлично разбиране на потребителския интерфейс и способности да изпълнява инструкции“, отбелязва изследователската статия.

Докато сърфирате в App Store, можете да задавате и въпроси като „Безопасно ли е това приложение за моето 12-годишно дете?“. В такива ситуации AI ще прочете възрастовия праг на програмата и ще реагира по адекватния начин. Как ще бъде предоставен отговорът — в текстова или аудио форма — не се уточнява, тъй като в документа не се споменава Siri или друг виртуален асистент.

Apple не отиде твърде далеч от GPT

3

Но идеите са много по-големи и по-умни. Попитайте го „Как мога да споделя приложение с приятел?“ и AI ще маркира иконата „споделяне“ на екрана. Разбира се, той ще ви подскаже с мигане, но в същото време ще анализира логично визуалните елементи на дисплея — папки, бутони, картинки, икони и много други.

Ако искате да чуете технически термини, статията нарича тези способности „разговор за възприемане“, „функционален извод“ и „разговор за взаимодействие“. Едно описание на изследователска статия описва възможностите на Ferret UI като „първия MLLM, предназначен за изпълнение на точни задачи за пренасочване и изпълнение, специфични за екраните на потребителския интерфейс, като в същото време умело интерпретира и действа на базата на открити езикови инструкции“.

4

В резултат на това той може да описва скрийншоти, да казва какво прави даден елемент при щракване върху него и да определя дали нещо на екрана е интерактивно. Потребителският интерфейс Ferret не е изключително собствен проект. Вместо това, той използва технологията GPT-4 на OpenAI, която стои в основата на ChatGPT, както и много други разговорни продукти.

В допълнение към възможностите за анализ и разсъждение на екрана, статията също така описва и няколко разширени възможности, които са просто невероятни. Например, скрийншотът по-долу показва, че системата може не само да анализира ръкописен текст, но и да предскаже правилната версия въз основа на потребителските грешки.

5

ИИ също може да чете текст, който иначе би изисквал вертикално превъртане. Въпреки това не е идеален. В някои случаи той погрешно идентифицира бутона като таб и разчита неправилно елементите, които комбинират изображения и текст в един блок.

В сравнение с модела GPT-4V на OpenAI, Ferret UI демонстрира впечатляващи нива на взаимодействие при задаване на въпроси, свързани със съдържанието на екрана. Както можете да видите на изображението по-долу, Ferret UI предпочита по-кратки и директни отговори, докато GPT-4V пише по-подробни обяснения.

Изборът е субективен, но ако попитам AI „Как да купя обувките, които са на екрана“, бих предпочел просто да ми каже правилните стъпки с възможно най-малко думи. Но Ferret UI върши отлична работа не само с лаконичност, но и с точност. В гореспоменатата задача Ferret UI набра 91,7% при водене на разговорно взаимодействие, а GPT-4V е малко по-напред с 93,4% точност.

Вселена от интригуващи възможности

6

Ferret UI бележи впечатляващия дебют на AI, способен да разбира действията на екрана. Но преди да се развълнувате твърде много от възможностите, не сме сигурни как точно Apple планира да интегрира тази технология в iOS или дали изобщо ще бъде внедрена, поради няколко причини. Bloomberg наскоро съобщи, че Apple е наясно, че изостава в надпреварата с AI и това е доста очевидно от липсата на собствени генеративни AI продукти в екосистемата на Apple.

Първо, слуховете, че Apple дори обмисля да лицензира Gemini от Google или OpenAI, предполагат, че собствените фирмени разработки не отговарят на нивото на конкурентите. При такъв сценарий използването на работата, която Google вече е свършила с Gemini (който в момента се опитва да замени Google Assistant на телефоните), би имало повече смисъл, отколкото работата върху полуизпечен AI на iPhone и iPad.

Apple очевидно има амбициозни идеи и продължава да работи върху тях, както се вижда от експериментите, описани подробно в множество научни статии. Въпреки това, дори ако Apple успее да изпълни обещанието за потребителския интерфейс Ferret в рамките на iOS, това все още ще бъде плитка реализация на генеративния AI в устройствата.

7

Функционалните интеграции обаче, дори ако са ограничени до собствени предварително инсталирани приложения, могат да дадат невероятни резултати. Например, да приемем, че четете имейл и AI вече е оценил съдържанието на екрана във фонов режим. Докато четете съобщението в приложението Mail, можете да командвате с глас AI ​​да направите запис в календара и да го запази във вашия график.

Не е необходимо да е супер сложна, многоетапна работа, включваща множество приложения. Да приемем, че разглеждате страницата с информация за ресторанти в Google Search и просто като кажете „обади се на това място“, AI чете телефонния номер от екрана, копира го, набира и започва разговора.

Или да кажем, че сте прочели туит за филм, който излиза на 6 април, и кажете на AI ​​да създаде пряк път, насочен към приложението Fandango. Или публикация за плаж във Виетнам ви вдъхновява за следващото ви самостоятелно пътуване и просто търсите: „резервирайте ми билет за Кон-Дай“, откъдето ви отвежда до приложението Skyscanner с вече попълнени редове.

Но всичко това е по-лесно да се каже, отколкото да се направи и зависи от много променливи, някои от които може да са извън контрола на Apple. Например, уеб-страниците, изпълнени с изскачащи прозорци и натрапчива реклама, ще направят потребителския интерфейс Ferret почти невъзможен за работа. Но от положителната страна, разработчиците на iOS стриктно се придържат към препоръките за дизайн на Apple, така че е напълно вероятно, приложението за iPhone Ferret UI да работи по-ефективно.

Това все пак би било впечатляваща победа. И тъй като говорим за реализиране на устройството, заложено на ниво ОС, малко вероятно е Apple да таксува за удобството, за разлика от масовите генеративни AI продукти като ChatGPT Plus или Copilot Pro на Microsoft. Може ли iOS 18 най-накрая да ни даде представа за преосмисляне на подобрения с изкуствен интелект iOS? Ще трябва да изчакаме до Световната конференция на разработчиците на Apple през 2024 г., за да разберем.