Opera е първият уеб браузър с локалната поддръжка на ИИ с големи езикови модели

Локалният изкуствен интелект може да промени начина, по който ще подхождаме към уеб сърфирането в бъдеще. Именно в това вярва екипът на Opera.

Opera стана първият голям браузър, който предлага вграден локален достъп до големи езикови модели (LLM). Обикновено използването на такива модели е процес, който се обработва на отдалечен сървър, така че изисква изпращането на данни. Локалните LLM се различават по това, че позволяват заявките да се обработват директно на устройството, а данните остават на компютъра, таблета или смартфона. Като част от програмата AI Feature Drops разработчиците на Opera добавиха в браузъра експерименталната поддръжка на 150 локални варианта от около 50 семейства езикови модели. Това е първият път, когато всички невронни мрежи са лесно достъпни директно от браузъра.

Сред езиковите модели Opera вече предлага Mixtral, Llama, Gemma, Vicuna и много други. Според вицепрезидента на Opera Ян Щандал (Jan Standal) внедряването на вградени локални LLM има редица предимства. Най-важните от тях вече бяха споменати в началото на тази публикация. Освен това то опростява достъпа до изкуствения интелект и увеличава пълната неприкосновеност на личния живот. Новата функция е достъпна за общността на разработчиците на Opera One като безплатно допълнение към вградената услуга Aria AI. Те могат да избират моделите, с които искат да обработват данните си. А потребителите могат да предпочетат единия или другия.

За да тестват някой от наличните езикови модели, потребителите трябва да актуализират Opera Developer до най-новата версия и да активират функцията чрез Aria Chat. След като избраният вариант на модела бъде изтеглен на локалното устройство, той ще замени вградения Aria AI. Това ще изисква между 2 и 10 GB свободно пространство. Локалният ИИ вероятно ще обработва заявките много по-бавно, тъй като зависи от изчислителните възможности на устройството.

Ян Стендал отбеляза, че с локалните LLM започва проучването на напълно нов и неизследван подход, който може да подобри сърфирането в интернет в най-близкото бъдеще.