Microsoft представи невронната мрежа Phi-3-vision, която е най-подходяща за смартфоните

Това е четвъртият езиков модел в семейството Phi-3 и първият, който комбинира текст и изображения.

Microsoft анонсира новата невронна мрежа от семейството Phi-3 на малки езикови модели, която може да работи с изображения. Phi-3-vision е първият мултимодален модел, който съчетава текст и изображения, може да анализира снимки, да извлича текст и друга информация.

Според Microsoft моделът Phi-3-vision е най-подходящ за използване в мобилните устройства. Невронната мрежа има 4,2 млрд. параметъра и в момента е налична в предварителна версия. Броят на параметрите влияе върху това как езиковият модел може да изпълнява обичайните задачи за визуално мислене. Например, когато става дума за въпроси със схеми, диаграми или изображения. В това отношение Phi-3-vision силно отстъпва на други картинно ориентирани модели на изкуствен интелект като DALL-E и Stable Diffusion. За разлика от тези модели Phi-3-vision не генерира изображения, а разбира какво показват те и е в състояние да ги анализира. От друга страна, Phi-3-vision превъзхожда по- големите модели като Claude-3 Haiku и Gemini 1.0 Pro V в често срещаните задачи за визуално разсъждение, оптично разпознаване на символи, четене на таблици и диаграми.

Microsoft обяви Phi-3 през април тази година. Към днешна дата, освен визията, в това семейство езикови модели има още три невронни мрежи: Phi-3-mini, Phi-3-small и Phi-3-medium. Те са удобни за използване на преносими устройства като смартфони и лаптопи, без да заемат твърде много памет.