Излезе системата за синтезиране на изображения Stable Diffusion 2.0

Компанията Stability AI представи втората версия на ИИ системата с машинно обучение Stable Diffusion, която може да синтезира и променя изображенията на базата на предложен от потребителя шаблон или текстово описание на естествен език. Кодът на инструментариума за обучението на невронната мрежа е написан на програмния език Python с използването на фреймуърка PyTorch, а сорс кодът е публикуван под MIT лиценза. Вече обучените ИИ модели се разпространяват под лицензите Creative ML OpenRAIL-M, които допускат използването на тази система за комерсиални цели.

Ключови нововъведения и промени в новата версия на Stable Diffusion:

• Създаден е новият модел за синтез на изображения по текстово описание SD2.0-v, който поддържа генерирането на изображения с резолюция 768х768 пиксела. Новият модел е обучен с помощта на колекцията LAION-5B, включваща 5,85 милиарда изображения с текстово описание. Моделът използва същия брой параметри (електронни неврони) като при модела Stable Diffusion 1.5, но използва принципно различния кодер OpenCLIP-ViT/H, който съществено повишава качеството на генерираните изображения

• Предлага се и опростения вариант SD2.0-base, обучен на изображения с резолюция 256х256 пиксела с използването на класическия модел за прогнозиране на шумове и поддържащ генерирането на изображения с разделителна способност 512х512 пиксела

• Внедрена е нова технология Super Resolution за увеличаване разделителната способност на изображенията без понижаване на тяхното качество, което се постига чрез използването на ИИ алгоритми за пространствено мащабиране и реконструкция на детайлите. Представеният нов модел SD20-upscaler за обработка на изображенията поддържа четирикратно увеличение на мащаба, като чрез този метод е възможно генерирането на изображения с резолюция 2048х2048 пиксела

• Предложен е моделът SD2.0-depth2img, който отчита дълбочината и пространственото разположение на обектите. За монокулярната оценка на дълбочината на сцената се използва системата MiDaS. Този модел дава възможност за синтезиране на нови изображения на базата на шаблон, които могат радикално да се различават от оригинала, но същевременно запазват общата композиция и дълбочината. Така например, може да се използва конкретна поза на човек, за да се формира друг персонаж със същата поза

• Обновен е моделът SD 2.0-inpainting за модификация на изображенията, който дава възможност с помощта на текстови подсказки да бъдат променяни и заменяни отделни части на изображението

• Направена е сериозна оптимизация на моделите, които сега могат да се използват и от компютърни системи със само един графичен процесор. По този начин новата ИИ система Stable Diffusion 2.0 става достъпна за много повече хора. Екипът, създал Stable Diffusion 2.0 сподели, че милиони хора се опитват да се сдобият с тези ИИ модели и създават наистина невероятни неща. Това всъщност е силата на отворения код: разгръщането на огромния потенциал на милиони талантливи хора, които може да нямат необходимия ресурс да обучат подобен изкуствен интелект, но ако го получат, могат да създават наистина невероятни изображения