Apple създаде ИИ, който генерира текст 128 пъти по-бързо от аналозите

Разработчиците на Apple в държавния университет на Охайо създадоха новия дифузионен модел Few-Step Discrete Flow-Matching (FS-DFM), който може да пише текстове 128 пъти по-бързо от аналозите, съобщи ресурса 9to5mac.com, позовавайки се на проучването “FS-DFM: бързо и точно генериране на дълги текстове с помощта на модел за езикова дифузия с малки стъпки“.

Според проучването FS-DFM е в състояние да изписва пълни текстови фрагменти само в осем бързи стъпки от уточнения. За получаването на подобен резултат, останалите дифузионни модели изискват повече от хиляда стъпки.

За целта изследователите използват триетапен подход: първо, моделът се научава да обработва различни видове итерации за уточнения. След това използват направляващ модел “учител“, който й помага да прави по-големи и по-точни обновления на всяка итерация, без да надхвърля дадения текст. И накрая, коригират работата на всяка итерация, така че крайният резултат да бъде постигнат в по-малко стъпки с по-стабилна работа на модела.

В сравнение с по-големите дифузионни модели, FS-DFM се представя добре в два важни показателя: перплексия и ентропия. Перплексията е резултатът, отразяващ качеството на текста в езиковите модели. Колкото по-ниска е, толкова по-точен и естествен звучи текстът. Ентропията отразява колко уверено моделът избира всяка дума. Ако ентропията е твърде ниска, текстът може да стане повтарящ се или предсказуем, но ако е твърде висок, може да изглежда несвързан със случаен набор от думи.

В сравнение с моделите на дифузия Dream със 7 милиарда параметъра и LLaDA с 8 милиарда параметъра, вариантите FS-DFM с 1,7 и 1,3, както и 0,17 милиарда параметъра, последователно осигуряват по-малко перплексия и по-стабилна ентропия през целия брой на итерациите.

Разработчиците съобщиха, че “планират да публикуват кода и контролните точки на моделите, за да улеснят възпроизводимостта и по-нататъшните изследвания“.