Оказа се, че езиковите модели могат перфектно да компресират данните

Големите езикови модели (LLM) – невронните мрежи, обучени за работа със значителни количества текст – придобиха друг облик. Екипът на DeepMind, подразделението на Google, известно със своите AI системи, които побеждават хората в настолни и видеоигри, съобщи, че LLM могат не само да пишат научни статии, художествена литература и журналистически материали, но и се справят отлично с компресирането на данни. Авторите препоръчват „да се погледне на проблема с прогнозирането през призмата на компресирането„.

Експериментът на специалистите от DeepMind показа, че след минимални модификации големите езикови модели могат да компресират информацията също толкова ефективно, а в някои случаи дори много по-добре от широко използваните алгоритми за компресиране.

Въпреки че възможността за компресиране на данни от ИИ системи е отдавна известна на изследователите на машинното обучение, повечето от тях не знаят за нейното използване в практиката, пишат разработчиците от DeepMind. Затова те са се заели да популяризират тази важна идея, съобщава Venture Beat.

По същество моделът за машинно обучение се научава да трансформира входящите данни – например текст или изображения – в „скрито пространство“, което обхваща ключовите характеристики на данните. Това пространство обикновено има по-малко измерения от пространството на входните данни, което позволява на модела да намали размера на данните, т.е. да действа като устройство за компресиране на данни.

В своето изследване Google DeepMind преконфигурира един от LLM моделите с отворен код по такъв начин, че той да изпълнява аритметично кодиране – един от алгоритмите за обратима компресия. Според тях това е било възможно, тъй като езиковият модел е бил обучен с логаритмична загуба и кръстосана ентропия, която увеличава вероятността за намиране на съвпадения с естествените фрази при генерирането на текст.

Учените тествали възможностите на LLM за компресиране на данни върху текст, изображения и аудио данни. Както се очакваше, LLM се справя отлично с компресирането на текст. Така например моделът Chinchilla със 70 милиарда параметъра компресира данните до 8,3% от първоначалния размер, като значително превъзхожда gzip и LZMA2 (съответно 32,3% и 23%).

Тези модели обаче се справят изненадващо добре и с визуални и аудио данни и значително превъзхождат алгоритмите, специализирани за дадена област, като PNG или FLAC.

Разбира се, поради техния голям размер и ниска скорост е непрактично да се използват LLM за компресия на данни. Авторите обаче обръщат внимание на друг аспект. Счита се, че колкото по-голям е LLM, толкова по-добър е той. Изследването на DeepMind доказва, че това не е задължително: макар че по-големите модели наистина се справят по-добре с компресирането на големи количества данни, колкото по-малки са те, толкова по-лошо е представянето им. По този начин това компресиране може да бъде показател за това доколко добре даден езиков модел обработва информацията от набора от данни.