rStar-Math на Microsoft майсторски разкрива логиката и на най-сложните математически пъзели

Нов SLM (small language model) прилага метода Монте Карло към сложни проблеми.

Изследователи от Microsoft Asia представиха малък езиков модел (SLM, small language model) за решаване на математически задачи. В статия, публикувана в платформата arXiv, екипът описва технологията и математическите подходи, залегнали в основата на модела, както и представянето му при стандартни тестове.

През изминалите няколко години големите технологични компании активно усъвършенстваха своите големи езикови модели (LLM, large language models), които вече намериха широко приложение. Тяхната работа обаче изисква значителна изчислителна мощност и голяма консумация на енергия, което ги прави скъпи за използване.

На фона на тези ограничения нараства интересът към SLM – по-компактни модели, които могат да работят локално на компютърните устройства. Тези модели обикновено са фокусирани върху решаването на проблеми в някоя тясна област, като например математиката. Новият проект на Microsoft се фокусира не само върху решаването на математически проблеми, но и върху обучението на модела да разсъждава поетапно.

ИИ моделът с име rStar-Math се различава от предишните разработки, включително Phi-4 , по използването на по-различен подход. Той използва метода Монте Карло, за да анализира проблемите стъпка по стъпка. Това дава възможност задачата да бъде разделена на части, като по този начин постепенно и последователно се стига до решение. Освен това rStar-Math извежда своя процес на разсъждение като код на Python и обяснения на естествен език, което прави модела по-прозрачен.

Microsoft също така е проектирала rStar-Math с оглед на интеграцията му в големите езикови модели. Това отразява стратегията, според която бъдещите LLM могат да бъдат комбинация от множество специализирани SLM. Екипът отбеляза, че rStar-Math вече е показал отлични резултати в редица тестове, а изходният код и данните се планира да бъдат публикувани в GitHub.