AI моделите с отворен код застрашават печалбите на големите конкуренти

През 60-те години на миналия век учен от Масачузетския технологичен институт създава програма за обработка на естествения човешки език, която може да имитира човешки разговор. Наречена ELIZA, тя е ранна итерация на чатботовете, които се появиха тази година в технологичния сектор. ELIZA не бе печелившо начинание. Не са такива и сегашните ѝ версии.

Генеративният изкуствен интелект има сериозни възможности за трансформиране. Чатботовете, разработени с помощта на големите езикови модели (LLM), могат да позволят безпроблемна комуникация между хората и компютрите. Появи се дългоочаквания интерфейс за осъществяване на лесна връзка между човека и компютъра – с помощта на обикновена човешка реч.

Основният въпрос на инвеститорите е дали патентованите LLM модели могат надеждно и безпроблемно да печелят пари за големите технологични компании. Но ето че появилите се LLM с отворен код могат да бъдат по-евтина алтернатива за по-малките компании, които разработват приложения по поръчка. Това са чатботове, обучени и тренирани само в една област и са тясно специализирани. Те са многократно по-евтини и са много добри помощници за по-малките компании, които всъщност могат да използват няколко от тези специализирани изкуствени интелекта.

За LLM няма официално определение. Те се описват като програми, обучени на базата на огромни обеми от данни, достъпни онлайн, и способни да прогнозират следващата дума в изречението.

С увеличаването на изчислителната мощ ИИ вече са в състояние да извършват неконтролирано обучение от неструктурирани данни. Те дават някои отговори, които изненадват дори създателите им.

Сложността на LLM е скочила значително напред. През 2020 г. OpenAI представи своя Generative Pretrained Transformer 3, или GPT-3. Този LLM имаше 175 млрд. параметри.

Колкото повече са параметрите, толкова повече данни може да обработва и генерира съответния LLM. PaLM на Google, който обслужва нейния чатбот Bard, има 540 млрд. Най-новата версия на LLM на OpenAI е GPT-4. Компанията не е посочила броя на параметрите, а експертите са на мнение, че те са около 100 милиарда.

Изчислителната мощ, необходима за подобни LLM, е огромна. Правилото е, че колкото по-голям е използваният набор от данни, толкова по-добра е производителността. Това на теория ограничава LLM до малък брой добре финансирани и много богати компании.

Но нишовите приложения могат да работят с по-малки набори от данни. Така например чатботът BloombergGPT, което е предназначено за подпомагане на анализа на информацията от терминалите за данни на Bloomberg, има 50 млрд. параметри и е многократно по-евтин. Базовият LLM модел на базирания в Торонто стартъп Cohere AI има 52 млрд. параметри.

Но много по-голямо значение за компании като Google имат LLM моделите с отворен код. Meta предостави своята система, LLaMA, като софтуер с отворен код, който може да бъде копиран и използван от всеки. Върху нея могат да се изграждат по-малки LLM. Но има и други проекти от подобен род.