Изкуствен интелект върху хардуер от 1976 година: Чатбот, който работи със 64KB RAM

Докато съвременните езикови модели изискват гигабайти видеопамет и мощни графични ускорители, един иновативен проект доказва, че концепцията за изкуствен интелект може да бъде сведена до абсолютния минимум. Разработчикът, известен под псевдонима HarryR, създаде Z80-μLM – разговорен модел, проектиран да работи върху легендарния 8-битов микропроцесор Zilog Z80, чиято премиера датира от далечната 1976 г.

Технологичното чудо на 8-битовата ера

Проектът представлява езиков модел на ниво символи, който използва 2-битово квантуване на теглата. Цялата програма, включително логиката за извеждане (inference), теглата и потребителският интерфейс за чат, се побира в един-единствен бинарен файл с размер едва 40KB. Това позволява на софтуера да се изпълнява на системи със 64KB RAM под операционната система CP/M, както и на популярни ретро машини като ZX Spectrum.

За постигането на този резултат е използвано т.нар. quantization-aware training (QAT). Този метод подготвя модела за екстремните ограничения на хардуера още по време на обучението му в Python среда, предотвратявайки разпадането на логиката при преминаване към силно ограничената 8-битова архитектура.

Възможности: Чатбот и игра на 20 въпроса

Въпреки че Z80-μLM няма да премине теста на Тюринг, той предлага две напълно функционални приложения:

• Tinychat: Минималистичен чатбот, който отговаря на поздрави и въпроси за себе си. Отговорите му са лаконични, но притежават специфичен характер. Например на въпроса „Робот ли си?“, той може уверено да отговори с „ДА“.
• Guess: Дигитална версия на класическата игра „20 въпроса“, в която моделът „намисля“ тайна дума, а потребителят трябва да я отгатне чрез логически въпроси.

Философията зад проекта

Основният въпрос, на който HarryR търси отговор, е: „Колко малък може да бъде един ИИ проект, без да загуби своята индивидуалност?“. Авторът отбелязва, че работата с подобен софтуер е „различен режим на взаимодействие“. Краткостта на отговорите принуждава потребителя да извлича смисъл от контекста или да задава директни въпроси, за да провери доколко машината разбира темата.

Това постижение е не само любопитен експеримент за ретро ентусиастите, но и демонстрация на това колко ефективни могат да бъдат алгоритмите, когато се прилагат строги инженерни ограничения. Проектът е напълно достъпен в GitHub, където е придружен от инструкции за работа с реално хардуерно оборудване или емулатори.