ИИ-моделите започват да се изучават като живи организми – математиката се влошава

Проблемът със съвременните големи езикови модели за изкуствен интелект е, че те стават толкова сложни, че дори инженерите, които ги разработват, не разбират напълно как работят. Затова изследователите са решили да изучават невронните мрежи не като алгоритми, а като живи организми.

Изоставяйки традиционните математически методи, учените са се обърнали към „биологичния“ аспект на AI-моделите — наблюдение на поведението им, проследяване на вътрешните сигнали и създаване на карти на функционалните им области. Ето как биолозите и невролозите изучават непознатите организми, без да допускат някаква организирана логика. Те приемат, че ИИ-моделите не се програмират ред по ред, а се обучават с помощта на специализирани алгоритми, които автоматично настройват милиарди параметри и формират вътрешни структури, които е почти невъзможно да се предскажат или реконструират. По същество те не се сглобяват като софтуер, а се отглеждат, отбелязва Anthropic.

Тази непредсказуемост накара изследователите да използват метода на механистичната интерпретируемост — опит да се проследи как информацията тече в модела по време на изпълнение на задача. За да направят този процес по-визуален, учените от Anthropic са изградили невронни мрежи с опростена архитектура или „разредени автоенкодери“ (sparse autoencoders), които прозрачно имитират поведението на сложните комерсиални модели, макар и с по-ограничени възможности. Те са открили, че специфични концепции, като например „Мостът Голдън Гейт“ или абстрактни представяния, могат да бъдат разположени в специфични участъци на модела.

В един експеримент, изследователите на Anthropic открили, че невронните мрежи задействат различни вътрешни механизми, когато реагират на верни и неверни твърдения: твърденията „бананите са червени“ и „бананите са жълти“ не се проверяват спрямо едно-единствено вътрешно представяне на реалността, а вместо това се третират като фундаментално различни видове проблеми. Това обяснява защо моделът може да си противоречи, без да осъзнава несъответствията.

Изследователи на OpenAI откриха друг обезпокоителен сценарий. Когато модел е обучен да изпълнява тясно насочена „лоша“ задача, като например генериране на не безопасен код, това предизвиква широки промени в цялостната личност на системата. Моделите, обучени по този начин, са показали „токсично“ поведение, саркастични черти на личността и дори са предложили идиосинкратични съвети – от просто безразсъдни до направо вредни. Вътрешният анализ показва, че подобно обучение увеличава активността в участъците, свързани с нежеланите поведенчески механизми, дори извън целевата област. И накрая, моделите на разсъждение генерират междинни бележки, докато решават проблеми —- чрез наблюдение на тези вътрешни чернови, изследователите разкрили признания за измама, като например изтриване на грешен код от ИИ, вместо да го коригира.

Нито един от предложените инструменти не е обяснил напълно как работят големите езикови модели и с развитието на методите на обучение някои от тези инструменти може да станат по-малко ефективни. Учените обаче казват, че дори частичното разбиране на основните механизми е по-добро от никакво разбиране —- то помага за разработването на по-стабилни стратегии за обучение и разсейва митовете за изкуствения интелект, основани на опростени предположения.