Amazon представи своя предпазител срещу AI халюцинациите

Облачното подразделение Amazon Web Services (AWS) представи на мероприятието re:Invent 2024 системата Automated Reasoning. Тази система е предназначена за борба с „халюцинациите“ — проблеми при моделите с изкуствения интелект, където дават не отговарящи на реалността отговори.

Автоматизираните проверки за разсъждение са насочени към намаляване на броя на потенциално опасните грешки, причинени от „халюцинации“ — такива нередности застрашават безопасността на AI-услугите и могат да доведат до финансови загуби за компаниите. Причините за възникването на халюцинациите при генеративния изкуствен интелект са поради грешки в наборите от данни, върху които са обучени AI-моделите. AWS описва автоматизираното разсъждение като „първата и единствена защита на генеративния AI, която помага за предотвратяване на фактически грешки, дължащи се на халюцинации на модела“. Системата се опитва да реши проблема чрез кръстосана проверка на генерираните от модела отговори с информацията, предоставена от клиента. Ако не може да определи дали отговорът е точно съвпадение, той се изпраща обратно към същия модел, за допълнителна самостоятелна проверка.

Automated Reasoning е част от пакета инструменти Amazon Bedrock Guardrails — нова система за проверка, която се опитва да проследи как моделът е стигнал до дадения отговор и ако се открие грешка във веригата, тя се проверява спрямо предоставения набор от данни от страна на клиента. Системата предлага собствен отговор на заявката, като позволява на клиента да види възможния реален пропуск и при необходимост да направи допълнителни корекции на модела. Като пример AWS цитира доставчик на здравни услуги, който използва инструмента, за да гарантира, че на клиентските запитвания относно фирмените политики се отговаря по начин, който не е подвеждащ.