Ключов специалист в OpenAI по безопасността на ИИ се присъедини към конкурент

Водещият изследовател в областта на безопасността на изкуствения интелект Андреа Валоне (Andrea Vallone) напусна OpenAI и се присъедини към конкурента му Anthropic. В OpenAI Валоне прекара три години, ръководейки изследванията по критичния и понастоящем слабо регулиран въпрос относно това как AI-моделите трябва да реагират, когато потребителите показват признаци на емоционална свръхзависимост или ранни признаци на психично заболяване при взаимодействията си.

Както The Verge научи, Валоне ще се присъедини към екипа на Anthropic Alignment. Нейният ход идва във време на засилено внимание към етичните и обществени рискове, свързани с генеративния изкуствен интелект. През последната година няколко водещи стартъп компании се сблъскаха със сериозни критики и съдебни дела след трагични инциденти, при които потребители, изпитващи проблеми с психичното здраве, допълнително изостриха стреса си по време на разговори с чатботове. Например, има широко съобщавани случаи на тийнейджъри, извършващи самоубийство, и възрастни, извършващи убийства след взаимодействие с изкуствен интелект. Този въпрос вече беше обсъждан на изслушване на подкомисия на Сената на САЩ, а семействата на жертвите заведоха дела.

През трите години на предишната си позиция тя е изградила екип за изучаване на поведенческата политика на ИИ и е участвала във внедряването на GPT-4, моделите на разсъждение и GPT-5, както и в разработването на процеси за обучение на ключови техники за безопасност. В Anthropic Валоне ще работи под ръководството на Ян Лейке, който напусна OpenAI през май 2024 г., заявявайки, че „процесите за безопасност са отстъпили място на лъскавите продукти“ в компанията.

В публикацията си в LinkedIn Валоне написа, че „с нетърпение очаква да продължи изследванията си в Anthropic, фокусирайки се върху усъвършенстването на поведението на Claude в нови контексти“. Междувременно Сам Боуман, един от лидерите на екипа на Anthropic Alignment, написа в публикация в LinkedIn, че е „горд с това колко сериозно Anthropic приема проблема с определянето на това как трябва да се държи една ИИ-система“.