Сигурността на AI агентите ще стане вградена: OpenAI придоби стартъпа Promptfoo

OpenAI се договори за придобиването на стартъпа Promptfoo, специализиран в разработването на инструменти за тестване на сигурността на AI системите на етапа на тяхното разработване. Според Bloomberg, сделката има за цел да намали рисковете за клиентите, внедряващи софтуер на базата на AI и да привлече големи компании.

Самият стартъп съществува от две години, базиран е в Сан Франциско и предоставя инструменти с отворен код (Open Source) за тестване на сигурността на невронни мрежи, включително процедурата „червен отбор“ (red-teaming), при която специалистите имитират атаки срещу собствените си продукти в процеса на тяхното разработване, за да открият слабите места, преди те да бъдат използвани от истински хакери. Клиенти на стартъпа са около 25% от компаниите от списъка Fortune 500.

Технологиите на Promptfoo ще бъдат интегрирани в корпоративната платформа OpenAI Frontier. След интеграцията тя ще получи възможности за автоматизирано тестване, мониторинг на промените и проследяване на резултатите от проверките за съответствие с изискванията за сигурност.

Управляващият директор на компанията Insight Partners Ганеш Бел, която оглави кръга на финансиране на Promptfoo на стойност 18,4 млн. долара през миналата година отбеляза, че „покупката е ясен знак за ангажимента на OpenAI да създаде корпоративен AI, който да е не само мощен, но и сигурен и надежден при мащабиране“. Финансовите условия на сделката не се разкриват.

OpenAI ще продължи да развива Open-Source технологиите на Promptfoo успоредно с търговската интеграция и вече започна да внедрява функции за сигурност в своите продукти, като миналата седмица представи AI агент за търсене и отстраняване на уязвимости в бази данни, аналогичен на инструмента Anthropic PBC.