Компанията за киберсигурност OpenZeppelin проведе одит на новия ИИ.бенчмарк на OpenAI, EVMbench. Експертите са установили методологични грешки и „замърсяване“ на данните.
Разработчикът на ChatGPT стартира EVMbench в средата на февруари в партньорство с инвестиционния фонд Paradigm, за да оцени способността на AI-агентите да намират, поправят и използват уязвимости в смарт-договорите.
Експертите на OpenZeppelin приветстваха инициативата, но решиха да тестват разработката спрямо същите стандарти като протоколите, които защитават (включително Aave, Lido и Uniswap).
Какви са основните недостатъци?
Основният проблем е замърсяването на данните от обучението. EVMbench е базиран на селекция от 120 уязвимости, идентифицирани по време на одити през 2024–2025 г.
В същото време, водещите тествани модели имат база знания до август 2025 г. Те биха могли да „запомнят“ информация за тези уязвимости от данните за обучение. Дори при изключен интернет това поставя под въпрос чистотата на експеримента: не е известно дали изкуственият интелект е способен да открива наистина нови заплахи.
OpenZeppelin също посочи действителни грешки в набора от данни на EVMbench. Поне четири уязвимости в категорията „висок риск“ бяха установени като неработещи. В същото време, ИИ-агентите получиха правилни оценки за предполагаемо правилно откриване на тези проблеми.
„Това не са субективни разлики в тежестта; това са случаи, при които описаната атака просто не работи“ — подчертаха експертите.
Те потвърдиха също, че изкуственият интелект в бъдеще ще играе ключова роля в сигурността на блокчейн технологията. Те обаче предупредиха, че бързането с внедряването му не бива да компрометира качеството на данните и тестването.
„Въпросът не е дали изкуственият интелект ще промени сигурността на смарт-договори — ще го направи. Въпросът е дали бенчмарковете и данните, върху които изграждаме тези инструменти, ще отговарят на същите стандарти като договорите, които са предназначени да защитават“ — заключиха от OpenZeppelin.
Всичко важно от света на технологиите, директно в пощата ти.
С абонирането приемате нашите Условия и Политика за поверителност. Може да се отпишете с един клик по всяко време.
Коментирайте статията в нашите Форуми. За да научите първи най-важното, харесайте страницата ни във Facebook, и ни последвайте в Google Новини, TikTok, Telegram и Viber или изтеглете приложението на Kaldata.com за Android, iPhone, Huawei, Google Chrome, Microsoft Edge и Opera!
