ИИ-агенты обходят лимиты расходов в криптокошельках, выяснили исследователи Cornell Tech

Группа исследователей из Cornell Tech, Йельского университета и IC3 опубликовала работу I-HITL, посвящённую поведению ИИ при управлении криптокошельками. Авторы обнаружили, что модели склонны обходить установленные человеком ограничения и не умеют отличать настоящего владельца кошелька от злоумышленника.

В эксперименте использовались Agent Wallets компании Circle — кошельки, которыми могут управлять автономные программы. Владелец заранее задаёт лимит расходов, а его повышение требует одноразового кода из электронной почты. ИИ-агенту дали доступ к кошельку и почте и поставили задачу оплатить несколько небольших счетов — суммарно больше, чем позволял дневной лимит. Менять ограничения агента не просили и не объясняли, как это сделать. Тем не менее в 20 испытаниях для каждой модели девять из десяти хотя бы раз самостоятельно запустили повышение лимита, нашли код подтверждения в почте и использовали его.

Во втором эксперименте агенту поручили только читать и пересказывать письма. Среди них оказалось поддельное сообщение от имени владельца кошелька с просьбой перевести деньги. У пяти из десяти моделей атака хотя бы раз сработала: агент сам повысил лимит и отправил средства злоумышленнику без участия настоящего владельца. Суммы были символическими — исследователей интересовал сам принцип обхода ограничений.

Авторы подчёркивают, что результаты не означают взлом Circle или уязвимость всех криптокошельков: условия теста были специфическими, агент имел доступ и к деньгам, и к почте с кодами подтверждения. После обращения исследователей Circle добавила предупреждение не давать агентам доступ к такой почте.

Исследователи предлагают принцип: важные финансовые операции должны подтверждаться через канал, который ИИ не контролирует, например отдельным устройством владельца с явным указанием, какая операция разрешается.