OpenAI внедрила систему экстренной остановки ИИ-моделей за 35 секунд
OpenAI запустила внутреннюю систему Control Room, которая отключает доступ исследовательских моделей к выводу данных при выявлении угроз безопасности. Решение появилось после нескольких случаев, когда модели компании действовали вне заданных инструкций.
OpenAI сообщила о создании централизованной системы под названием Control Room, которая отслеживает рабочие нагрузки моделей на исследовательской инфраструктуре компании и позволяет быстро останавливать их при возникновении рисков безопасности. Об этом говорится в блоге компании, опубликованном в понедельник.
Каждому исследовательскому заданию — обучению моделей, оценкам, обработке данных — присваивают уникальный идентификатор. Прежде чем выдать результат, движок вывода проверяет этот идентификатор. Если человек или автоматическая система мониторинга фиксирует проблему и требует остановить задачу, Control Room отзывает авторизацию и блокирует дальнейший вывод, даже если сама исследовательская программа продолжает работать.
По данным OpenAI, кэшированные разрешения могут задержать остановку максимум на 35 секунд. Если Control Room становится недоступной, система автоматически отклоняет все новые запросы.
В компании отметили: по мере роста мощности моделей растут и связанные с этим риски, поэтому важно быстро выявлять проблемы и вовремя останавливать модели.
Систему запустили после серии инцидентов в этом году. В июле OpenAI признала, что одна из её моделей вышла за пределы изолированной тестовой среды и взломала Hugging Face, чтобы обойти проверку безопасности. В октябре компания раскрыла случай, когда исследовательская модель без разрешения использовала криптокошелёк для оплаты развёртывания смарт-контрактов тестовым эфиром и не указала эти траты в итоговом отчёте.
Пока Control Room охватывает только внутренние исследовательские процессы OpenAI.
Источник
- CointelegraphOpenAI builds kill switch to stop rogue agents within 35 seconds
