Можно ли клонировать Gemini, задавая ему достаточно вопросов? Google утверждает, что злоумышленники пытались.

TLDR

Отчёт Google утверждает, что одна кампания отправила более 100 000 запросов к Gemini в попытке клонировать модель.
Злоумышленники попытались выманить у Gemini больше информации о ее внутренних способностях к рассуждениям.
Google сообщает, что обнаружила такое поведение, заблокировала связанные аккаунты и усилила меры защиты от злоупотреблений.

На протяжении всей истории компании часто копировали успешные продукты. Однако чат-боты представляют собой уникальный вызов. В отличие от физических продуктов, вы не можете разобрать чат-бота, чтобы понять, как он работает, но конкуренты могут многократно задавать ему вопросы, чтобы попытаться понять его базовую логику. Недавний отчёт Google показывает, что некоторые пытаются воспроизвести Gemini таким образом. В одном случае скоординированные усилия отправили более 100 000 вопросов чат-боту, что Google описывает как масштабную попытку украсть свою технологию.

"Просто покупай индекс", говорили они. "Это надежно". Здесь мы обсуждаем, почему это не всегда так, и как жить с вечно красным портфелем.

Поверить в рынок

Новый отчёт от Threat Intelligence Group Google (опубликованный NBC News) раскрывает увеличение количества атак «дистилляцией». Эти атаки включают в себя многократное задавание вопросов AI-модели для изучения её ответов, а затем использование этой информации для обучения конкурирующего AI. Google считает это нарушением своих условий обслуживания и формой кражи интеллектуальной собственности, несмотря на то, что злоумышленники получают доступ к модели законно через её API, а не путём взлома её систем.

Отчёт подробно описывает одну кампанию, которая специально пыталась проверить, как Gemini мыслит при решении проблем. Google объясняет, что Gemini обычно не показывает все свои внутренние шаги при обработке информации, но злоумышленники попытались обмануть его, чтобы раскрыть больше информации о его процессе рассуждений. Само количество попыток – более 100 000 – указывает на то, что злоумышленники пытались скопировать навыки рассуждений Gemini для различных задач, даже на языках, отличных от английского. К счастью, системы Google быстро идентифицировали эту активность и усилили свою защиту, чтобы предотвратить раскрытие внутренних рассуждений Gemini.

Google не установила, кто стоит за попытками украсть её AI-технологии, но полагает, что большинство из них исходят от частных компаний и исследователей, стремящихся получить преимущество. По словам Джона Хулквиста, ведущего аналитика Google, по мере того, как всё больше компаний создают собственные AI-системы, используя конфиденциальную информацию, подобные усилия по клонированию, вероятно, станут более частыми во всей отрасли.

В отчёте подробно описывается, как Gemini был использован не по назначению, помимо простого копирования его базовой модели. Google обнаружила, что злоумышленники пытались использовать Gemini для создания более эффективных фишинговых атак и даже генерации вредоносного программного кода в режиме реального времени. Google заявляет, что они заблокировали учётные записи, ответственные за эти попытки, и улучшили свои меры безопасности для предотвращения аналогичных злоупотреблений в будущем.

Смотрите также

2026-02-12 20:18