Осторожно! Исследования показывают, что почтовые сводки Gmail на основе искусственного интеллекта могут быть взломаны.

TL;DR

Исследователь недавно продемонстрировал недостаток Gemini, который мог быть использован для внедрения вредоносных инструкций при использовании функции резюме писем в Gmail.
Эти инструкции были скрыты в обычном тексте под телом электронного письма.
Google ответила на исследование, заявив, что обновила свои модели для выявления таких методов инженерии запросов и блокирования фишинговых ссылок.

Крупные технологические корпорации часто заявляют, что ИИ — это универсальное средство, освобождающее нас от утомительных задач, таких как тщательное чтение длинных электронных писем. Однако зачастую недостаточно внимания уделяется потенциальным рискам ИИ, например тому, как он может неосознанно приводить нас в опасные ситуации, где конфиденциальная информация может быть украдена. Недавнее исследование осветило эту проблему при обсуждении возможности использования хакерами Gemini для фишинговых схем.

"Просто покупай индекс", говорили они. "Это надежно". Здесь мы обсуждаем, почему это не всегда так, и как жить с вечно красным портфелем.

Поверить в рынок

В последнее время эксперт по кибербезопасности выявил уязвимость в Google Workspace, которая позволяет Gemini показывать опасные инструкции при манипуляциях. Об этой проблеме сообщили 0din, программе Mozilla Foundation, предлагающей вознаграждения за обнаружение ошибок в приложениях ИИ. Проблема заключается в том, что достаточно легко обмануть функцию суммирования внутри писем Gmail для пользователей Google Workspace.

Данное представление демонстрирует, как вводящие в заблуждение подсказки могут быть вставлены в тело электронного письма в формате обычного HTML или скрытого текста с помощью невидимого цвета шрифта. Gemini интерпретирует эти подсказки как команды и может отображать их в сводке электронного письма без какой-либо осторожности.

Потому что сообщение скрыто в основном тексте начального письма, оно зачастую ускользает от внимания получателя, который может принять его за системное предупреждение от Gemini. Однако, как отметил исследователь blurrylogiic, это можно использовать для показа сообщений, способных убедить получателя раскрыть конфиденциальную информацию без тщательной проверки подлинности. Это потенциально подвергает их риску кражи учетных данных посредством тактики социальной инженерии.

После обнародования результатов исследования Google раскрыл меры, которые были приняты для укрепления устойчивости Gemini к подобным стратегиям. В ответ на сообщения о уязвимостях в Gemini, компания заявила, что регулярно обновляет свою базу данных, содержащую вредные запросы или команды, направленные на манипулирование ответами чатбота. Основные модели машинного обучения постоянно обучаются таким образом, чтобы предотвратить реакцию на вредоносные инструкции.

Google также описывает различные методы борьбы с разнообразными фишинговыми угрозами. В частности, он подчеркнул, что Gemini тщательно проверяет ссылки в электронных письмах, которые кажутся полезными, но могут быть мошенническими, и удаляет их из превью электронной почты. Кроме того, для усиления мер безопасности Gemini запрашивает подтверждение пользователя перед выполнением определенных действий, таких как удаление конкретных задач.

Несмотря на меры предосторожности Google, крайне важно помнить, что киберпреступники часто планируют заранее. Поэтому настоятельно рекомендуем не доверять сразу же сообщениям от Gemini, призывающим к действиям вроде перехода по ссылкам, совершения звонков или контакта с конкретными лицами без предварительной проверки их подлинности.

Смотрите также

2025-07-15 15:48