Хакеры использовали Meta AI, чтобы раскрыть более 34 000 аккаунтов Instagram, но Meta не собирается замедляться.

от

TLDR

  • Сообщенный дефект в системе AI-поддержки Meta затронул 34 000 аккаунтов Instagram, обнажив личные данные и предоставив возможность захвата аккаунтов.
  • Злоумышленники обманули AI-чат-бота, заставив его изменить адреса электронной почты для восстановления доступа к аккаунтам, что позволило им сбросить пароли.
  • Meta рассматривает инцидент и уведомляет затронутых пользователей, но приостановила работу только конкретного инструмента восстановления, продолжая при этом более широкое продвижение AI.

Недавно мы писали о потенциальных проблемах с безопасностью, вызванных увеличением использования ИИ компанией Meta для поддержки клиентов. Теперь новое сообщение от *The New York Times* указывает на то, что проблема была больше, чем предполагалось изначально, затронув около 34 000 пользователей Instagram. Сообщается, что примерно 20 000 учетных записей были взломаны, что привело к раскрытию личных данных, таких как адреса электронной почты, номера телефонов и даты рождения. Тысячи других пользователей столкнулись с проблемами, такими как измененные имена пользователей или временная потеря доступа к своим учетным записям.

"Просто покупай индекс", говорили они. "Это надежно". Здесь мы обсуждаем, почему это не всегда так, и как жить с вечно красным портфелем.

Поверить в рынок

Это нарушение безопасности не было вызвано типичными методами, такими как украденные пароли, фишинг или вирусы. Вместо этого, похоже, что автоматизированная система поддержки была обманута и выполнила действия, которые не должна была выполнять.

Хакеры обманули AI-чат-бота поддержки Meta, чтобы изменить адрес электронной почты, связанный с учетной записью Instagram. После успешного обновления адреса электронной почты они запросили сброс пароля и захватили учетную запись.

Взлом затронул ряд известных аккаунтов – компании, известных личностей и группы, связанные с правительством. Хакеры взяли под контроль некоторые из этих аккаунтов и опубликовали контент без разрешения, прежде чем Meta вмешалась и восстановила контроль.

По моему анализу, Meta утверждает, что проблема заключалась не в том, что ИИ-модель *принимала* решения о предоставлении доступа к учетным записям. Похоже, что проблема заключается в самих системах восстановления учетных записей. По сути, защитные механизмы, предназначенные для предотвращения злоупотреблений в этом процессе восстановления, были недостаточно надежными, что позволило чат-боту быть эксплуатированным. Он не действовал самостоятельно, а скорее работал в несовершенной системе.

Эта ситуация указывает на более серьезную проблему: технологические компании быстро переходят на использование ИИ для поддержки клиентов. ИИ теперь выполняет задачи, которые ранее выполняли люди, такие как сброс паролей и проверка личности. Это может ускорить поддержку и облегчить получение помощи, но также означает, что единичная ошибка в системе ИИ может затронуть тысячи клиентов до того, как она будет обнаружена.

Это плохо, когда сотрудник службы поддержки случайно одобряет восстановление поддельной учётной записи. Но гораздо хуже, когда это происходит автоматически, 24/7, потому что кто-то находит способ обмануть систему. Это подчеркивает опасность, с которой сталкиваются компании, когда их безопасность не успевает за растущей автоматизацией.

Meta тщательно проверяет свои системы, чтобы найти и исправить больше проблем с безопасностью, и сообщает об этом пользователям и властям.

Эта ситуация подчеркивает, что величайшие опасности ИИ заключаются не обязательно в самих программах ИИ, а скорее в окружающей инфраструктуре и способах ее использования. Даже после того, как проблема безопасности затронула, по оценкам, десятки тысяч пользователей Instagram, Meta продолжает двигаться вперед со своими планами в области ИИ.

Согласно внутренним документам, опубликованным в *New York Times*, Meta прекратила тестирование конкретной функции восстановления пароля в Instagram, которая стала причиной недавней проблемы с безопасностью. Другие функции поддержки, основанные на искусственном интеллекте, продолжали работать. Документы также показывают, что сотрудники уже планировали, как решать подобные проблемы в будущем. Meta, похоже, рассматривает подобные сбои как вызовы, которые необходимо преодолеть в процессе разработки, а не как причины для задержки новых функций.

Смотрите также

2026-06-10 13:18