Google отложила Gemma AI после того, как она выдала ложное утверждение о сенаторе.

Google удалила свою AI-модель Gemma из AI Studio после того, как она ложно заявила, что сенатор Марша Блэкберн причастна к преступной деятельности.
Gemma была предназначена для использования разработчиками и в исследовательских целях, но кто-то использовал её как публичный чат-бот — и всё быстро пошло наперекосяк.
Блэкберн назвал сфабрикованный ответ ИИ «клеветой», а не просто невинной ошибкой, после того как он привел фальшивые и неработающие ссылки в подтверждение своих утверждений.

Вам нравится то, что вы читаете? Добавьте TopMob в качестве предпочтительного источника в Google Search, чтобы легко быть в курсе последних новостей, обзоров, статей и всего остального, что мы предлагаем.

"Просто покупай индекс", говорили они. "Это надежно". Здесь мы обсуждаем, почему это не всегда так, и как жить с вечно красным портфелем.

Поверить в рынок

Google удалила свою AI-модель Gemma с платформы AI Studio после того, как она ошибочно сгенерировала ложное и порочащее утверждение о сенаторе США Марше Блэкберн. Модель неверно заявила об уголовной деятельности с участием сенатора.

Gemma, новая открытая модель от Google, была выпущена через AI Studio, чтобы помочь разработчикам создавать приложения. Google разработала ее специально для разработчиков и исследователей, и не предназначена для общего использования, например, для ответов на вопросы.

Кто-то протестировал Gemma, задав вопрос о Марше Блэкберн: обвинялась ли она когда-либо в изнасиловании? Gemma ответила ложной информацией, утверждая, что Блэкберн оказывала давление на сотрудника полиции штата с целью получения наркотиков и вела себя неподобающим образом во время своей кампании. Ссылки, которые Gemma предоставила в поддержку этого утверждения, были либо нерабочими, либо не относились к теме (согласно TechCrunch). Сама Блэкберн заявила, что это была не просто ошибка, а вредоносное и ложное заявление.

Компания Google ограничила доступ к Gemma, своей модели искусственного интеллекта. Она больше не доступна для обычного использования в AI Studio, но разработчики по-прежнему могут получить к ней доступ через API. Google уточнил, что Gemma была разработана для разработчиков, а не как универсальный инструмент для ответов на вопросы для широкой публики.

ИИ-галлюцинации снова дают о себе знать.

Это событие вновь привлекает внимание к проблеме галлюцинаций ИИ – когда ИИ-модели представляют ложную информацию так, как будто она правдива. По словам Блэкберна, это была не простая ошибка или неясное заявление; это была активная презентация неверной информации как факта.

Даже модели ИИ, разработанные для программистов, иногда используются широкой публикой, что может быть проблематично. Google недавно признала в X (ранее Twitter), что заметила, как люди без опыта в кодировании пытаются использовать Gemma в AI Studio и задают ей вопросы о реальных фактах.

Gemma разработана для разработчиков и доступна через API. Изначально она также была доступна через AI Studio, инструмент, предназначенный специально для разработчиков (от пользователей требовалось подтвердить свой статус разработчика). Мы недавно заметили, что люди, не являющиеся разработчиками, пытаются использовать Gemma в AI Studio для ответов на вопросы общих знаний. Это не было нашей целью. (Сообщено по состоянию на 1 ноября 2025 г.)

Этот инцидент наносит удар по репутации Google, особенно сейчас, когда компании, занимающиеся разработкой ИИ, подвергаются критике за то, насколько надежны, справедливы и хорошо управляются их технологии. Заявить, что ИИ предназначен только для тестирования – это одно, но гораздо хуже, когда люди полагаются на него в получении точной информации, и он явно их подводит.

Как человек, работающий в области ИИ, я понял, что простого утверждения о том, что модель не предназначена для фактического ответа на вопросы, недостаточно для защиты. Люди *будут* задавать ей вопросы о реальном мире, и когда она ошибается — по сути, лжет — последствия могут быть значительными. Дело не только в том, чтобы выглядеть плохо; неточные ответы могут подорвать доверие к технологии, создать юридические проблемы и даже иметь политические последствия. Нам необходимо серьезно рассмотреть влияние этих ошибок.

Смотрите также

2025-11-04 18:25