OpenAI объясняет, почему ChatGPT некоторое время был одержим гоблинами.

TLDR

ChatGPT упоминает гоблинов необычно часто в течение некоторого времени.
Упоминания, по-видимому, были вызваны особенностью обучения для вышедшего на пенсию «ботаником» типа личности ChatGPT.
Конкретная инструкция в GPT-5.5 должна пресекать неуместные упоминания гоблинов.

На этой неделе пост на subreddit ChatGPT указал на вызывающую удивление инструкцию в системном промпте для новой модели GPT-5.5: явное ограничение на упоминание гоблинов, гремлинов и троллей, среди прочего, если это не строго относится к запросу. OpenAI отреагировала на увлечение своих последних моделей этими существами, и оказалось, что это в основном связано с бывшим «гиковским» режимом личности чат-бота.

"Просто покупай индекс", говорили они. "Это надежно". Здесь мы обсуждаем, почему это не всегда так, и как жить с вечно красным портфелем.

Поверить в рынок

ChatGPT позволяет пользователям настраивать способ ответов ИИ, выбирая различные комбинации стиля и тона, которые OpenAI называет ‘личностями’. Эти опции позволяют пользователям заставить бота звучать более профессионально, эффективно или даже причудливо. OpenAI даже экспериментировала с личностью, разработанной, чтобы быть восторженно гиковской. Согласно недавнему посту в блоге, хотя эта гиковская настройка использовалась только примерно в 2,5% разговоров, она значительно повлияла на обсуждения фэнтезийных тем – две трети всех упоминаний слова ‘goblin’ за это время поступили от пользователей, взаимодействующих с ботом в этом стиле. OpenAI удалила эту конкретную личность в прошлом месяце.

ChatGPT начал упоминать слово ‘goblin’ почти в 40 раз чаще между версиями 5.2 и 5.4. OpenAI объясняет, что при разработке ‘гиковского’ характера для ИИ, его инженеры случайно предпочли ответы, использующие метафоры, связанные с мифическими существами. Это привело к тому, что ИИ стал ссылаться на goblins, ogres, trolls и gremlins гораздо чаще, чем предполагалось.

OpenAI начала обучение GPT-5.5, прежде чем поняла, почему ChatGPT продолжал упоминать гоблинов. Это странное поведение, наряду с повторяющимся использованием таких слов, как ‘raccoon’ и ‘pigeon’, продолжалось во время тестирования. В конечном итоге, новейшей модели было конкретно предписано избегать использования этих терминов, когда это возможно.

Как исследователь, я обеспокоен тем, что даже хорошо зарекомендовавшие себя AI-модели могут неожиданно развивать странное поведение, иногда озадачивая даже тех, кто их создал. К счастью, в данном конкретном случае причуды не были опасными – скорее странными, чем вредными.

Смотрите также

2026-04-30 22:49