Google обвиняют в снижении планки оценки обозревателями продукции Gemini

TLDR

Google недавно пересмотрела то, как он инструктирует подрядчиков оценивать реакцию ИИ.
Рецензенты теперь имеют меньше возможностей отказаться от обратной связи, поскольку им не хватает конкретных знаний по теме.
Google защищает свой интерес к этим данным, указывая на широкий спектр факторов, которые формируют обратную связь, которую он ищет.

Как опытный энтузиаст технологий и человек, который был свидетелем эволюции ИИ со стороны, я не могу не чувствовать смесь опасений и интриги, когда речь заходит о недавних изменениях Google в том, как он инструктирует подрядчиков оценивать реакцию ИИ.

В дискуссиях о спорах, связанных с ИИ, «человеческий фактор» часто служит опровержением. Если вы беспокоитесь о том, что ИИ заменит вашу работу, помните, что кому-то все равно нужно разработать ИИ, управлять его набором обучающих данных и проверять его результаты, чтобы убедиться, что он не дает бессмысленных ответов. Однако контроль со стороны человека распространяется только до тех пор, пока компании, производящие эти модели ИИ, решают его расширить, и недавний отчет поднимает некоторые тревожные вопросы о том, где Google и Gemini проводят эту границу.

По данным TechCrunch, Google делегирует часть процесса доработки Gemini таким фирмам, как GlobalLogic. Одна из их задач — оценить качество ответов Близнецов. Традиционно им советуют обходить вопросы, выходящие за рамки их компетенции, используя такие инструкции: «Если вам не хватает необходимых знаний (например, программирования или математики) для оценки этого вопроса, пожалуйста, проигнорируйте это задание.

Похоже, что это предложенное руководство, изначально помогающее предотвратить неправильное влияние неспециалистов на реакцию ИИ, претерпело изменения. Новые правила GlobalLogic теперь советуют участникам не игнорировать подсказки, требующие специальных знаний, и вместо этого оценивать те части, которые они понимают. Их также просят включить в систему примечание о том, что рейтинг выставляется, несмотря на отсутствие у них опыта в данной теме. (Перефразировано из выводов TechCrunch)

Важно учитывать различные аспекты ответов ИИ, помимо того, является ли техническая информация правильной, полной и актуальной. Это изменение политики может вызвать тревогу, поскольку оно похоже на переход к более низким стандартам качества для обработки большего количества данных. Похоже, что некоторые лица, ответственные за оценку этих данных, выразили аналогичные сомнения, основываясь на внутренних сообщениях.

Google предложил TechCrunch такое объяснение от своего представителя Ширы Макнамары:

Оценщики выполняют широкий спектр задач в различных продуктах и платформах Google. Они не только проверяют ответы по содержанию, но и предоставляют ценные отзывы о стиле, формате и других факторах. Предоставляемые ими рейтинги не влияют напрямую на наши алгоритмы, но в совокупности представляют собой полезные данные, которые помогают нам оценить, насколько хорошо работают наши системы.

Кажется, наша интерпретация хорошо согласуется с тем, что здесь происходит, но мы не уверены, что она полностью развеет все опасения общественности, подвергающей сомнению ИИ. Учитывая, насколько важен человеческий надзор для контроля нежелательных действий ИИ, любой намек на снижение стандартов может только вызвать беспокойство.

Смотрите также

2024-12-20 00:47