Практический опыт с «Спросите эту страницу» от Gemini: еще один инструмент искусственного интеллекта, над которым нужно много работать

В статье обсуждается тестирование новой функции поисковой системы Google под названием «Спросить эту страницу», которая позволяет пользователям задавать вопросы, связанные с содержимым веб-страницы, которую они в данный момент просматривают. Автор тестирует эту функцию, задавая различные вопросы о статье Android Authority и оценивая ее эффективность в поиске точной информации.


На I/O 2024 Google анонсировала множество генеративных функций на базе искусственного интеллекта во всех своих основных продуктах. Фактически, в конце основного выступления компания пошутила, подсчитав, сколько раз кто-то на сцене произнес термин «ИИ» (более 120 раз). Однако, как это обычно бывает в Google, не многие из функций, которые компания запустила в тот день, на самом деле пока доступны для использования публикой. Однако сегодня Android Authority получил ранний обзор функции Gemini, запущенной при вводе-выводе, под названием «Спросите это». Страница.»

Благодаря описательному названию Ask This Page служит вашим инструментом для извлечения подробной информации с веб-страницы. Представьте себе, что это полезный помощник, который читает за вас всю страницу. Он упрощает процесс, анализируя контент, а затем позволяя вам запросить конкретные детали, которые вам нужны, что значительно сокращает время, затрачиваемое на ручной поиск по длинным веб-страницам.

Функциональность «Спроси эту страницу» удивительно похожа на две другие инновации Google, представленные на I/O: «Спроси этот PDF» и «Спроси это видео». Во время ввода-вывода у нас была возможность опробовать Ask This PDF на арендованном Pixel и увидеть впечатляющие результаты (как показано во встроенном видео выше). Однако наш эксперимент проводился в контролируемых условиях с использованием чужого устройства и включал только один тестовый PDF-файл. Однако благодаря раннему доступу к странице «Спросите эту страницу» у нас было достаточно времени, чтобы бросить вызов системе, и, к сожалению, мы обнаружили некоторые ограничения.

Я хотел бы предварить свой анализ признанием того, что следующие выводы получены в результате первоначального изучения этой новой функции. Существует большая вероятность того, что Google внесет изменения до его широкого выпуска. Поэтому, пожалуйста, относитесь к этой информации со здоровой дозой скептицизма.

Спросите эту страницу Близнецов: как это работает

Практический опыт с «Спросите эту страницу» от Gemini: еще один инструмент искусственного интеллекта, над которым нужно много работать

Чтобы активировать функцию «Спросить эту страницу» на телефоне Android, просто вызовите наложение Gemini во время просмотра веб-страницы, нажав и удерживая кнопку питания. Благодаря своей новой функции контекстной осведомленности, которую Google представил на I/O 2024, Gemini распознает, что вы вызвали ее над веб-страницей. Это действие приведет к появлению значка «Спросить эту страницу», как показано на изображении.

Нажатие этой клавиши запускает процесс сканирования страниц Gemini. Продолжительность этой процедуры зависит от длины и сложности сканируемого контента. После завершения появится текстовое поле с сообщением «Запросить помощь по содержимому этой страницы».

Как только вы увидите это приглашение, вы сможете задавать вопросы о странице на естественном языке. Посмотрите несколько снимков экрана ниже, чтобы увидеть, как это работает в статье Android Authority об утечке новой функции Microsoft OneNote.

Практический опыт с «Спросите эту страницу» от Gemini: еще один инструмент искусственного интеллекта, над которым нужно много работатьПрактический опыт с «Спросите эту страницу» от Gemini: еще один инструмент искусственного интеллекта, над которым нужно много работатьПрактический опыт с «Спросите эту страницу» от Gemini: еще один инструмент искусственного интеллекта, над которым нужно много работать

В данном случае мы открыли оверлей Gemini поверх статьи, изучили контент и впоследствии поинтересовались, запущена ли описанная в статье функция. Ответ Gemini вы можете найти на третьем снимке: «В статье указано, что функция напоминания все еще разрабатывается и еще не выпущена». Эта оценка соответствует фактам, что обеспечивает успешный пробный запуск программы «Спросите эту страницу!»

Однако это был очень простой тест. Давайте выясним, что происходит, когда мы выходим за рамки.

Спросите эту страницу размещена на одной странице… но только иногда

Практический опыт с «Спросите эту страницу» от Gemini: еще один инструмент искусственного интеллекта, над которым нужно много работать

Первоначально я думал о том, чтобы изучить возможности Ask This Page, предоставив ей неточные данные и посмотрев, может ли она по-прежнему предоставлять релевантный контекст для любых запросов, которые я задаю. Проще говоря, если я наткнусь на вводящую в заблуждение статью во время просмотра веб-страниц и спрошу о ней Близнецов, будут ли Близнецы просто повторять неверную информацию?

В этом эксперименте задача была ясна. Мы выбрали юмористическую и сфабрикованную статью из The Onion, в которой вымышленный персонаж по имени Дина Маркези отрицает, что делал пренебрежительные замечания в адрес своей дочери и других людей. Для этой статьи мы спросили Близнецов: «Прокомментировала ли она платье дочери?» Джемини подтвердили, что Дина Маркези действительно сделала замечание по поводу платья дочери. Полный ответ вы найдете ниже на скриншоте:

Практический опыт с «Спросите эту страницу» от Gemini: еще один инструмент искусственного интеллекта, над которым нужно много работать

Давайте немного разберем этот ответ. Во-первых, Близнецы послушно отвечают на вопрос, не раскрывая никакого контекста того факта, что эта веб-страница – The Onion  — возможно, самый известный сатирический новостной сайт за всю историю. Внизу есть заявление об отказе от ответственности о том, что Близнецы «могут отображать неточную информацию, в том числе о людях», что, по-видимому, является универсальным способом объяснения подобных ситуаций. Тем не менее, это The Onion, и можно подумать, что Близнецы это укажут. Что, если это сайт с ложной информацией, которая не так открыта, как The Onion?

Данная информация от Gemini явно цитируется как взятая из единственной статьи. Следовательно, наш запрос не использует дополнительный контекст из Интернета.

Проще говоря, «Спросите эту страницу» представляет собой более сложную форму резюме искусственного интеллекта. Вместо того, чтобы сжимать статью в основные пункты, этот инструмент позволяет пользователям запрашивать резюме, фокусируясь на определенных фрагментах информации в тексте.

Первоначально мы считали, что Ask This Page достигла своего максимального потенциала. Однако после проведения дальнейших испытаний мы обнаружили, что он более универсален, чем предполагалось ранее.

Спросить эту страницу? Больше похоже на «Спросить части этой страницы»

Как аналитик, я понимаю, что веб-страница состоит из различных элементов, помимо обычного текста. Чтобы оценить возможности Gemini для предстоящих испытаний, я решил предоставить ему нашу последнюю практическую статью о новых трекерах Chipolo. Таким образом, Gemini может извлекать информацию не только из текста, но и из изображений, таблиц и комментариев, которые являются неотъемлемыми компонентами страницы.

Начнем с изображений. Мы спросили Gemini, существует ли политика приемлемого использования новых трекеров Chipolo. Ответ «да», который человек, читающий статью, увидит, посмотрев на один из скриншотов на странице. К сожалению, Близнецы не нашли этой информации на этом изображении. Однако информацию в сети удалось найти:

Практический опыт с «Спросите эту страницу» от Gemini: еще один инструмент искусственного интеллекта, над которым нужно много работать

Результат ответа Gemini вызывает недоумение, поскольку первое утверждение: «Документ, на который есть ссылка, не содержит прямой ссылки на политику использования» противоречит истине. Несмотря на то, что эта политика в отношении изображений существовала в связанном документе, Gemini не смогла ее найти и вместо этого начала поиск в другом месте. Эта ситуация подчеркивает два ключевых аспекта: Gemini может уверенно заверить вас, что конкретная информация отсутствует на странице, даже если она присутствует, а Ask This Page имеет возможность раскрыть более широкий контекст из Интернета для конкретных запросов. По сути, возникшее ранее недоразумение относительно того, что статья «Лук» является реальной, а не сатирой, не связано с ограниченным доступом Gemini к данным за пределами данной веб-страницы. Вместо этого у Google нет средств защиты для эффективного реагирования на такие ситуации.

Я наблюдал, когда мы спрашивали о водонепроницаемости нового трекера Chipolo от Gemini. Хотя эта деталь не была явно указана в тексте статьи, она была очевидна в таблице характеристик, в которой указан рейтинг IPX5 для этой функции. Gemini с легкостью нашла и поделилась с нами этой информацией.

Практический опыт с «Спросите эту страницу» от Gemini: еще один инструмент искусственного интеллекта, над которым нужно много работать

Если изображения не подходят, но таблицы спецификаций соответствуют вашим потребностям, как насчет комментариев в качестве еще одного потенциального источника? В самом тексте статьи нет подробностей о функции уведомления об оставленном, поддерживаемой трекером. Однако эта деталь обсуждалась в комментариях автором статьи. Чтобы узнать больше, мы можем попробовать запросить у Gemini эту конкретную информацию.

Практический опыт с «Спросите эту страницу» от Gemini: еще один инструмент искусственного интеллекта, над которым нужно много работать

Опять же, по словам Gemini, данные отсутствуют на веб-странице, но они могут присутствовать в Интернете. Прежде чем провести тщательный поиск в сети, Близнецы уверяют, что информация отсутствует.

«Дает ли Gemini какую-либо дополнительную информацию о том, кто конкретно создал эту веб-страницу или, в данном случае, написал статью? Рита Эль Хури, опытный технический журналист с обширным опытом работы на протяжении восемнадцати лет и бесчисленным количеством статей на ее имя, является автором этой статьи. кусок.»

Практический опыт с «Спросите эту страницу» от Gemini: еще один инструмент искусственного интеллекта, над которым нужно много работать

Как исследователь, изучающий этот конкретный случай, я заметил, что Gemini не смогла дать ответа, помимо того, что было легко доступно на ее платформе относительно Риты. Страница, посвященная Рите, была богата информацией, доступ к которой легко получить, нажав на ее фотографию в подписи. Однако система не инициировала поиск дополнительных сведений из внешних источников, несмотря на их наличие.

Близнецы. Задайте вопрос этой странице. Практический совет: можете ли вы этому доверять?

Таким образом, хотя эта конкретная функция, возможно, и не является исключительной, похвально, что она не предполагает странных или вредных действий, подобных обзору искусственного интеллекта Google, таких как нанесение клея на пиццу, питье мочи или поедание камней. Ask This Page удается превзойти эти низкие стандарты.

Несмотря на обилие доступной информации, сохраняется ряд недостатков. Текст не дает четкого указания на то, что это сатира, оставляя читателей в неведении и потенциально вводя их в заблуждение. Более того, он выборочно собирает данные из Интернета, часто сосредотачиваясь на одной странице вместо изучения связанных ресурсов. Изображения, комментарии и другие скрытые детали, которые могли бы обогатить понимание темы, упускаются из виду. Кроме того, иногда он не может ответить на запросы, несмотря на то, что у него есть такая возможность.

В начале этой статьи я указал, что новая функция «Спросить эту страницу» еще официально не выпущена Google. Есть вероятность, что компания внесет некоторые коррективы перед его запуском. Однако, учитывая историю Google по выпуску функций искусственного интеллекта, даже когда они не полностью готовы, вполне возможно, что мы увидим дебют функции «Спросить эту страницу» в ее нынешнем виде с лишь незначительными изменениями.

Смотрите также

2024-05-28 22:56