Первый взгляд: Gemini учится становиться умнее, когда вы спрашиваете о том, что отображается на вашем экране.

Коротко говоря

Google Gemini может отвечать на вопросы о содержимом экрана вашего устройства, но только после нажатия кнопки «Спросить об экране».
Похоже, Gemini работает над новым режимом, который будет определять, когда вы говорите о своем экране, а затем автоматически его анализировать.
Google также предложит настройки для отключения этой функции, поэтому Gemini потребуется явное разрешение на просмотр вашего экрана.

Google предлагает несколько способов понять, что отображается на экране вашего Android-устройства. Вы можете использовать Lens, хотя это немного сложно, или более быстрый Circle to Search. Теперь, с функцией ‘Ask about screen’ от Gemini, у вас есть еще один мощный вариант. Мы рассматриваем небольшое улучшение, которое Google может внести, чтобы сделать поиск по экрану еще проще.

"Просто покупай индекс", говорили они. "Это надежно". Здесь мы обсуждаем, почему это не всегда так, и как жить с вечно красным портфелем.

Поверить в рынок

В настоящее время получение ответа от Gemini на вопросы о том, что отображается на вашем экране, не является прямым. Вам нужно открыть окно Gemini с помощью голосовой команды или кнопки, *затем* нажать ‘Спросить об экране’, прежде чем вы сможете задать свой вопрос. Если пропустить этот шаг и спросить сразу, Gemini не поймет, о чем вы спрашиваете.

Хотя этот метод работает, он немного сложен. Мы гадаем, существует ли более простое решение. Это всё ещё тестируется, поэтому неясно, реализует ли Google это на самом деле, но мы обнаружили намёки на другой процесс в версии 16.37.46.sa.arm64 приложения Google.

Компания Google планирует новую функцию для Gemini под названием «Контекст экрана». При включении эта настройка позволит Gemini автоматически понимать, когда вы хотите, чтобы он посмотрел на ваш экран для получения дополнительной информации. Это решит проблему необходимости вручную делиться своим экраном, прежде чем задавать Gemini вопрос о том, что на нем отображается — Gemini сможет проактивно начать анализировать ваш экран, основываясь на ваших действиях.

Лучший способ получить доступ к этим функциям приведет вас к существующим настройкам приложения Digital Assistant, где вы также можете управлять доступом к скриншотам. По сути, Google хочет получить ваше явное разрешение, прежде чем Gemini начнет просматривать ваш экран. Кроме того, непоследовательное использование строчных букв для ‘Gemini’ говорит о том, что это все еще в разработке и еще не полностью завершено.

После включения, если вы спросите у Gemini о чём-то, что видно на вашем экране, вы на короткое время увидите сообщение «Получение содержимого приложения…» перед получением ответа. Также внизу появится небольшое уведомление, объясняющее, что произошло, чтобы вы знали, что функция активна, и могли легко отключить её, если не хотели этого. Вот краткий обзор того, как это работает:

https://youtube.com/watch?v=gkydTx3pICc

Если Google сможет точно понимать, когда вопрос касается того, что отображается на вашем экране, это кажется хорошим балансом между тем, чтобы позволить Gemini делать то, что он умеет, и избежанием лишних шагов. Мы будем следить за его развитием и делиться обновлениями, когда он станет доступен для тестирования всем желающим.

Смотрите также

2025-09-22 22:18