Практический обзор: новые функции видео и совместного использования экрана в Gemini Live делают его намного полезнее

Tldr

Вот демонстрация новых возможностей живого видео и совместного использования экрана в Gemini Live.
Эти функции позволяют Gemini Live отвечать на вопросы, основываясь на том, что он видит с помощью потока данных от камеры или экрана вашего телефона.
Google постепенно добавляет эти функции пользователям сервиса Gemini Advanced, поэтому возможно вы их пока не видите на вашем устройстве.

Изначально, когда Google представил Gemini Live (своего разговорного ассистента Gemini), он был в основном активирован голосом, что существенно ограничивало его возможности. Однако, последующие обновления расширили функциональность Gemini Live за счёт умения отвечать на вопросы, связанные с файлами, изображениями и видео YouTube. Сейчас Google постепенно внедряет дополнительное обновление для Gemini Live, которое позволяет ему реагировать на вопросы, основанные на визуальном вводе от камеры или экрана вашего телефона. У нас была возможность протестировать это.

🌊 Лови волну успеха! CryptoWave предлагает прогнозы, которые зарядят тебя энергией и оптимизмом.

Присоединиться в Телеграм

Как исследователь, я рад поделиться новостями о том, что Google недавно объявил о намерении внедрить некоторые функции из Project Astra в Gemini Live, при этом первое развертывание будет сосредоточено на живом видео и совместном использовании экрана. Проект Astra представляет собой передовой эксперимент от Google, основанный на искусственном интеллекте, направленный на динамическую реакцию на реальные окружения. В прошлом году на конференции I/O мы увидели Астра в действии через демонстрацию, где человек использовал смартфон и умные очки для запроса информации об окружающем мире. Почти год спустя эта функциональность стала доступной на Android телефонах с помощью Gemini Live.

После получения обновления в интерфейсе помощника Gemini станет доступна опция ‘Поделиться экраном с живыми’. Нажатие этой кнопки запустит запись экрана для совместного использования с Gemini Live через приложение Google. Затем вы можете задавать вопросы к тому, что отображается на экране, и Gemini предоставит максимально точные ответы. Как всегда, вы свободны дополнять свои вопросы независимо от их отношения к изображению. Чтобы завершить сеанс общего доступа к экрану, просто откройте панель уведомлений, разверните уведомление ‘Sharing your screen with Gemini Live’ и нажмите кнопку ‘Stop Sharing’.

Чтобы взаимодействовать с Gemini относительно предметов из реального мира, вы можете активировать функцию видео в прямом эфире последнего поколения. Перейдите на панель управления Gemini Live и нажмите иконку камеры, расположенную в левом нижнем углу экрана. Это действие отобразит окно в центре, которое будет показывать то, что сейчас захватывает камера Gemini Live. В любой момент можете задавать вопросы о сцене, которую снимает ваша телефонная камера, и Gemini ответит с использованием своего обширного банка знаний. По умолчанию эта функция использует заднюю камеру, но вы можете изменить её на переднюю, нажав кнопку в правом нижнем углу окна.

Это было буквально на днях, когда я обнаружил новые функции живых видео и трансляции экрана на своем телефоне Xiaomi от Gemini Live, но кажется, что эти возможности еще не были широко выпущены. Как объявил Google, данные функции станут доступными для подписчиков Gemini Advanced в этом месяце, поэтому ожидается скорое широкое распространение.

Смотрите также

2025-03-26 19:50