Android 16 может дать Gemini власть над приложениями, которых у Ассистента никогда не было

TLDR

Google работает над новым API для Android 16, который позволит системным приложениям выполнять действия от имени пользователей внутри приложений.
Этот новый API защищен разрешением, которое будет предоставлено приложению-помощнику по умолчанию, т.е. Gemini на новых устройствах Android.
Это может позволить Gemini выступать в качестве агента искусственного интеллекта на вашем телефоне, что Google изначально обещал, что новый Google Assistant для Pixel 4 будет делать это.

Как технический энтузиаст, который уже довольно давно следит за разработками Google, я нахожу новости о новом API Android 16 для системных приложений невероятно захватывающими! Эта функция потенциально может революционизировать то, как мы взаимодействуем с нашими смартфонами, особенно благодаря интеграции Gemini в качестве агента искусственного интеллекта.

Google вкладывает все свои ресурсы в улучшение своего чат-бота и языковой модели Gemini, планируя включить его во все свои продукты. На устройствах Android Gemini стал основным помощником во многих гаджетах, и его возможности расширяются с каждым обновлением программного обеспечения. В настоящее время, хотя Gemini может взаимодействовать с некоторыми внешними сервисами, его контроль над приложениями Android весьма ограничен. Однако ситуация может значительно улучшиться с выпуском Android 16 в следующем году с новым API, который позволит таким сервисам, как Gemini, выполнять действия в приложениях от имени пользователей.

Как аналитик, я бы описал расширения Gemini как средство, с помощью которого чат-бот Google взаимодействует с различными внешними сервисами. Эти расширения предоставляют Gemini доступ к веб-сервисам, таким как Google Flights, Google Hotels, OpenStax и другим, позволяя получать данные из этих источников, когда задаются соответствующие вопросы.

Android 16 может дать Gemini власть над приложениями, которых у Ассистента никогда не было

Проблема с расширениями Gemini заключается в недостаточной масштабируемости, поскольку Android-приложений слишком много, чтобы Google мог создавать расширения для каждого из них. Более того, многие приложения не предлагают общедоступные API, которые может использовать Gemini. Используя такие технологии, как чтение с экрана, продвинутый искусственный интеллект и специальные возможности, Gemini потенциально может позволить пользователям управлять любым приложением Android, используя естественный язык. Однако результаты могут быть неудовлетворительными из-за отсутствия контекста. Более эффективный подход заключался бы в том, чтобы Google предложил API, который позволил бы приложениям напрямую взаимодействовать с Gemini, выполняя тем самым определенные функции приложения. Похоже, именно это Google планирует сделать в Android 16.

Ранее на этой неделе компания Google представила Android 16 DP1, и в их руководствах для разработчиков мы обнаружили набор ранее нераскрытых API, указывающих на новую функцию под названием «функции приложения». Как описано в документации Google, функция приложения — это, по сути, автономная возможность, которую приложение может сделать доступной системе. Эти возможности можно использовать в рамках различных встроенных функций системы.

Объяснение функций приложения Google несколько двусмысленно, возможно, намеренно, но, к счастью, описание одного из новых методов дает наглядный пример функции приложения. В описании метода объясняется, что идентификаторы функций должны быть уникальными в приложениях, и используется пример функции для заказа еды, идентифицируемой как «orderFood». Таким образом, приложение ресторана может включать функцию приложения для заказа еды, а приложение отеля может включать функцию приложения для бронирования номера.

Android 16 может дать Gemini власть над приложениями, которых у Ассистента никогда не было

Похоже, что приложения развивают свои функциональные возможности, создавая службу, с которой может связаться только системный процесс. Эти функции приложения доступны для платформы поиска Android — важного инструмента, обеспечивающего универсальный поиск в Pixel Launcher и других функциях. В Android 16 приложения могут выполнять эти функции, если у них есть разрешение EXECUTE_APP_FUNCTIONS или EXECUTE_APP_FUNCTIONS_TRUSTED.

Хотя оба разрешения могут быть предоставлены только системным приложениям, первое в настоящее время предоставляется только системным приложениям, имеющим роль ASSISTANT (т. е. приложению Google), а второе в настоящее время предоставляется только системным приложениям, которые удерживайте роль SYSTEM_UI_INTELLIGENCE (т. е. Android System Intelligence). Оба разрешения позволяют приложениям «выполнять действия от имени пользователей внутри приложений», но «приложения, предоставляющие функции приложения, могут запретить вызывающим абонентам с» разрешением EXECUTE_APP_FUNCTIONS, вместо этого разрешая только вызывающим абонентам с EXECUTE_APP_FUNCTIONS_TRUSTED разрешение на их выполнение.

Android 16 может дать Gemini власть над приложениями, которых у Ассистента никогда не было

Похоже, что новейшие функции приложений Android 16 могут позволить Gemini манипулировать приложениями так, как ранее не мог сделать Google Assistant. Ранее, в 2019 году, Google намекнул на то, что их «новый Google Assistant» способен координировать задачи в различных приложениях. Это позволило бы пользователям выполнять многозадачные действия с помощью голосовых команд, например устно отвечать на входящее текстовое сообщение, а затем автоматически отправлять фотографию.

В 2019 году Google представила концепцию, которая очень похожа на то, чего, по утверждениям современных агентов ИИ, они могут достичь. Учитывая все проекты, в которых Google участвовал за последний год, неудивительно, что они вновь возвращаются к этой идее. Если функции приложения Android 16 позволят Gemini полностью функционировать как искусственный интеллект для вашего телефона, еще неизвестно, произойдет ли это, в зависимости от того, примут ли разработчики приложений и поддержат ли эту концепцию.

Смотрите также

2024-11-22 00:47