Android 16 может дать Gemini власть над приложениями, которых у Ассистента никогда не было

от

TLDR

  • Google работает над новым API для Android 16, который позволит системным приложениям выполнять действия от имени пользователей внутри приложений.
  • Этот новый API защищен разрешением, которое будет предоставлено приложению-помощнику по умолчанию, т.е. Gemini на новых устройствах Android.
  • Это может позволить Gemini выступать в качестве агента искусственного интеллекта на вашем телефоне, что Google изначально обещал, что новый Google Assistant для Pixel 4 будет делать это.

Как технический энтузиаст, который уже довольно давно следит за разработками Google, я нахожу новости о новом API Android 16 для системных приложений невероятно захватывающими! Эта функция потенциально может революционизировать то, как мы взаимодействуем с нашими смартфонами, особенно благодаря интеграции Gemini в качестве агента искусственного интеллекта.

Google вкладывает все свои ресурсы в улучшение своего чат-бота и языковой модели Gemini, планируя включить его во все свои продукты. На устройствах Android Gemini стал основным помощником во многих гаджетах, и его возможности расширяются с каждым обновлением программного обеспечения. В настоящее время, хотя Gemini может взаимодействовать с некоторыми внешними сервисами, его контроль над приложениями Android весьма ограничен. Однако ситуация может значительно улучшиться с выпуском Android 16 в следующем году с новым API, который позволит таким сервисам, как Gemini, выполнять действия в приложениях от имени пользователей.

Как аналитик, я бы описал расширения Gemini как средство, с помощью которого чат-бот Google взаимодействует с различными внешними сервисами. Эти расширения предоставляют Gemini доступ к веб-сервисам, таким как Google Flights, Google Hotels, OpenStax и другим, позволяя получать данные из этих источников, когда задаются соответствующие вопросы.

Проблема с расширениями Gemini заключается в недостаточной масштабируемости, поскольку Android-приложений слишком много, чтобы Google мог создавать расширения для каждого из них. Более того, многие приложения не предлагают общедоступные API, которые может использовать Gemini. Используя такие технологии, как чтение с экрана, продвинутый искусственный интеллект и специальные возможности, Gemini потенциально может позволить пользователям управлять любым приложением Android, используя естественный язык. Однако результаты могут быть неудовлетворительными из-за отсутствия контекста. Более эффективный подход заключался бы в том, чтобы Google предложил API, который позволил бы приложениям напрямую взаимодействовать с Gemini, выполняя тем самым определенные функции приложения. Похоже, именно это Google планирует сделать в Android 16.

Ранее на этой неделе компания Google представила Android 16 DP1, и в их руководствах для разработчиков мы обнаружили набор ранее нераскрытых API, указывающих на новую функцию под названием «функции приложения». Как описано в документации Google, функция приложения — это, по сути, автономная возможность, которую приложение может сделать доступной системе. Эти возможности можно использовать в рамках различных встроенных функций системы.

Объяснение функций приложения Google несколько двусмысленно, возможно, намеренно, но, к счастью, описание одного из новых методов дает наглядный пример функции приложения. В описании метода объясняется, что идентификаторы функций должны быть уникальными в приложениях, и используется пример функции для заказа еды, идентифицируемой как «orderFood». Таким образом, приложение ресторана может включать функцию приложения для заказа еды, а приложение отеля может включать функцию приложения для бронирования номера.

Похоже, что приложения развивают свои функциональные возможности, создавая службу, с которой может связаться только системный процесс. Эти функции приложения доступны для платформы поиска Android — важного инструмента, обеспечивающего универсальный поиск в Pixel Launcher и других функциях. В Android 16 приложения могут выполнять эти функции, если у них есть разрешение EXECUTE_APP_FUNCTIONS или EXECUTE_APP_FUNCTIONS_TRUSTED.

Хотя оба разрешения могут быть предоставлены только системным приложениям, первое в настоящее время предоставляется только системным приложениям, имеющим роль ASSISTANT (т. е. приложению Google), а второе в настоящее время предоставляется только системным приложениям, которые удерживайте роль SYSTEM_UI_INTELLIGENCE (т. е. Android System Intelligence). Оба разрешения позволяют приложениям «выполнять действия от имени пользователей внутри приложений», но «приложения, предоставляющие функции приложения, могут запретить вызывающим абонентам с» разрешением EXECUTE_APP_FUNCTIONS, вместо этого разрешая только вызывающим абонентам с EXECUTE_APP_FUNCTIONS_TRUSTED разрешение на их выполнение.

Похоже, что новейшие функции приложений Android 16 могут позволить Gemini манипулировать приложениями так, как ранее не мог сделать Google Assistant. Ранее, в 2019 году, Google намекнул на то, что их «новый Google Assistant» способен координировать задачи в различных приложениях. Это позволило бы пользователям выполнять многозадачные действия с помощью голосовых команд, например устно отвечать на входящее текстовое сообщение, а затем автоматически отправлять фотографию.

В 2019 году Google представила концепцию, которая очень похожа на то, чего, по утверждениям современных агентов ИИ, они могут достичь. Учитывая все проекты, в которых Google участвовал за последний год, неудивительно, что они вновь возвращаются к этой идее. Если функции приложения Android 16 позволят Gemini полностью функционировать как искусственный интеллект для вашего телефона, еще неизвестно, произойдет ли это, в зависимости от того, примут ли разработчики приложений и поддержат ли эту концепцию.

Смотрите также

2024-11-22 00:47