Вот как включить Gemini Nano в Chrome для мгновенных чатов в автономном режиме.

TLDR

Google представила поддержку Gemini Nano в последних сборках Chrome Canary.
Эта функция заблокирована двумя флагами Chrome и требует ручной загрузки языковой модели.
Gemini Nano работает полностью в автономном режиме, а время ответа на простые запросы на современных компьютерах составляет менее одной секунды.

Как аналитик с опытом работы в области искусственного интеллекта и технологий, я считаю, что внедрение Google поддержки Gemini Nano в Chrome Canary является захватывающим событием. Возможность того, что современная модель большого языка будет работать полностью автономно в веб-браузере, меняет правила игры, особенно для тех, у кого нет постоянного доступа к Интернету.

Языковая модель Gemini Nano от Google может быть размещена и полностью работать на Pixel 8 благодаря ее компактным размерам. Однако на данный момент нам не встретилось много приложений, демонстрирующих его потенциальное использование. Эта модель в основном используется для расширения таких функций, как интеллектуальный ответ Gboard или создание сводных заметок с помощью искусственного интеллекта в приложении Recorder.

К счастью, Google расширяет свои горизонты в плане функциональности настольных компьютеров, начиная испытания интеграции модели Gemini Nano непосредственно в Google Chrome. В результате пользователи могут участвовать в общении с использованием продвинутых языковых моделей прямо из своих веб-браузеров, в том числе в автономном режиме.

В прошлом месяце был анонсирован Gemini Nano для Chrome, и Google намерен в ближайшее время предоставить разработчикам доступ для тестирования. Эта функция впоследствии была обнаружена в Chrome Canary версии 127 несколько недель спустя. Разработчики-новаторы уже создали демонстрационные веб-приложения, демонстрирующие возможности локальной модели. Одним из таких примеров является пользователь Twitter Мортен Джаст, который подчеркнул впечатляющую оперативность Gemini Nano.

Видео демонстрирует, как быстро реагирует Gemini Nano (менее 0,5 секунды), но этот тест проводился с использованием высокопроизводительного компьютера Apple. Тем не менее, его быстрая реакция по-прежнему превышает типичное время отклика человека, поэтому он должен работать прилично даже с менее мощными системами.

Например, я установил Chrome Canary на свой настольный компьютер, оснащенный процессором AMD Ryzen 5600X и графическим процессором Nvidia RTX 3060 Ti. Эти характеристики относятся к категории среднего класса, но способны работать с более сложными моделями, такими как Llama 3 от Meta.

Как включить Gemini Nano в Chrome: мой опыт

Как энтузиаст Chrome Canary, я активировал некоторые флаги функций, которые позволяют мне наблюдать за загрузкой модели браузером посредством постоянной сетевой активности. Хотя Google еще не выпустила интерфейс для взаимодействия с Gemini Nano, тем временем вы можете использовать веб-приложение с открытым исходным кодом, созданное пользователем Twitter Молнией Джойс. Это приложение имитирует любого другого чат-бота, но его функции упрощены до самой базовой формы. Чтобы оценить офлайн-возможности Gemini Nano, просто загрузите страницу и отключите компьютер от Интернета.

Закончив приготовления, я был ошеломлен тем, насколько эффективно Gemini Nano работал в моей системе. Его производительность на удивление близка к тому, что я видел в демонстрационном видео. Хотя мое оборудование не было особенно быстрым, со скоростью обработки около 50 токенов в секунду (что эквивалентно примерно 50 словам в секунду), это было не самым примечательным аспектом. Вместо этого выдающейся особенностью является его универсальность в качестве импровизированного чат-бота и его способность работать на более широком спектре оборудования благодаря своим компактным размерам.

Вот как включить Gemini Nano в Chrome для мгновенных чатов в автономном режиме.

Я заметил интригующую проблему с Gemini Nano: когда я даю открытые подсказки, такие как «Написать эссе о…» или «Обсудить историю Android», иногда не удается получить ответ. В таких случаях использование графического процессора моего компьютера значительно увеличивается, достигая 90% всего на несколько секунд, а затем возвращается к нормальному уровню. Важно помнить, что Gemini Nano — это экспериментальная функция Chrome, поэтому такое поведение потенциально может быть связано с ошибкой. Тем не менее, он превосходно работает при обработке ответов, состоящих из одного абзаца.

Как поклонник передовых технологий, я рад поделиться интересными новостями о языковой модели Gemini Nano. Эта модель примечательна тем, что она потребляет всего 2 ГБ видеопамяти вашего графического процессора или оперативной памяти вашего компьютера, если у нее нет выделенного графического оборудования. Несмотря на другие соображения, упомянутые ранее, Gemini Nano продолжает впечатлять своей скоростью и удобством использования. Более того, его работа в браузере Chrome повышает его доступность, выделяя его среди других автономных языковых моделей, с которыми мы столкнулись.

Если вы хотите использовать Gemini Nano на своем компьютере, выполните следующие действия:

Установите Chrome Canary версии 128 или новее.
Перейдите по адресу chrome://flags.
Включите флаги prompt-api-for-gemini-nano и optimization-guide-on-device-model.
Перейдите на страницу chrome://comComponents и найдите «Руководство по оптимизации модели устройства».
Дождитесь завершения загрузки модели — это может занять некоторое время в зависимости от скорости вашего интернета. Размер Gemini Nano составляет примерно 2 ГБ.
Перейдите в веб-приложение, например chromeai.pages.dev, отключите подключение к Интернету и отправьте первое сообщение. Вы должны увидеть ответ почти мгновенно.

Смотрите также

2024-06-26 16:47