Практический опыт Meta Orion: это будущее AR-очков

Как энтузиаст технологий с более чем двадцатилетним опытом работы за плечами, я должен сказать, что очки Meta Orion AR — это интригующий шаг вперед в наших поисках идеального устройства дополненной реальности. Нося все, от Google Glass до VR-гарнитур, я могу оценить достигнутый нами прогресс и проблемы, с которыми нам все еще приходится сталкиваться.

На выставке Meta Connect 2024 Марк Цукерберг, генеральный директор Meta, представил первую публичную модель очков дополненной реальности (AR), известную как Orion. Перед официальным мероприятием нам посчастливилось провести частную демонстрацию, и мы были поражены тем, насколько они превосходят другие прототипы AR, которые мы пробовали, несмотря на то, что они все еще нуждаются в некоторой доработке, прежде чем они будут готовы для потребителей.

2023 год ознаменовал собой время, когда мы узнали о проекте «Орион» благодаря информативному отчету, в котором говорилось, что Meta столкнулась с трудностями при создании своей технологии дополненной реальности (AR) подходящей для потребителей. Позже мы поговорили с инженером Meta, который намекнул, что их первые AR-очки произведут революцию в AR, так же, как Oculus Rift сделал для виртуальной реальности (VR). Однако, учитывая непотребительский характер и потенциальные закулисные сложности этого прототипа, было неясно, чего ожидать.

В настоящее время Meta предоставляет свой проект Orion избранной группе внешних пользователей. Этот шаг является частью нашей стратегии по разработке ориентированных на потребителя очков дополненной реальности, поставки которых, как мы ожидаем, начнутся в ближайшее время.

У меня был подробный разговор с моим коллегой Ником Сатричем, который заранее познакомился с Orion и Meta Quest 3S за день до Meta Connect 2024. В ходе обсуждения мы углубились в личный опыт Ника с очками Meta AR, затрагивая такие аспекты, как как дизайн, комфорт, приложения и качество изображения. После встречи он выразил больший оптимизм по поводу дополненной реальности, чем когда-либо прежде.

AR-очки Meta — это очки Ray-Ban, совмещенные с Quest

Практический опыт Meta Orion: это будущее AR-очков

Представьте себе знаменитые умные очки в стиле Meta Ray-Ban, оснащенные камерами, возможностями потоковой передачи музыки и передовой технологией Meta AI. Давайте сделаем их немного больше и тяжелее и добавим в них легкие линзы из карбида силикона, оснащенные проекторами uLED и камерами, которые отслеживают движения ваших глаз, следуя за вашим взглядом.

После этого носите в кармане компактное вычислительное устройство, напоминающее шайбу, для управления обработкой, питанием и многим другим. В этом портативном гаджете будет использоваться та же технология отслеживания 6DoF и операционная система, что и в вашей гарнитуре Quest, что позволяет приложениям, похожим на окна, зависать в смешанной реальности и оставаться неподвижными, в отличие от тех, которые зафиксированы перед вами.

Смешайте все это вместе, и вы получите AR-очки Меты!

Во многих существующих прототипах AR есть кабель, соединяющий ваш телефон с очками, и эти очки могут прослужить всего час или два. С другой стороны, в очках Meta Orion используется технология, сравнимая с Quest Air Link, позволяющая получать данные по беспроводной сети от карманного устройства, и они могут похвастаться «непрерывным временем автономной работы в течение всего дня», как утверждает Meta. Если они смогут успешно реализовать это в потребительской версии, это, несомненно, произведет революцию в технологии AR.

В этих очках используется уникальный вид кремния, специально разработанный для специализированных целей, который потребляет лишь небольшое количество энергии — примерно несколько десятков милливатт. Такая энергоэффективность позволяет одновременно использовать технологию локализации и картографии (SLAM), не вызывая чрезмерного нагрева очков, когда они следуют за движениями ваших глаз и жестами.

Как и в Meta Quest 3, в очках дополненной реальности Meta используются камеры для распознавания жестов рук. Кроме того, они используют браслет с нейронным интерфейсом EMG, который Марк Цукерберг анонсировал ранее в этом году. В отличие от предыдущих громоздких прототипов, Ник описывает его как стандартный фитнес-браслет на запястье.

Используя это устройство, Orion распознает жесты сжатия для выбора пунктов меню. Вы можете прокручивать вверх или вниз, сжав кулак и переместив большой палец. Кроме того, он изучает другие ярлыки. Группа EMG улавливает мельчайшие движения мышц вашего запястья, чтобы понять ваши жесты, даже если очки AR не могут их уловить. Во время демонстрации Ник обнаружил, что жесты ЭМГ плавные.

Как действуют эти жесты? Во время демонстрации Ник смог участвовать в видеозвонке, просматривать Instagram и одновременно контролировать третье приложение для обмена сообщениями, причем каждое окно появлялось независимо в его поле зрения. Кроме того, во время демонстрации он играл в AR-понг с представителем Meta, где программное обеспечение использовалось обеими парами очков.

Если нет, то они обладают теми же функциями, которые делают Meta Ray-Ban такими популярными: вы можете делать снимки, когда захотите, слушать музыку через встроенные динамики или задавать вопросы об объекте с помощью Meta AI. В этом году Meta планирует включить в Ray-Ban функции искусственного перевода в реальном времени и интерпретации видео в реальном времени, и ожидается, что Meta AI продолжит развиваться до того, как Orion станет доступен потребителям.

На шаг выше конкурентов, но есть проблемы, которые нужно решить

Большинство современных очков дополненной реальности, таких как RayNeo Air 2S XR и Xreal Air 2, ограничивают свое поле зрения небольшой частью линзы очков, примерно 40–50°, и вам нужно очень внимательно направлять их прямо в поле зрения, чтобы что-либо увидеть. Кроме того, они обычно подключаются к вашему смартфону или шайбе с помощью толстого кабеля, либо разряжая телефон, либо сжигая шайбу за несколько часов.

Очки Meta Orion имеют поле зрения (FoV) 70 градусов, которое равномерно простирается вдоль обеих линз, устраняя проблему зоны наилучшего восприятия, обычно встречающуюся в очках VR. В отличие от многих других моделей, эти очки беспроводные, а компания Meta значительно повысила эффективность своей вычислительной шайбы.

Если это звучит слишком хорошо, чтобы быть правдой, то так оно и есть: есть причина, по которой эти очки Orion AR не готовы к использованию потребителями. Тем не менее, Meta уже решила некоторые проблемы общего форм-фактора, что вселяет в нас оптимизм, что они смогут решить и другие.

Изначально важно отметить, что эта модель относительно тяжелая по сравнению с аналогичными устройствами. Например, Meta Ray-Ban весят около 50 граммов, а большинство прототипов AR для помещений весят в пределах 75 граммов. Однако этот прототип весит 93 грамма. Напротив, Magic Leap 2, который предлагает аналогичное поле зрения (70°), весит 250 граммов – по весу он ближе к гарнитуре, чем к очкам.

Ник заметил, что дужки толстых очков могут вызвать дискомфорт в ушах после длительного использования, а их прочная оправа выделяется среди прохожих как «техническая» — хотя они не так комично странны, как последние Snap Spectacles.

Как энтузиаст технологий, я в восторге от идеи Meta о том, чтобы их очки AR напоминали повседневные носимые устройства, похожие на стильные очки Ray-Ban. Однако, чтобы действительно сделать их устройствами на весь день, им, возможно, стоит подумать о том, чтобы сбросить еще унцию веса, если это возможно. Тем не менее, они определенно движутся в правильном направлении!

Еще один момент, открыто признанный Meta, заключается в том, что четкость, плавность (частота кадров) и точная передача цветов в очках Orion требуют улучшения.

Ник сравнивает голографический слой очков Meta AR с радужным блеском защитной пленки телефона перед снятием, слегка тонированной, не вызывающей никаких искажений или короблений. Однако сохранение такого эффекта в течение всего дня может сильно отвлекать.

Попробовав демо-версию понга, Ник понял, что игры с дополненной реальностью не соответствуют качеству, предлагаемому игрой смешанной реальности Quest 3. Трудно успевать за быстродвижущимися объектами, а предметы в мире не кажутся такими реальными по сравнению с текущим разрешением Ориона. Однако, скорее всего, в этой области у Meta есть несколько лет, чтобы внести существенные улучшения, прежде чем выпустить потребительскую версию.

Meta утверждает, что их очки дополненной реальности могут представлять собой одно из самых сложных потребительских электронных устройств с момента изобретения смартфона.

Умные очки стали более популярными, но успешные модели с функциональностью AR — это, по сути, расширенные дисплеи. Вы подключаете их, чтобы смотреть фильмы или играть в видеоигры на виртуальном плоском 100-дюймовом экране, лежа в постели или сидя в самолете, используя трекпад телефона для управления.

Несмотря на первоначальные ожидания, связанные с запуском Google Glass, никто не смог успешно решить такие проблемы, как портативность, отслеживание рук для основных элементов управления и другие необходимые соображения для повседневного использования очков AR на открытом воздухе, как предполагалось. Тем не менее, «Мета Орион» наиболее близок к реализации этих научно-фантастических концепций в практической реальности.

Несмотря на некоторые проблемы с AR-очками Meta, они кажутся наиболее многообещающими претендентами, учитывая их совместимость с программным обеспечением Meta Quest для отслеживания рук и смешанной реальности. Интеллект искусственного интеллекта Meta, созданного на основе Llama, постоянно совершенствуется, и они, похоже, решили как минимум две общие проблемы в AR: ограниченное поле зрения и время автономной работы. Давайте скрестим пальцы, чтобы они продолжили движение по этой траектории, а также обратимся к другим областям, требующим улучшений.

Смотрите также

2024-09-25 20:53