TLDR
- В новом отчете говорится, что Amazon изо всех сил пытается разработать большую языковую модель (LLM), которая могла бы конкурировать с OpenAI и Google.
- Модель настроена на уже анонсированное обновление Alexa, которое дает ассистенту возможность разговаривать.
- Ограниченные наборы данных и отсутствие видения остановили прогресс, что привело к уходу многих талантливых исследователей и ученых.
Как исследователь с опытом работы в области искусственного интеллекта и языковых моделей, я нахожу этот отчет о попытках Amazon разработать большую языковую модель (LLM) для своего помощника Alexa весьма тревожным. Судя по моему пониманию этой области и информации, представленной в статье, кажется, что Amazon сталкивается с серьезными проблемами в создании конкурентоспособной LLM, способной конкурировать с разработками OpenAI и Google.
В недавнем отчете, опубликованном Fortune, говорится, что передовой проект искусственного интеллекта Amazon для голосового помощника Alexa, как сообщается, сталкивается с серьезными проблемами во время разработки и может быть вообще не выпущен. Отчет основан на интервью с более чем дюжиной бывших сотрудников, которые выявили различные препятствия, с которыми столкнулась Amazon при совершенствовании своей технологии диалогового искусственного интеллекта. В прошлом году Amazon представила Alexa следующего поколения и объявила о планах по предварительному запуску в США «в ближайшее время». Однако прошло восемь месяцев без каких-либо признаков появления новой Alexa.
В отчете указывается, что проект крупной языковой модели Amazon столкнулся со значительными неудачами из-за недостаточности высококачественных данных. В отличие от таких компаний, как Google и Meta, которые управляют обширными поисковыми системами и социальными сетями соответственно, Amazon не обладает таким же объемом данных для своей языковой модели. Как следствие, LLM Amazon был обучен только на трех триллионах токенов, в то время как GPT-4 OpenAI, как полагают, был обучен более чем в два раза большему количеству (приблизительно 13 триллионов токенов).
С конца 2023 года ходили слухи о модели, находящейся в разработке, под кодовым названием Olympus. Первоначально предполагалось, что эта модель будет иметь впечатляющие 2 триллиона параметров, что вдвое больше, чем, по слухам, у GPT-4. Большее количество параметров предполагает более мощную и функциональную модель. Однако бывший исследователь назвал Olympus простой шуткой, отметив, что нынешняя Alexa LLM в настоящее время обрабатывает 100 миллиардов параметров. Важно отметить, что модели меньшего размера по-прежнему могут давать отличные результаты — недавно я испытал Llama 3 и был удивлен, обнаружив, что его ответы соперничают с ответами GPT-3.5, несмотря на то, что у него всего 7 миллиардов параметров.
Однако, по мнению некоторых сотрудников, есть и другие проблемы, препятствующие прогрессу Amazon в области генеративного искусственного интеллекта. Они раскритиковали высшее руководство Amazon за неправильное обращение с ситуацией. Эту обеспокоенность выразил один из сотрудников.
Похоже, что руководство ничего не знает о LLM — они не знают, сколько людей им нужно и какое ожидаемое время должно быть для выполнения каждой задачи для создания успешного продукта, такого как ChatGPT.
На рынке цифровых помощников Amazon столкнулась с серьезной конкуренцией со стороны Google. Тем не менее, Google остался конкурентоспособным, полностью перейдя на свой новый проект Gemini, отказавшись при этом от бренда Assistant. В настоящее время Gemini способен выполнять реальные задачи, такие как создание напоминаний и управление умной бытовой техникой. С другой стороны, центральная команда Amazon по языковому моделированию (LLM), как сообщается, столкнулась с проблемами при реализации этих функций из-за противоположных точек зрения между различными подгруппами.
Эксперт по машинному обучению объясняет, что доработка языковой модели Amazon для функций умного дома может стать в значительной степени неэффективной после процесса тонкой настройки команды Alexa Music. Как сообщается, в Amazon работает более дюжины команд, ориентированных на Alexa, каждая из которых состоит из сотен сотрудников, занимающихся достижением определенных целей, таких как покупки и развлечения.
Разрыв в возможностях Gemini и Google Assistant может быть связан с решением Google в конечном итоге полностью отказаться от последнего. Google не продемонстрировал такого же уровня амбиций, как Amazon, в расширении своей технологии диалогового искусственного интеллекта, например, в ее внедрении в умные колонки.
Представитель Amazon поделился с Fortune, что их стремление создать идеального личного помощника, «лучшего в мире», остается неизменным. Они также сообщили, что модель Alexa, основанная на больших языковых моделях, все еще находится в стадии доработки, и продолжаются испытания на клиентах функции «Давайте пообщаемся», которая была продемонстрирована в конце прошлого года. Однако бывшие сотрудники предупреждают, что если эта улучшенная версия Alexa действительно будет запущена, она может оказаться не такой продвинутой, как другие чат-боты с искусственным интеллектом, такие как ChatGPT.
Смотрите также
- Аид 2: Каким богам следует дать нектар в первую очередь
- Google сообщает, что в поиске появится реклама для обзоров ИИ
- Райан Рейнольдс намекает на революционный подход к сценам после титров в «Дэдпуле и Росомахе»
- Hades 2: все гексы и как их улучшить
- ТКЛ 85C805K
- Накладные и полноразмерные наушники: в чем разница? Как лучше?
- Джун Сквибб жаждет мести в трейлере «Тельмы», премьера фильма состоится в июне
- Apple TV предлагает платить актерам в зависимости от популярности их работ? Другие потоковые сервисы также рассматривают новые модели
- Новая команда Xbox — отличная новость для обратной совместимости
- Второй сезон «Властелина колец: Кольца власти» представляет самую большую битву, когда-либо показанную по телевидению!
2024-06-14 15:56